scrapy:allowed_doamins作用

如果allowed_domains = [‘https://blog.scrapinghub.com/’]这么写的话 yield Request时不会调用callback方法;只能写为allowed_domains = [‘blog.scrapinghub.com’]

下图中的虽然调用了yield scrapy.Request(link.url, callback=self.parse),但并不会再次代用parse方法

《scrapy:allowed_doamins作用》

    原文作者:Ten_Minutes
    原文地址: https://www.jianshu.com/p/5d05549ca105
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞