scrapy 爬网站显示 Filtered offsite request to 错误.

2023年4月1日 417次阅读来源: 暴雨梨花

2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsite request to ‘bbs.zol.com.cn’:

这条日志记录有点奇怪果断上网百度 ,找到答案

官方对这个的解释，是你要request的地址和allow_domain里面的冲突，从而被过滤掉。可以停用过滤功能。

yield Request(url, callback=self.parse_item, dont_filter=True)

    原文作者：暴雨梨花
    原文地址: https://www.jianshu.com/p/d58f57600555
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。