Scrapy "Filtered duplicate request" 结束运行

2023年7月11日 299次阅读来源: gogoforit

也是看别人的，并不清楚原理。。

dont_filter=True #加一行这个

yield scrapy.Request(
    info_url,
    cookies=self.cookie,
    callback=self.parse_info,
    dont_filter=True,
    meta={
        'item': item,
        'date': meta_data['date'],
        'weibo_id': meta_data['weibo_id']
    }
)

    原文作者：gogoforit
    原文地址: https://www.jianshu.com/p/d9d2e082af3a
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。