Scrapy "Filtered duplicate request" 结束运行

也是看别人的,并不清楚原理。。

dont_filter=True #加一行这个
yield scrapy.Request(
    info_url,
    cookies=self.cookie,
    callback=self.parse_info,
    dont_filter=True,
    meta={
        'item': item,
        'date': meta_data['date'],
        'weibo_id': meta_data['weibo_id']
    }
)
    原文作者:gogoforit
    原文地址: https://www.jianshu.com/p/d9d2e082af3a
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞