Scrapy的多个Spider指定不同的pipeline

假设你有以下多个Spider:

class Spider(scrapy.spiders.Spider):
    name = 'one'
class Spider(scrapy.spiders.Spider):
    name = 'two'

在pipeline里判断执行哪个爬虫逻辑:

def process_item(self, item, spider):
  if spider.name == 'one':
        (执行one的代码逻辑)
  elif spider.name == 'two':
        (执行two的代码逻辑)
return item
    原文作者:火柴菌
    原文地址: https://www.jianshu.com/p/a569470515bb
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞