Scrapy抓取在不同级别Request之间传递参数

2019年6月11日 182次阅读

先来看一下需求，以抓取简书用户信息为例：

  • 用户主页左侧显示的信息：(用户主要信息)
    • 用户昵称(nickname)
  • 关注数(subs)
  • 粉丝(fans)
  • 文章(articles)
  • 字数(words)

以上数据从用户首页可以获取（/latest_articles），其他页面（/timeline, /followers…）都有这些数据。

《Scrapy抓取在不同级别Request之间传递参数》 用户主页可以得到的数据

  • 我们还关注的信息：(反映用户活跃度的其他数据)
  • 用户文章总阅读量(read_nums)
  • 用户获得打赏数量(rewards)
  • 用户获得评论数量(comments)
  • 用户发表的评论数量(pub_comments)
  • 用户注册时间(regtime)

以上数据在包含在两个(类)页面中：
1）阅读量、打赏量、评论数量3个数据在latest_articles页面上，需要汇总得到，每页中每条（每篇文章）汇总，然后分页汇总所有文章的这3个数据。

2）用户发表的其他评论和注册时间，在timeline页面上，其中用户发表的评论需要在timeline页面上每页汇总，注册时间在timeline最后一页。

《Scrapy抓取在不同级别Request之间传递参数》 timeline页面上要抓取的数据

一个用户完整的信息要在多个Request中获取，需要在请求之间传递参数。

直到该用户所有页面数据汇总完成，提交item。

Scrapy采用的是回调（callback）的方式，把请求处理交给下一次请求，在请求时用meta传递参数。Request(url=item_details_url, meta={'item': item},callback=self.parse_details)，可传递简单类型参数或对象类型参数。

    def parse(self, response):
        # collect `item_urls`
        for item_url in item_urls:
            yield Request(url=item_url, callback=self.parse_item)

    def parse_item(self, response):
        item = MyItem()
        # populate `item` fields  收集处理一部分数据
        yield Request(url=item_details_url, meta={'item': item},
            callback=self.parse_details)

    def parse_details(self, response):
        item = response.meta['item']
        # populate more `item` fields  再收集处理另外的数据
        return item

这样完成一个用户所有数据收集，注意以上示例代码没有包含分页递归调用。

PS:

  1. 传递多个参数：
yield Request(url, meta={'item': item, 'rdt': rdt, 'comments':cmt,'rewards':rewards,'total': total, 'curpage': cur}, callback=self.parse)

取出多个参数。如果不同url过来的加上判断。（如针对分页）

           item = response.meta['item']
           rdt = response.meta['rdt']
           total = response.meta['total']
           cur = int(response.meta['curpage'])
           cmt = int(response.meta['comments'])
           rewards= int(response.meta['rewards'])
点赞