Python爬虫之scrapy跨页面爬取信息

昨天凌晨2点醒了看了下向右奔跑的文章,准备来个scrapy跨页面的数据爬取,以简书七日热门数据为例。

1 items.py代码

from scrapy.item import Item,Field

class SevendayItem(Item):
    article_url = Field()#文章链接在首页爬取
    author = Field()
    article = Field()
    date = Field()
    word = Field()
    view = Field()
    comment = Field()
    like = Field()
    gain = Field()

可以看出,我要爬取的数据不在一个页面,这时候就需要跨页面爬取了。

    原文作者:python
    原文地址: https://www.jianshu.com/p/6db9db81c150
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞