Python爬虫之scrapy跨页面爬取信息

2023年11月18日 206次阅读 来源: python

昨天凌晨2点醒了看了下向右奔跑的文章，准备来个scrapy跨页面的数据爬取，以简书七日热门数据为例。

1 items.py代码

from scrapy.item import Item,Field

class SevendayItem(Item):
    article_url = Field()#文章链接在首页爬取
    author = Field()
    article = Field()
    date = Field()
    word = Field()
    view = Field()
    comment = Field()
    like = Field()
    gain = Field()

可以看出，我要爬取的数据不在一个页面，这时候就需要跨页面爬取了。

    原文作者：python
    原文地址: https://www.jianshu.com/p/6db9db81c150
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞