昨天凌晨2点醒了看了下向右奔跑的文章,准备来个scrapy跨页面的数据爬取,以简书七日热门数据为例。
1 items.py代码
from scrapy.item import Item,Field
class SevendayItem(Item):
article_url = Field()#文章链接在首页爬取
author = Field()
article = Field()
date = Field()
word = Field()
view = Field()
comment = Field()
like = Field()
gain = Field()
可以看出,我要爬取的数据不在一个页面,这时候就需要跨页面爬取了。