基于scrapy-redis的Instagram分布式爬虫2.0版本 2019年6月11日 Scrapy 0条评论 280次阅读 0人点赞 这几个月在公司里面写看好多个爬虫,一直没什么时间分析。今天由于写了两周的项目被最终弃用了(手动哭脸),很是忐忑啊,今天就趁剩下不用干活的时间分享一个之前写的Instagram的一个分布式爬虫。 爬虫的需求如下,根据用户提…