本文地址：https://www.jianshu.com/p/779c793cabee CrawlerPorcess 在Scrapy中，我们有时候需要将爬虫的运行使用代码来执行，或者是要同时执行多个爬虫，那么可以使用Sc…

上一篇文章简单介绍了下Scrapy的启动，我们知道了scrapy.crawler.CrawlerProcess这个类是启动爬虫的幕后黑手。本文将深入到CrawlerProcess这个类中，分析Scrapy的调度逻辑。 c…