scrapy如何顺序执行多个爬虫

2023年1月8日 353次阅读 来源: 高正杰

scrapy如何单线程顺序执行多个爬虫，刚开始我天真的以为将多个excute顺序罗列就能依次执行每个爬虫了，代码如下所示：

from scrapy.cmdline import execute

execute("scrapy crawl huanqiu_finance".split())  # 环球网
execute("scrapy crawl ztcj".split())  # 智通财经网
execute("scrapy crawl p5w".split())  # 全景网
execute("scrapy crawl cs".split())  # 中国证券网
execute("scrapy crawl ccstock".split())  # 证券日报
execute("scrapy crawl ddxsb".split())  # 读懂新三板
execute("scrapy crawl xinhuanet".split())  # 新华网
execute("scrapy crawl money163".split())  # 网易财经

谁料，在执行完第一个爬虫之后，整个程序就停止运行了。到底是什么原因呢？笔者在 Stack Overflow 上找到了类似的问题（https://stackoverflow.com/questions/24875280/scrapy-cmdline-execute-stops-script）。得知问题的原因在于execute方法中的最后一句代码是sys.exit(cmd.exitcode)，所以当程序执行完一个execute语句后便停止了。

那么，这个问题该如何解决呢？
思路1：测试execute能不能执行多个命令，即在execute方法中设置多个参数，或用列表的形式将多个命令组合在一起进行执行。–经测试，不行！
思路2：既然execute可以执行一条cmd命令，那么在scrapy.cmdline中有没有类似executeList的命令，它可以执行一个由多条命令组合在一起的列表命令集呢。–经测试，不行！
思路3：寻找可以替换execute的命令，只要能执行命令即可。

方法一：os.system （这也是我所遇到的最简单方法）

import os
os.system("scrapy crawl huanqiu_finance")  # 运行环球网的爬虫

下面的两种方法，笔者并没有尝试成功，暂时写在这里，有待进一步研究。
方法二：subprocess.Popen

import subprocess
subprocess.Popen("scrapy crawl huanqiu_finance")

方法三：commands.getstatusoutput

import commands
commands.getstatusoutput("scrapy crawl huanqiu_finance")

拓展：如何实现多个爬虫循环顺序爬取
首先设置一个循环，接着为每一个爬虫设置一个定时器，让每一个爬虫爬虫一段时间，再运行下一个爬虫即可。具体代码如下，此处设置每一个爬虫运行3600秒

import os

while True:
    os.system("scrapy crawl xinhuanet -s CLOSESPIDER_TIMEOUT=3600")  # 新华网
    os.system("scrapy crawl money163 -s CLOSESPIDER_TIMEOUT=3600")  # 网易财经
    os.system("scrapy crawl ccstock -s CLOSESPIDER_TIMEOUT=3600")  # 证券日报
    os.system("scrapy crawl cs -s CLOSESPIDER_TIMEOUT=3600")  # 中证网
    os.system("scrapy crawl p5w -s CLOSESPIDER_TIMEOUT=3600")  # 全景网
    os.system("scrapy crawl ztcj -s CLOSESPIDER_TIMEOUT=3600")  # 智通财经
    os.system("scrapy crawl huanqiu_finance -s CLOSESPIDER_TIMEOUT=3600")  # 环球财经

附
该文章于2017年7月10日于CSDN上首次发表，2017年12月24日搬家至此！

    原文作者：高正杰
    原文地址: https://www.jianshu.com/p/6e0c24bc4699
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞