Scrapy进阶-命令行的工作原理（以runspider为例）

2019年6月11日 194次阅读 来源: hoptop

官方教程说当你写好自己的spiders如douban之后，你可以通过scrapy runspider/crawl douban启动你的爬虫。于是一开始的时候你就知道通过这个命令行来启动爬虫，但是你有没有想过当你敲下这行命令后，scrapy到底做了什么呢？

命令入口：cmdline.py

当你运行 scrapy command arg 这样的命令时,这里的 scrapy 实质是一个 python 脚本，它接受参数，首先调用 scrapy/cmdline.py 中的 execute() 函数.

execute() 函数在 scrapy 安装目录下的 cmdline.py 文件中.而cmdline.py定义以下几个函数：

iter_command_classes(module_name) 
get_commands_from_module(module, inproject) 
get_commands_from_entry_points(inproject, group='scrapy.commands')
get_commands_dict(settings, inproject)
_pop_command_name(argv)
print_header(settings, inproject)
print_commands(settings, inproject)
print_unknown_command(settings, cmdname, inproject)
run_print_help(parser, func, *a, **kw)
_run_command(cmd, args, opts)
_run_command_profiled(cmd, args, opts)
execute(argv=None, settings=None)

这些函数顾名思义，不做太多介绍。其中最重要的是execute，为啥呢？

if __name__ == '__main__':
    execute()

因为上面代码告诉我们只有它能自启动，所以我们要详尽的了解它，因此就要读代码了。

def execute(argv=None, settings=None):
# 获取变量
    if argv is None:
        argv = sys.argv
# 获取配置(settings)
    if settings is None:
        settings = get_project_settings()
    check_deprecated_settings(settings)

    inproject = inside_project() #判断是否在项目中，因为可用命令不同
    cmds = _get_commands_dict(settings, inproject) #scrapy.commands中获取命令集
    cmdname = _pop_command_name(argv) #获取输入的命令
    parser = optparse.OptionParser(formatter=optparse.TitledHelpFormatter(), \
        conflict_handler='resolve') #获取附加选项
        # 根据输入的指令提供不同的结果
    if not cmdname:
        _print_commands(settings, inproject)
        sys.exit(0)
    elif cmdname not in cmds:
        _print_unknown_command(settings, cmdname, inproject)
        sys.exit(2)
    # 下面几行代码针对输入合适的指令如genspider crawl....
    # 解析命令行参数(cmds：为相应的Scrapy Command对象列表)
    cmd = cmds[cmdname]
    parser.usage = "scrapy %s %s" % (cmdname, cmd.syntax())
    parser.description = cmd.long_desc()
    settings.setdict(cmd.default_settings, priority='command')
    cmd.settings = settings
    cmd.add_options(parser)
    opts, args = parser.parse_args(args=argv[1:])
    _run_print_help(parser, cmd.process_options, args, opts)
    # 设定用于启动爬取CrawlerProcess的配置
    cmd.crawler_process = CrawlerProcess(settings)
    _run_print_help(parser, _run_command, cmd, args, opts)
    sys.exit(cmd.exitcode)

作为整个程序的入口，其主要做的事情是解析用户爬虫的配置属性，根据传递的命令行参数，调用对应的代码来执行相应的任务.

scrapy command arg 中 command 可以为 crawl / startproject / genspider / runspider / deploy / …等命令,每一个命令在 scrapy/commands 文件夹下都有对应 command类.

对于 scrapy runsspider test ,就会调用 commands/runspider.py 中的方法去执行相应的爬虫任务.

调度者：runspider.py

runspider.py定义了一个函数_import_file从我们的爬虫中查找所有的依赖包，定义了一个Command类(继承ScrapyCommand)。
Command中最重要的功能是run,他用spclasses = list(iter_spider_classes(module))判断输入的爬虫是否存在。

    self.crawler_process.crawl(spidercls, **opts.spargs)
    self.crawler_process.start()

随后用crawler_process(即实例化的CrawlerProcess）调用crawler.py的CrawlerProcess。crawler是Scrapy核心的API，所以需要仔细介绍。

核心API： crawler.py

事实上我们并不一定需要通过命令行的方式运行scrapy的爬虫，完全可以通过API从脚本中运行Scrapy。CrawlerProcess可以为你自启动一个Twisted反应子，配置logging信息、设置脚本关闭处理程序，
我们先来解读self.crawler_process.crawl(spidercls, **opts.spargs)中的crawl。流程如下

  1. crawler = self.create_crawler(crawler_or_spidercls)

  2. create_crawler return self._create_crawler(crawler_or_spidercls)

  3. _create_crawler return Crawler(spidercls, self.settings)spidercls = self.spider_loader.load(spidercls)

  4. spider_loader = _get_spider_loader(settings)

  5. …. 读不下去了

  6. CrawlerRunner.crawl return self._crawl(crawler, *args, **kwargs)

  7. _crawl crawler.crawl(*args, **kwargs)

  8. crawler.crawl
    @defer.inlineCallbacks
    def crawl(self, *args, **kwargs):
    assert not self.crawling, “Crawling already taking place”
    self.crawling = True

         try:
         self.spider = self._create_spider(*args, **kwargs)
         self.engine = self._create_engine()
         start_requests = iter(self.spider.start_requests())
         yield self.engine.open_spider(self.spider, start_requests)
         yield defer.maybeDeferred(self.engine.start)

本来我是打算一行一行讲解代码的，但是工作量太大，也很难表述清楚，我还是直接说明他的作用吧：
用指定的参数运行爬虫，最后从spider.start_requests()开启新的征途。

结论：
因此当我们执行scrapy runspider SpiderName的时候，Scrapy其实以以下顺序直到启动我们的爬虫。
scrapy/cmdline.py -> scrapy/commands/runspider.py -> scrapy/crawler.py -> 从我们的爬虫的start_requests开始下一步。

这个代码读的我好晕，但是至少我知道了start_requests是我们运行爬虫的关键。

    原文作者：hoptop
    原文地址: https://www.jianshu.com/p/8e252b2272d8
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞