在Pycharm中调试scrapy爬虫的两种方法

通常,运行scrapy爬虫的方式是在命令行输入scrapy crawl <spider_name>,调试的常用方式是在命令行输入scrapy shell <url_name>。总的来说,调试方法比较单一。其实,还有两种调试方法,可以在pycharm中实现调试。

1.使用scrapy.cmdline的execute方法

首先,在项目文件scrapy.cfg的同级建立main.py文件(注意,必须是同级建立),在其中键入如下代码:

from scrapy.cmdline import execute
import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(['scrapy', 'crawl', 'spider_name'])  # 你需要将此处的spider_name替换为你自己的爬虫名称

在其余爬虫文件中设置断点后,运行main.py,即可实现在pycharm中的调试。

2.使用scrapy的CrawlerProcess方法

在项目文件scrapy.cfg的同级建立main.py文件(注意,必须是同级建立),在其中键入如下代码:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

if __name__ == '__main__':
    process = CrawlerProcess(get_project_settings())
    process.crawl('spider_name')    #  你需要将此处的spider_name替换为你自己的爬虫名称
    process.start()

在其余爬虫文件中设置断点后,运行main.py,即可实现在pycharm中的调试。
两种方式都很简单实用,值得掌握。

    原文作者:盗花
    原文地址: https://www.jianshu.com/p/6f7cf38d5792
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞