在Pycharm中调试scrapy爬虫的两种方法

2023年3月25日 249次阅读 来源: 盗花

通常，运行scrapy爬虫的方式是在命令行输入scrapy crawl <spider_name>,调试的常用方式是在命令行输入scrapy shell <url_name>。总的来说，调试方法比较单一。其实，还有两种调试方法，可以在pycharm中实现调试。

1.使用scrapy.cmdline的execute方法

首先，在项目文件scrapy.cfg的同级建立main.py文件（注意，必须是同级建立），在其中键入如下代码：

from scrapy.cmdline import execute
import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(['scrapy', 'crawl', 'spider_name'])  # 你需要将此处的spider_name替换为你自己的爬虫名称

在其余爬虫文件中设置断点后，运行main.py,即可实现在pycharm中的调试。

2.使用scrapy的CrawlerProcess方法

在项目文件scrapy.cfg的同级建立main.py文件（注意，必须是同级建立），在其中键入如下代码：

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

if __name__ == '__main__':
    process = CrawlerProcess(get_project_settings())
    process.crawl('spider_name')    #  你需要将此处的spider_name替换为你自己的爬虫名称
    process.start()

在其余爬虫文件中设置断点后，运行main.py,即可实现在pycharm中的调试。
两种方式都很简单实用，值得掌握。

    原文作者：盗花
    原文地址: https://www.jianshu.com/p/6f7cf38d5792
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞