scrapy框架之crawl问题解决

2019年6月11日 172次阅读来源: pride_

scrapy是一个非常强大的爬虫框架,现在也是越来越多人用,安装也是很简单,由于我是在anaconda环境下装的,那我就来说明一下该环境的安装吧.
在anaconda安装是最简单不过了,直接conda install scrapy 就可以了,
基本操作命令我就不提了.
在用scrapy crawl 运行项目之后发现不能打印出我想要的结果,也在百度上找了许久,最后发现只需要在settinfs.py文件里将CONCURRENT_REQUESTS = 32的注释取消掉就可以了.

    原文作者：pride_
    原文地址: https://www.jianshu.com/p/65b8d211e7a5
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。