进一步提高scrapy爬虫爬取速度

可通过配置并发连接选项对spider速度进行优化
settings.py

选项说明
CONCURRENT_REQUESTSDownloader最大并发请求下载数量,默认32
CONCURRENT_ITEMSItem Pipeline最大并发ITEM处理数量,默认100
CONCURRENT_REQUESTS_PER_DOMAIN每个目标域名最大的并发请求数量,默认8
CONCURRENT_REQUESTS_PER_IP每个目标IP最大的并发请求数量,默认0,非0有效
    原文作者:NiceBlueChai
    原文地址: https://www.jianshu.com/p/f4db9557b91d
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞