进一步提高scrapy爬虫爬取速度

2023年2月15日 407次阅读来源: NiceBlueChai

可通过配置并发连接选项对spider速度进行优化
settings.py

选项	说明
CONCURRENT_REQUESTS	Downloader最大并发请求下载数量，默认32
CONCURRENT_ITEMS	Item Pipeline最大并发ITEM处理数量，默认100
CONCURRENT_REQUESTS_PER_DOMAIN	每个目标域名最大的并发请求数量，默认8
CONCURRENT_REQUESTS_PER_IP	每个目标IP最大的并发请求数量，默认0，非0有效

    原文作者：NiceBlueChai
    原文地址: https://www.jianshu.com/p/f4db9557b91d
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。