我在列表中有一个> 100,000个url(不同的域),我想下载并保存在数据库中以便进一步处理和修改.

使用scrapy而不是python的多处理/多线程是否明智？如果是,我如何编写独立脚本来执行相同操作？

此外,请随时提出您想到的其他令人敬畏的方法.

最佳答案 如果你非常清楚获取的URL(这里没有涉及爬行),Scrapy似乎与此无关.

想到的最简单的方法是使用Requests.但是,查询序列中的每个URL并阻止等待答案将不会有效,因此您可以考虑GRequests异步发送批量请求.