Ugly-Distributed-Crawler 建议先大概浏览一下项目结构 项目介绍 新手向，基于Redis构建的分布式爬虫。以爬取考研网的贴子为例，利用 PyQuery, lxml 进行解析，将符合要求的文章文本存入…