gradle build控制台信息很少就这些 Warning:The specified Android SDK Build Tools version (25.0.0) is ignored, as it is bel…

前言 需求：scrapy爬取网页速度十分缓慢，在目标网站良好的情况下三天才跑了80w条数据，参考其他爬虫的速度，一天抓取1000w条数据是没有问题的，scrapy性能需要优化。 思路：经过各种搜索，scrapy提高性能核…

java 依赖包冲突，使用maven的Shade方式解决 [TOC] 问题描述 程序中同时使用了hadoop工具包与ElasticSearch工具导致jar包。 程序报错： java.lang.NoSuchMethodE…

可通过配置并发连接选项对spider速度进行优化 settings.py 选项 说明 CONCURRENT_REQUESTS Downloader最大并发请求下载数量，默认32 CONCURRENT_ITEMS Item…

今天同事在做一个模型训练的时候，job出现如下异常： java.util.concurrent.RejectedExecutionException: Task scala.concurrent.impl.Callbac…