安装ScrapyJS – python的新功能

2019年8月4日 251次阅读

我正在尝试使用这个scrapy插件(或它是什么)：
scrapyjs.

但是没有安装说明,我是Python的新手.这里有什么基本的东西我不见了吗？我如何将其与scrapy项目整合在一起.

注意：我更喜欢使用Scrapy下载处理程序而不是中间件版本,因为它似乎会更快运行. (如我错了请纠正我).

最佳答案 由于scrapyjs不是常规的python包而且没有在PyPI上注册 – 首先,你需要
clone the repository并在
PYTHONPATH下移动scrapyjs包,或者进入你的scrapy项目目录(使其“可导入”).

将它与Scrapy集成有两种选择：

> patching scrapy to use gtk2 reactor
> add a new middleware in settings：

DOWNLOADER_MIDDLEWARES = {
    'scrapyjs.middleware.WebkitDownloader': 1,
}

后者更容易和更清洁,但会严重影响性能,因为每个请求都将以阻塞模式处理.

点赞