scrapyd部署scrapy项目(windows)

2023年12月1日 260次阅读 来源: Maql

配置

首先在你的项目scrapy.cfg文件中添加你的部署配置

[deploy:localhost] #注意是冒号
url = http://localhost:6800/
project = projectname

安装

pip install scrapyd #  scrapyd服务端
pip install scrapyd-client #scrapy客户端

另外windows需要下载crul调度器(这是linux系统自带的命令）

部署

首先启动scrapyd服务器，打开cmd,输入

scrapyd

打开cmd，切换到你的scrapy项目根目录

python c:\Python27\Scripts\scrapyd-deploy localhost -p projectname

返回部署成功信息：

Deploying to project "projectname" in http://localhost:6800/addversion.json
Server response (200):
{"status": "ok", "project": "projectname", "version": "1478140056", "spiders": 13
, "node_name": "my-PC"}

使用curl调度你的项目(前提是你的电脑装了curl)，打开cmd，输入

curl http://localhost:6800/schedule.json -d project=projectname -d spider=spidername

返回成功信息

{"status": "ok", "jobid": "eb8ccfc0a16d11e6ac2ff48e389a05a1", "node_name": "my
-PC"}

在windows测试通过，有空再写一个linux上同时部署多台机器的

    原文作者：Maql
    原文地址: https://www.jianshu.com/p/799a5c3195e4
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞