scrapy命令行详解

1:创建scrapy项目

scrapy startproject XXXXXX

2:进入项目目录

cd XXXX

3:生成spider

scrapy genspider baidu www.baidu.com

4:列出创建spider所有可用模板

scrapy genspider -l

5:指定模板生成spider

scrapy genspider -t crawl zhihu www.zhihu.com

6:运行spider

scrapy crawl spider

7:检查语法是否有错误

scrapy check

8:返回所有spider的名称

scrapy list

9:测试爬取速度

scrapy bench

10:爬取结果输出到指定文件

scrapy crawl quotes -o quotes.csv

    原文作者:天涯笨熊
    原文地址: https://www.jianshu.com/p/c3ec7149351c
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞