爬虫:如何在指定的文件夹下创建scrapy项目

安装好了anaconda和Pycharm之后,直接在命令行里pip install scrapy之后就可以安装scrapy了。

在安装的过程中可能会报错不存在twisted,这个可以在百度直接搜素文件下载之后,在命令行输入“pip install +twisted的文件路径”进行安装,然后再安装scrapy就可以了。

安装好了scrapy之后,要怎么创建一个scrapy文件呢?要怎么在指定的文件夹里创建scrapy文件呢?直接看图:

《爬虫:如何在指定的文件夹下创建scrapy项目》 在指定文件夹下创建scrapy文件的方法

1、使用“G:”进入到想要创建的磁盘中;

2、使用“cd Pycharm”进入到指定的文件夹中;

3、使用“scrapy startproject 项目名称” 创建一个新的项目(是以文件夹显示的);

4、使用“cd 项目名称” 进入新创建的项目文件夹里;

5、使用 “scrapy genspider spider(此为spider文件名,可以自定义) 目标网址” 就可以直接创建一个spider(直接创建抓取的的网址)。

《爬虫:如何在指定的文件夹下创建scrapy项目》 scrapy startproject Tableau创建的项目文件
《爬虫:如何在指定的文件夹下创建scrapy项目》 scrapy startproject Tableau创建的项目文件  
《爬虫:如何在指定的文件夹下创建scrapy项目》 进入spiders文件
《爬虫:如何在指定的文件夹下创建scrapy项目》 创建的spider文件
《爬虫:如何在指定的文件夹下创建scrapy项目》 在Pycharm里打开Tableau文件

通过以上的操作就可以在指定的文件夹下创建一个新的scrapy文件,并且把我们要抓取的目标网址也都创建好了。

    原文作者:探索数据之美
    原文地址: https://www.jianshu.com/p/db99c4dd9d37
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞