PyCharm导入scrapy项目

在学习Python写爬虫的时候,scrapy是必不可少的,scrapy是使用Python进行编写的第三方框架,对于网页的爬取封装的非常完善,下面就说一下最近在学习scrapy时怎么导入PyChram中,并且运行在PyCharm。

一、安装scrapy

首先要先安装scrapy,在mac终端中输入pip3 install scrapy,然后稍等一会,等待scrapy安装成功,使用scrapy version进行测试,检查是否安装成功。

二、使用scrapy创建项目

安装好scrapy之后,就可以使用scrapy新建项目,首先在终端cd到项目存放的目录,使用scrapy startproject (项目名),创建完成后,就可以在项目目录中找到项目,然后查看项目分支,主要包括scrapy.cfg、piplines.py、settings.py、middlewares.py、items.py、__init__init.py和spider文件夹,其中spider文件夹中又包含一个__init__.py文件,至于这几个文件的作用,可以直接去问度娘。

三、在PyCharm中打开scrapy项目

打开PyCharm,然后选择open文件,找到刚刚创建的项目,直接打开,然后进行PyCharm的Preferences中,选择Project Interpreter,这时候会看到显示[invalid] Python 3.6(scrapy)…,选择右边设置按钮,选择show all,然后左下角➕按钮,在页面中,直接点OK即可。

四、使用PyCharm运行scrapy

因为PyCharm不带scrapy运行的脚本,所以需要自己编写,在与scrapy.cfg同级目录中,创建一个python项目start.py(命名自己随便起),写上如下代码:

from scrapyimport cmdline

cmdline.execute(“scrapy crawl myspider”.split())

myspider需要与自己创建的爬虫中name一致,然后点击EditConfigurations,新建一个脚本,选择python,在script path中选择刚刚的start.py,OK,然后就可以直接使用start.py运行scrapy项目。

    原文作者:水丿果糖
    原文地址: https://www.jianshu.com/p/5251acab03df
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞