1、安装scrapy
在命令提示符下使用:
mkvirtualenv article
建立名字为article
的虚拟环境。
在虚拟环境下pip install -i https://pypi.douban.com/simple scrapy
安装scrapy
若遇安装错误,可以根据错误提示安装相应依赖包。
或安装anaconda,使用conda install -c conda-forge scrapy=1.3.3
安装
2、建立工程和项目
建立工程
scrapy startproject articlespider
建立项目
scrapy genspider jobbole blog.jobbole.com/all-posts
在工程目录(articlespider)下建立文件main.py:
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "jobbole"])
通过这个文件来运行爬虫。