Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
安装
sudo pip3 install scrapy
新建项目
scrapy startproject 爬虫项目名称
新建爬虫文件
crapy genspider 爬虫文件名称 域名:制作爬虫开始爬取网页
一个项目有四个文件我们一般情况下会进行修改
1.pipeline.py
可以在这里做数据持久化, 如果有多个管道文件,并且有优先级顺序一定要记住return item,否则下一个管道无法接受item
它还要两个可选方法
def open_spider(self,spider):
可选方法，在爬虫开始执行的时候调用一次
print(spider.name,’爬虫开启’)
def close_spider(self,spider):
可选方法,在爬虫结束的时候调用一次
self.file.close()
print(spider.name,’爬虫结束’)
2.item.py
#自定义字段,为了后面赋值时使用(类似于DJango里面model的作用)
3.spiders.py
即爬虫文件
name
定义spider名字的字符串。
allowed_domains
包含了spider允许爬取的域名(domain)的列表，可选。
start_urls
初始URL元组/列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。
start_requests(self)
该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取（默认实现是使用 start_urls 的url）的第一个Request。
当spider启动爬取并且未指定start_urls时，该方法被调用。
parse(self, response)
当请求url返回网页没有指定回调函数时，默认的Request对象回调函数。
4.settings.py
BOT_NAME
(也是项目名称)。使用 startproject 命令创建项目时会被自动赋值。
SPIDER_MODULES = [‘ziruproject.spiders’] NEWSPIDER_MODULE = ‘ziruproject.spiders’
爬虫的文件路径
USER_AGENT
用户代理，一般设置这个参数用来伪装浏览器请求
ROBOTSTXT_OBEY
是否遵守ROBOT协议，为False时，表示不遵守，
为True时表示遵守（默认为True）
COOKIES_ENABLED
是否要携带cookies，一般情况下，不是必须要携带
cookies的请求，我们将这个参数设置为False，(默认为True)
DEFAULT_REQUEST_HEADERS
默认: 如下
{
‘Accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,
‘Accept-Language’: ‘en’,
}
用于Scrapy HTTP请求的默认标头
ITEM_PIPELINES
设置并激活管道文件，为了存储数据使用，
后面的数字表示优先级，数字越小，优先级越高
关于日志信息的设置
LOG_ENABLED
默认: True
是否启用logging。
LOG_FILE
默认: None
logging输出的文件名。如果为None，则使用标准错误输出(standard error)。
Logging使用
Scrapy提供了log功能，可以通过 logging 模块使用。
可以修改配置文件settings.py，任意位置添加下面两行，效果会清爽很多。
LOG_FILE = “TencentSpider.log”
LOG_LEVEL = “INFO”
5.middleware.py
middleware的使用主要是为了自定义一些第三方组件，是爬虫和反爬的重要过程
主要有四种：
1.随机User-Agent
2.自定义随机cookies
3.enium结合使用
4.自定义随机ip池
除了一般的scrapy框架之外还有通用爬虫
通用爬虫和一般爬虫的区别主要是多了一个Rule的规则
他的主要参数是：
LinkExtractor中有：
allow:一般设置一个正则表达式，符合该正则表达式的连接，提取该url（常用）
deny:同样是跟一个正则表达式，符合该正则表达式的连接，不提取该url
（优先级比allow要高）
allowed_domains：提取的连接，必须在allowed_domains设置的域下
deny_domains: 提取链接时，一定不能提取deny_domains设置的域下
restrict_xpaths:当提取链接的时候，我们可以使用xpath语法定位到某些标签，提取标签下，
符合规则的链接 （常用）
tags:可以指定要提取哪些标签
attrs:可以指定要提取标签的哪些属性
restrict_css:当提取链接的时候，我们可以使用css语法定位到某些标签，提取标签下，
符合规则的链接 (常用)
还有：
callback=’回调函数名称’,
follow=True | False, # 表示是否要跟进
