Scrapy简单入门及实例讲解
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下
29-978666187.png
scrapy介绍1.png
scrapy执行过程.png
clipboard.png
1.安装scrapy包
pip install scrapy
2.查看scrapy命令
scrapy
clipboard.png
测试爬取数据的根据机器性能
scrapy bench
下载响应文件
scrapy fetch "http://www.baidu.com"
获取对应文件
scrapy shell "http://www.baidu.com"
3.开始创建一个项目
scrapy startproject zhangxuhui(项目名称)
4.创建一个爬虫
scrapy genspider tencent(爬虫名称) "tencent.com" (url)
5.运行爬虫
scrapy crawl tencent(爬虫名称)
6.保存文件
scrapy crawl tencent(爬虫名称) -o data.json
