大数据时代，数据都从哪儿来呢？除了官方部门、企业搜集提供的数据外，我们还可以使用网络爬虫技术，获得想要进行研究和分析的数据。今天，大圣众包威客平台（www.dashengzb.cn）便以Scrapy框架为例，手把手教你编写一个抓取信息的爬虫程序。

一、什么是网络爬虫

网络爬虫，是指抓取特定网站网页的HTML数据，粗略理解的意思就是，一个在网上到处或定向抓取数据的程序。然而，由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到网站的所有HTML页面就是一个有待考究的问题了。

一般的方法是，定义一个入口页面：一般一个页面会有其他页面的URL，从当前页面获取这些URL加入到爬虫的抓取队列中，然后进入新页面后再递归地进行上述的操作便可。本质上来说，就跟深度遍历或广度遍历一样。

二、Scrapy网络爬虫的工作原理

今天介绍的Scrapy，以方便著称，它是一个基于Twisted，纯Python实现的爬虫框架。用户只需要定制开发几个模块，就可以轻松地实现一个爬虫程序，用以抓取网页内容以及各种图片。Scrapy使用Twisted这个异步网络库来处理网络通讯，架构十分清晰，并且包含了各种中间件接口，可以灵活地完成各种需求。

整体架构如上图所示，图中绿线是数据流向。

1.从初始URL开始，Scheduler会将数据交给Downloader进行下载。

2.下载后，数据交由Spider进行分析。

3.Spider分析出来的结果有两种：一种是需要进一步抓取的链接，这些东西会被传回Scheduler；另一种是需要保存的数据，它们会被送到ItemPipeline那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。

另外，在数据流动的通道里还可以安装各种中间件以进行必要的处理。

三、一个利用Scrapy的简单并完整的爬虫程序

如上图，是一个官网主页上的简单并完整的爬虫程序。不要小觑它仅仅只有10行左右的代码，但它的确是一个完整的爬虫服务。值得注意的是，Scrapy所有的请求都是异步的，也就是说Scrapy不需要等一个请求完成才能处理下一条请求，而是同时发起另一条请求。而且，异步请求的另一个好处是当某个请求失败了，其他的请求不会受到影响。由此，你可以见识到Scrapy作为一个开源的Python数据抓取框架，是多么的快速、强大、易用。

以Mac操作系统为例，当执行scrapy run spider xxx.py命令的时候，Scrapy便在项目里查找Spider（蜘蛛矘）并通过爬虫引擎来执行它：

1.先从定义在start_urls里的URL开始发起请求。

2.通过parse()方法处理响应。其中，response参数就是返回的响应对象。

3.在parse()方法中，通过一个CSS选择器获取想要抓取的数据。

四、Scrapy中几个需要了解的概念

结合上例，我们一起来了解一些Scrapy中几个重要的概念：

1.Spiders

Spider类想要表达的是：如何抓取一个确定了的网站的数据。比如在start_urls里定义的去哪个链接抓取，parse()方法中定义的要抓取什么样的数据。当一个Spider开始执行的时候，它首先从start_urls()中的第一个链接开始发起请求，然后在callback里处理返回的数据。

2.Items

Item类提供格式化的数据，可以理解为数据Model类。

3.Selectors

Scrapy的Selector类基于lxml库，提供HTML或XML转换功能。以response对象作为参数生成的Selector实例即可通过实例对象的xpath()方法获取节点的数据。

网络爬虫技术，一理通百理明，Scrapy数据抓取框架快速、强大、易用，定能帮你抓取更多有用的数据。

（更多大数据与商业智能领域干货、或电子书，可添加大圣花花个人微信号（dashenghuaer))