最近要采集一些数据,给项目做分析用。在小伙伴的推荐下,先去读了《Python网络数据采集》这本书。Python是很容易上手的语言,在参考书上做了几个小例子后,luckly下载到了数据,也用上了requests和BeautifulSoup库。
不过很快,我就被打击到了,要采集的有很多页,怎么办?
仔细看了看网站的地图还挺复杂的,只好一层层地打开页面分析链接,用各种正则表达式去匹配页面上的URL。
然后,就崩溃了,哈哈。我记不清自己在编辑哪一层页面上的代码了……
看来引入一些技术手段是必要的了。于是看上了Scrapy,虽然及至现在我还不太清楚Scrapy是不是能够满足我的要求:
- 能够找到页面上的跳转链接
- 能够到达最深层的页面且不跑出域
- 在最深层的页面采集数据保存下来
也许会有更好的工具吧?不过先试着学习一下,看了几篇教程,感觉理解难度蛮高的。我还是适合做笔记来帮助理解的学习方式。于是,我会在这里更新学习的过程。
看的教程是:
https://piaosanlang.gitbooks.io/spiders/04day/section4.3.html
Step1:新建一个Scrapy项目
首先在终端输入:
scrapy startproject tutorial #tutorial 可以换成自己的名字
就会在当前文件夹下生成目录:
scrapy.cfg: 项目的配置文件;(用于发布到服务器)
tutorial/: 该项目文件夹。之后将在此编写Python代码。
tutorial/spiders/: 放置spider代码的目录;(编写爬取网站规则)
tutorial/items.py: 项目中的item文件;(定义结构化数据字段field)
tutorial/pipelines.py: 项目中的pipelines文件;(用于存放执行后期数据处理的功能,定义如何存储结构化数据)
tutorial/settings.py: 项目的设置文件;(如何修改User-Agent,设置爬取时间间隔,设置代理,配置中间件等等)
附上Windows下打开终端的方法:按住Shift键的同时,点击鼠标右键,就在菜单里了~ Win10默认的终端是PowerShell,过去是命令提示符(CMD)。Linux用户的话,终端应该经常用到吧,用不着我在这里说了~
Step2:定义Item(结构化字段)
所谓的结构化字段呢,就是一条数据有哪些指标是我们关心的,是需要存储的。有点像学C时讲的结构体。
可以通过创建一个 scrapy.Item
类, 并且定义类型为 scrapy.Field
的类属性来定义一个Item。在Python中,类属性就是在类中定义的变量。据说 scrapy.Field
是什么类型都接收的,有错请指正。
首先根据需要从腾讯招聘获取到的数据对item进行建模。 我们需要从腾讯招聘
中获取 职位名称、职位详情页url
、职位类别
、人数
、工作地点
以及发布时间
。 对此,在item中定义相应的字段。编辑 tutorial
目录中的 items.py
文件:
import scrapy#导入爬虫库
class RecruitItem(scrapy.Item):
name = scrapy.Field()
detailLink = scrapy.Field()
catalog = scrapy.Field()
recruitNumber = scrapy.Field()
workLocation = scrapy.Field()
publishTime = scrapy.Field()
Step3:编写第一个爬虫(Spider)
蜘蛛不是爬虫类呀
Spider是开发者编写用于从单个网站(或者一些网站)爬取数据的类。
创建一个Spider,必须继承 ‘scrapy.Spider’ 类,然后定义以下三个属性:
- name:spider名字,它必须是唯一的;
- start_urls:初始的URL列表;
- parse(self, response):每个初始URL完成下载后被调用,这个函数要完成的功能:
- 负责解析返回的网页数据(response.body),提取结构化数据(生成item);
- 生成下一页的请求URL。
先不理会这几句话的意思,看看代码再想。
在tutorial/spiders
文件夹下,新建一个名为tencent_spider.py
的文件,复制如下代码:
import scrapy
class RecruitSpider(scrapy.spiders.Spider):
name = "tencent"
allowed_domains = ["hr.tencent.com"]
start_urls = [
"http://hr.tencent.com/position.php?&start=0#a"
]
def parse(self, response):
f = open('tengxun.txt', 'wb')
f.write(response.body)
f.close()
- 爬虫的名字name是tencent
- 初始url列表start_urls里就一条: “http://hr.tencent.com/position.php?&start=0#a“
- parse里面的三行语句告诉我们:创建了名为tengxun.txt的文档,然后把spider获得的返回值response中body的内容,以二进制方式写入tengxun.txt里。
- 虽然教程中没有作解释,猜想
allowed_domains = ["hr.tencent.com"]
那句的功能是不让爬虫离开这个域名下的网页。 - 还有就是
class RecruitSpider(scrapy.spiders.Spider):
,应该class RecruitSpider(scrapy.Spider):
就可以了吧?
Step4:爬取
进入scrapy.cfg所在的目录,在Shell中执行下列命令启动spider:
scrapy crawl tencent
可以看到目录下生成了txt文件,里面保存了start_urls网页的源代码。相应地,如果把数据的存储格式从txt改为html(本质上没有区别),就可以用浏览器看到渲染出的网页了。不过仅仅带有成格式排列的文本信息。
对这些数据做进一步处理,正是咱们的目标。
在继续前进之前,先做一个小试验,把tencent_spider.py中start_urls的代码修改成:
start_urls = [
"http://hr.tencent.com/position.php?&start=0#a",
"https://hr.tencent.com/position.php?&start=10#a"
]
第二个网址,是第一个页面的下一页。再运行爬虫,然后打开保存的tengxun.html。期待究竟是会不会显示第2页呢?结果是,只显示了第一页,和刚才的结果一样。
看来scrapy内部运行的机制,并不如我所想象。毕竟现在还在学习,在不了解前scrapy还是个黑箱。