Scrapy学习笔记(一)爬取页面html

最近要采集一些数据,给项目做分析用。在小伙伴的推荐下,先去读了《Python网络数据采集》这本书。Python是很容易上手的语言,在参考书上做了几个小例子后,luckly下载到了数据,也用上了requests和BeautifulSoup库。
不过很快,我就被打击到了,要采集的有很多页,怎么办?
仔细看了看网站的地图还挺复杂的,只好一层层地打开页面分析链接,用各种正则表达式去匹配页面上的URL。
然后,就崩溃了,哈哈。我记不清自己在编辑哪一层页面上的代码了……

看来引入一些技术手段是必要的了。于是看上了Scrapy,虽然及至现在我还不太清楚Scrapy是不是能够满足我的要求:

  1. 能够找到页面上的跳转链接
  2. 能够到达最深层的页面且不跑出域
  3. 在最深层的页面采集数据保存下来

也许会有更好的工具吧?不过先试着学习一下,看了几篇教程,感觉理解难度蛮高的。我还是适合做笔记来帮助理解的学习方式。于是,我会在这里更新学习的过程。
看的教程是:
https://piaosanlang.gitbooks.io/spiders/04day/section4.3.html

Step1:新建一个Scrapy项目

首先在终端输入:

scrapy startproject tutorial #tutorial 可以换成自己的名字

就会在当前文件夹下生成目录:
scrapy.cfg: 项目的配置文件;(用于发布到服务器)
tutorial/: 该项目文件夹。之后将在此编写Python代码。
tutorial/spiders/: 放置spider代码的目录;(编写爬取网站规则)
tutorial/items.py: 项目中的item文件;(定义结构化数据字段field)
tutorial/pipelines.py: 项目中的pipelines文件;(用于存放执行后期数据处理的功能,定义如何存储结构化数据)
tutorial/settings.py: 项目的设置文件;(如何修改User-Agent,设置爬取时间间隔,设置代理,配置中间件等等)

附上Windows下打开终端的方法:按住Shift键的同时,点击鼠标右键,就在菜单里了~ Win10默认的终端是PowerShell,过去是命令提示符(CMD)。Linux用户的话,终端应该经常用到吧,用不着我在这里说了~

Step2:定义Item(结构化字段)

所谓的结构化字段呢,就是一条数据有哪些指标是我们关心的,是需要存储的。有点像学C时讲的结构体。
可以通过创建一个 scrapy.Item 类, 并且定义类型为 scrapy.Field的类属性来定义一个Item。在Python中,类属性就是在类中定义的变量。据说 scrapy.Field是什么类型都接收的,有错请指正。
首先根据需要从腾讯招聘获取到的数据对item进行建模。 我们需要从腾讯招聘中获取 职位名称、职位详情页url职位类别人数工作地点以及发布时间。 对此,在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件:

import scrapy#导入爬虫库

class RecruitItem(scrapy.Item):
    name  = scrapy.Field()
    detailLink = scrapy.Field()
    catalog = scrapy.Field()
    recruitNumber = scrapy.Field()
    workLocation = scrapy.Field()
    publishTime = scrapy.Field()

Step3:编写第一个爬虫(Spider)

蜘蛛不是爬虫类呀
Spider是开发者编写用于从单个网站(或者一些网站)爬取数据的类。
创建一个Spider,必须继承 ‘scrapy.Spider’ 类,然后定义以下三个属性:

  1. name:spider名字,它必须是唯一的;
  2. start_urls:初始的URL列表;
  3. parse(self, response):每个初始URL完成下载后被调用,这个函数要完成的功能:
    • 负责解析返回的网页数据(response.body),提取结构化数据(生成item);
    • 生成下一页的请求URL。

先不理会这几句话的意思,看看代码再想。
tutorial/spiders文件夹下,新建一个名为tencent_spider.py的文件,复制如下代码:

import scrapy

class RecruitSpider(scrapy.spiders.Spider):
    name = "tencent"
    allowed_domains = ["hr.tencent.com"]
    start_urls = [
        "http://hr.tencent.com/position.php?&start=0#a"
    ]

    def parse(self, response):
        f = open('tengxun.txt', 'wb')
        f.write(response.body)
        f.close()
  • 爬虫的名字name是tencent
  • 初始url列表start_urls里就一条: “http://hr.tencent.com/position.php?&start=0#a
  • parse里面的三行语句告诉我们:创建了名为tengxun.txt的文档,然后把spider获得的返回值response中body的内容,以二进制方式写入tengxun.txt里。
  • 虽然教程中没有作解释,猜想allowed_domains = ["hr.tencent.com"]那句的功能是不让爬虫离开这个域名下的网页。
  • 还有就是class RecruitSpider(scrapy.spiders.Spider):,应该class RecruitSpider(scrapy.Spider):就可以了吧?

Step4:爬取

进入scrapy.cfg所在的目录,在Shell中执行下列命令启动spider:

scrapy crawl tencent

可以看到目录下生成了txt文件,里面保存了start_urls网页的源代码。相应地,如果把数据的存储格式从txt改为html(本质上没有区别),就可以用浏览器看到渲染出的网页了。不过仅仅带有成格式排列的文本信息。
对这些数据做进一步处理,正是咱们的目标。
在继续前进之前,先做一个小试验,把tencent_spider.py中start_urls的代码修改成:

    start_urls = [
        "http://hr.tencent.com/position.php?&start=0#a",
        "https://hr.tencent.com/position.php?&start=10#a"
    ]

第二个网址,是第一个页面的下一页。再运行爬虫,然后打开保存的tengxun.html。期待究竟是会不会显示第2页呢?结果是,只显示了第一页,和刚才的结果一样。
看来scrapy内部运行的机制,并不如我所想象。毕竟现在还在学习,在不了解前scrapy还是个黑箱。

    原文作者:依吖
    原文地址: https://www.jianshu.com/p/919464ad3f64
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞