scrapy爬取豆瓣电影

scrapy爬取豆瓣电影,存储在MongoDB

本节分享用的Scrapy爬取豆瓣电影Top250的实战。

本节要实现的内容有:

  • 爬取豆瓣电影Top250页面的,全部字段
  • 将抓取到的结果存储到MongoDB。

实验环境:

  • PyCharm
  • Python3.6
  • Scrapy
  • PyMongo
  • MongoDB

创建项目

在你的工作目录的文件夹下打开命令提示符窗口,输入:

scrapy startproject dbmoive

创建爬虫

cd dbmoive
scarpy genspider douban movie.douban.com/top250

如果正确创建,得到的目录如下所示

《scrapy爬取豆瓣电影》 目录结构

  • scrapy.cfg文件中主要包含的是项目的相关设置。
  • dbmoive文件夹下是用于编写爬虫的目录。
  • items.py:定义我们所要爬取的信息的相关属性。
  • middlewares.py:爬虫中间件,这里可以用过自定义相关的方法,用来处理爬虫的响应和请求。
  • pipelines.py:当数据被爬虫爬取下来后,它会被发送到item pipelines中,每个item pipelines组件(有时称为“项目管道”)是一个实现简单方法的Python类。他们收到一个项目并对其执行操作,还决定该项目是否应该继续通过管道或被丢弃并且不再被处理。
  • settings.py:项目的设置文件。
  • douban.py: 项目中,爬虫的主要逻辑代码

禁止ROBOTSTXT_OBEY

接下来你需要打开settings.py文件,将ROBOTSTXT_OBEY修改为False。

ROBOTSTXT_OBEY = False

它默认为True,就是要遵守robots.txt 的规则,那么 robots.txt 是个什么东西呢?
通俗来说, robots.txt 是遵循 Robot 协议的一个文件,它保存在网站的服务器中,它的作用是,告诉搜索引擎爬虫,本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后,会在第一时间访问网站的 robots.txt 文件,然后决定该网站的爬取范围。

当然,我们并不是在做搜索引擎,而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以,某些时候,我们就要将此配置项设置为 False ,拒绝遵守 Robot协议 !

尝试最初的爬取

接下来我们什么代码也不修改,执行爬取,运行如下命令:

scrapy crawl douban

你会发现爬取结果会出现这样的一个错误:

500 Internal Server Error

访问知乎得到的状态码是500,这说明爬取并没有成功,其实这是因为我们没有加入请求头,知乎识别User-Agent发现不是浏览器,就返回错误的响应了。

所以接下来的一步我们需要加入请求headers信息,你可以在Request的参数里加,也可以在spider里面的custom_settings里面加,当然最简单的方法莫过于在全局settings里面加了。

我们打开settings.py文件,取消DEFAULT_REQUEST_HEADERS的注释,加入如下的内容:
所以在这里设置为False。当然可能本次爬取不一定会被它限制,但是我们一般来说会首先选择禁止它。

所以接下来的一步我们需要加入请求headers信息,你可以在Request的参数里加,也可以在spider里面的custom_settings里面加,当然最简单的方法莫过于在全局settings里面加了。

我们打开settings.py文件,取消DEFAULT_REQUEST_HEADERS的注释,加入如下的内容:

DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'Accept-Encoding' :  'gzip, deflate, br',
    'Cache-Control' :  'max-age=0',
    'Connection' :  'keep-alive',
    'Host' :  'movie.douban.com',
    'Upgrade-Insecure-Requests' :  '1',
    'User-Agent' :  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
}

这个是为你的请求添加请求头,如果你没有设置headers的话,它就会使用这个请求头请求,添加了User-Agent信息,所以这样我们的爬虫就可以伪装浏览器了。

接下来重新运行爬虫。

scrapy crawl zhihu

这时你就会发现得到的返回状态码就正常了。
解决了这个问题,我们接下来就可以分析页面逻辑来正式实现爬虫了。

页面分析

《scrapy爬取豆瓣电影》 对照图

使用选取工具选取整个电影的信息,可以发现,所有的信息都是放在单独的一个li标签中的,而且在li下还有一个class为item的div包裹着所有的信息。

定义item

根据前面的分析,我们需要抓取一共十个字段的信息,现在在items.py文件中定义item

class DoubanItem(Item):
    # 排名
    ranking = Field()
    # 篇名 
    title = Field()
    # 导演和演员
    director = Field()
    # 一句话描述 有的为空
    desc = Field()
    # 评分
    rating_num = Field()
    # 评价人数
    people_count = Field()
    # 上映时间
    date = Field()
    # 上映国家
    country = Field()
    # 类别
    category = Field()

parse方法

写完上面的代码,其实只是抓取一页的罢了,为了抓取完整的top250榜单,我们需要让爬虫跳转到下一页再进行循环抓取,因为每个页面的结构是一样的,所以不用担心会抓取不到。

这里不单独讲解XPath和CSS选择器的使用方法,多看一点资料,自己总结一下。

不知道各位有没有获取XPath和CSS好用一点的方法,欢迎分享给我。

    def parse(self, response):
        item = DoubanItem()
        movies = response.xpath('//div[@class="item"]')
        for movie in movies:
            # 名次
            item['ranking'] = movie.xpath('div[@class="pic"]/em/text()').extract()[0]
            # 片名 提取多个片名
            titles = movie.xpath('div[@class="info"]/div[1]/a/span/text()').extract()
            item['title'] = titles
            # 获取导演信息和演员信息
            info_director = movie.xpath('div[2]/div[2]/p[1]/text()[1]').extract()[0].replace(" ", "").replace("\n", "")
            item['director'] = info_director
            # 上映日期
            date = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[0]
            # 制片国家
            country = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[1]
            # 影片类型
            category = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[2]
            item['date'] = date
            item['country'] = country
            item['category'] = category
            desc = movie.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()').extract()
            if len(desc) != 0:  # 判断info的值是否为空,不进行这一步有的电影信息并没有会报错或数据不全
                item['desc'] = desc
            else:
                item['desc'] = ' '

            # item['desc'] = movie.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span[@class="inq"]/text()').extract()[0]
            item['rating_num'] = movie.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
            item['people_count'] = movie.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[4]/text()').extract()[0]
            yield item
# 获取下一页
        next_url = response.xpath('//span[@class="next"]/a/@href').extract()
        if next_url:
            next_url = 'https://movie.douban.com/top250' + next_url[0]
            yield Request(next_url, callback=self.parse, dont_filter=True)

那么到这里,代码就写完了。
然后我们来运行一下这个爬虫,scrapy框架是通过命令来启动爬虫的,
在项目根目录下打开命令提示符,输入:

scrapy crawl douban

如果没有出错,你会在终端看到一行行滚动的信息。

存储在Mongo

从官方文档中拷贝如下代码到pipeline.py中,只需要修改collection_name,其余基本不用修改。在存储MongoDB之前,你需要将正确安装MongoDB,并且启动MongoDB

class MongoPipeline(object):

    collection_name = 'douban'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

另外记得开启一下Item Pileline。setting.py

ITEM_PIPELINES = {
    'dbmovie.pipelines.MongoPipeline': 400,
}

实验结果

《scrapy爬取豆瓣电影》 结果

《scrapy爬取豆瓣电影》 MongoDB

项目的完整代码,可以看这里scrapy爬取豆瓣电影Top250,存储在MongoDB中

如果不想存储在MongoDB中,可以使用scrapy支出的命令导出其他格式的文件

scrapy crawl douban -o data.json 
scrapy crawl douban -o data.csv
scrapy crawl douban -o data.xml

🎉🎉🎉🎉 如果你觉得有帮助到你,欢迎打赏。

    原文作者:zThanks
    原文地址: https://www.jianshu.com/p/ecd41f6986cc
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞