scrapy爬取豆瓣图书TOP250实验报告

2019年6月11日 339次阅读 来源: 弦_歌

一、实验目的

实验对象：豆瓣图书 Top 250 （https://book.douban.com/top250）
实验内容：用scrapy框架编写爬虫，尝试用xpath和css两种方法采集豆瓣图书top250的图书信息，包括标题、作者、一句话短评、评分、图片地址等内容

二、实验过程

1.设计采集流程

采集工作只有一层链接，就是翻页。经过观察，豆瓣该网页翻页的url是有规律的，以25的倍数递增
“https://book.douban.com/top250?start=0“
“https://book.douban.com/top250?start=25“
因此url列表可以这样表示：

url = 'https://book.douban.com/top250?start={}'.format(a*25)
2.分析采集实体的路径

2.1 xpath方法
分析方法：用浏览器开发者工具，定位元素后直接 copy xpath

《scrapy爬取豆瓣图书TOP250实验报告》 整本书.png

  • 每本书的路径： “//[@id=”content”]/div/div[1]/div/table”
    令 book = response.xpath(‘//    [@id=”content”]/div/div[1]/div/table’)，则后面的可以表示为：
  • 标题路径：book.xpath(“./tr/td[2]/div[1]/a/@title”)
  • 评价人数路径：book.xpath(“./tr/td[2]/p[2]/span/text()”)
    其他内容的路径同理，就不详细写了。

2.2 css方法
分析方法：用浏览器开发者工具，定位元素后观察它下方栏的css标签节点

《scrapy爬取豆瓣图书TOP250实验报告》 css.png

  • 每本书的路径：’tr.item’
    令 book=response.css(‘tr.item’)，则后面的可以表示为：
  • 标题路径：book.css(‘div.pl2 a::text’)
  • 图片路径：book.css(‘a.nbg img’).xpath(‘@src’)
    其它的这里先不详细写。
3.编写爬虫文件 douban.py

先创建爬虫项目，然后在spyder文件夹中新建爬虫文件 douban.py，开始编写爬虫代码。

scrapy startproject douban

3.1 xpath 版本

# -*- coding: utf-8 -*-

import scrapy
from douban.items import DoubanItem
    
class geyan(scrapy.Spider):
    name = "douban2"
    def start_requests(self):
        for a in range(10):
            url = 'https://book.douban.com/top250?start={}'.format(a*25)
            yield scrapy.Request(url=url,callback=self.parse)
    
    def parse(self,response):
        items = []
       for book in response.xpath('//*[@id="content"]/div/div[1]/div/table'):
            item = DoubanItem()
            item['title']=book.xpath("./tr/td[2]/div[1]/a/@title").extract_first().replace('\n', '').strip()
            item['score']=book.xpath("./tr/td[2]/div[2]/span[2]/text()").extract_first().replace('\n', '').strip()
            item['scrible']=book.xpath("./tr/td[2]/p[2]/span/text()").extract_first().replace('\n', '').strip()
            item['num']=book.xpath("./tr/td[2]/div[2]/span[3]/text()").extract_first().strip("(").strip(")").replace('\n', '').strip()
            item['img']=book.xpath("./tr/td[1]/a/img/@src").extract_first().replace('\n', '').strip()
            items.append(item)
         
        print(items)
        return items

3.2 css版本
除了parse函数内的具体采集路径不同，其他部分的代码都跟xpath版本的相同。

def parse(self,response):
        items = []
        for book in response.css('tr.item'):
            item = DoubanItem()
            item['title']=book.css('div.pl2 a::text').extract_first().replace('\n', '').strip()
            item['score']=book.css('div.star.clearfix span.rating_nums::text').extract_first().replace('\n', '').strip()
            item['scrible']=book.css('p.quote span.inq::text').extract_first().replace('\n', '').strip()
            item['num']=book.css('div.star.clearfix span.pl::text').extract_first().strip("(").strip(")").replace('\n', '').strip()
            item['img']=book.css('a.nbg img').xpath('@src').extract_first().replace('\n', '').strip()
            items.append(item)
          
        print(items)
        return items
4.修改项目文件 setting.py 和 pipelines.py

4.1 修改setting.py
去掉文件中 ITEM_PIPELINES一行的注释，修改user-agent

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
ITEM_PIPELINES = {
    'douban.pipelines.DoubanPipeline': 300,
}

4.2 修改 pipelines.py
在文件中自定义一个类

import codecs
import json

class JsonPipeline(object):
    def __init__(self):
        self.file = codecs.open('daa.json', 'w', encoding='utf-8')
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line)
        return item
    def spider_closed(self, spider):
        self.file.close()
5.运行代码
scrapy crawl douban

部分结果如图：

《scrapy爬取豆瓣图书TOP250实验报告》 结果报告.png

6.存储数据
scrapy crawl douban -o douban.json

《scrapy爬取豆瓣图书TOP250实验报告》 结果.png

三、遇到的问题

1. 403 forbidden：爬虫被禁止访问该网页

解决方案：在setting.py中修改user-agent，伪装成浏览器
谷歌浏览器user-agent的获取方法：在地址栏输入chrome:version，查看用户代理一栏

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

参考链接：http://30daydo.com/article/245

2. 列表越界 IndexError: list index out of range

解决方法：最开始在采集数据时，采集路径后面用的数据处理方法是.extract（）[0]，改成extract_first()即可

item['title']=book.css('div.pl2 a::text').extract_first()
3. 结果数据处理问题

3.1 采集到的数据带有大量空格、换行符和括号
比如在“num”这一个数据中，带有括号、空格和换行符，可以用replace(‘\n’, ”)或者strip()函数处理

item['num']=book.xpath("./tr/td[2]/div[2]/span[3]/text()").extract_first().strip("(").strip(")").replace('\n', '').strip()

3.1采集到的数据进行json格式化

    原文作者：弦_歌
    原文地址: https://www.jianshu.com/p/44fad66fe3b1
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞