写在开始之前
按照上一篇介绍过的 scrapy爬虫的创建顺序,我们开始爬取壁纸的爬虫的创建。
首先,我们先过一遍 scrapy爬虫的创建顺序:
- 第一步:确定要在pipelines里进行处理的数据,写好items文件
- 第二步:创建爬虫文件,将所需要的信息从网站上爬取下来,并传递给pipelines文件处理
- 第三步:pipelines接收spiders传递过来的数据,并做出相应的处理,如:壁纸的下载和保存
- 第四步:一定要记得在settings开启pipelines
在开始之前,我们先按照上面的步骤来分析一下代码怎么写:
第一步:确定我们要爬取的网站,在百度上随便找一个,
zol:http://desk.zol.com.cn/dongman/1920×1080/,
这是zol的动漫板块,自己练手的话可以另外找一个。第二步:确定items,我们要下载壁纸并且按照网站上的名字进行命名。
下载壁纸需要获取壁纸的链接 image_url,命名需要壁纸的名字 image_name
第三步:编写spiders的代码从网页中获取我们image_url和image_name
第四步:下载图片并命名保存
第五步:到settings里开启pipelines
下面正式开始敲代码<( ̄︶ ̄)↗[GO!]
一、创建scrapy爬虫项目
打开命令行,依次输入如下命令:
#创建scrapy爬虫项目
scrapy startproject bizhi_zol
#打开新创建的爬虫项目
cd bizhi_zol
#在项目里创建spiders,domain为desk.zol.com.cn
scrapy genspider zol "desk.zol.com.cn"
二、items.py
项目创建完成后,我们按照上面的顺序,先写items
# -*- coding: utf-8 -*-
#items.py
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class BizhiZolItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
image_url = scrapy.Field()
image_name = scrapy.Field()
三、spiders
这一步可以说是整个爬虫里最重要的一步了
首先我们先分析网页结构,打开网址:http://desk.zol.com.cn/dongman/1920×1080/
查看元素后发现壁纸链接全在ul标签下
xpath路径如下:
#注意!!!
#pic-list2(两个空格)clearfix
//ul[@class="pic-list2 clearfix"]/li/a
通过xpath我们得到的是壁纸下载页面的链接
再通过链接获取壁纸下载页面,再在下载页面内获得壁纸链接和名字
细节不再赘述,xpath路径如下:
#内容详情页 获取壁纸名字
//a[@id="titleName"]/text()
#内容详情页 获取壁纸下载页面
#//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href
//dd[@id="tagfbl"]/a[1]/@href
#壁纸下载页 获取壁纸下载链接
//body/img[1]/@src
spiders代码如下:
# -*- coding: utf-8 -*-
#zol.py
import scrapy
from bizhi_zol.items import BizhiZolItem
class ZolSpider(scrapy.Spider):
name = 'zol'
#allowed_domains = ['desk.zol.com.cn']
start_urls = ['http://desk.zol.com.cn/dongman/1920x1080/']
#主站链接 用来拼接网址
base_site = 'http://desk.zol.com.cn'
def parse(self, response):
#获取内容详情页链接
load_page_urls = response.xpath('//ul[@class="pic-list2 clearfix"]/li/a/@href').extract()
for load_page_url in load_page_urls:
url = self.base_site + load_page_url
#获取内容详情页页面 交给getInfo处理
print(url)
yield scrapy.Request(url, callback=self.getInfo)
def getInfo(self, response):
#定义item储存信息
item = BizhiZolItem()
#获取壁纸名字
item['image_name'] = response.xpath('//a[@id="titleName"]/text()').extract()[0]
print(item['image_name'])
#获取壁纸下载页面链接
#load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href').extract()[0]
#测试时发现并不是所有的壁纸都有1920x1200的分辨率,所以将代码修改如下,获得壁纸最大分辨率的链接
load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[1]/@href').extract()[0]
#获取壁纸下载页面 并将item作为参数传递给getLoadUrl
request = scrapy.Request(load_page, callback=self.getLoadUrl)
request.meta['item'] = item
yield request
def getLoadUrl(self, response):
#接收参数
item = response.meta['item']
#获取壁纸下载链接
item['image_url'] = response.xpath('//body/img[1]/@src').extract()[0]
#将item传递给pipelines处理
yield item
四、pipelines.py
我们已经通过 spiders获得了图片的名字和链接,接下来我们只要下载图片然后再命名保存即可。
下载图片和之前的下载小说不同,这里要用到 ImagesPipeline中的 get_media_requests
方法来进行下载。
这里简单介绍一下get_media_requests方法:
选中get_media_requests然后转到定义,可以看到get_media_requests方法的原型为:
def get_media_requests(self, item, info):
return [Request(x) for x in item.get(self.images_urls_field, [])]
可以看到get_media_requests有三个参数,
第一个是self,这个不必多说;
第二个是 item,这个就是 spiders传递过来的 item
第三个是 info,看名字就知道这是用来保存信息的,至于是什么信息,info其实是一个用来保存保存图片的名字和下载链接的列表
但是我们想要重命名的话必须得有图片的路径,这时候就需要 item_completed方法了,原型如下:
def item_completed(self, results, item, info):
if isinstance(item, dict) or self.images_result_field in item.fields:
item[self.images_result_field] = [x for ok, x in results if ok]
return item
注意到 item_completed里有个 results参数,results参数保存了图片下载的相关信息,我们将它打印出来看看:
[(True, {'url': 'https://desk-fd.zol-img.com.cn/t_s1920x1200c5/g5/M00/01/04/ChMkJ1q2H1-IDTMjAAT0D9iUubUAAm_uwJN1eoABPQn240.jpg', 'path': 'full/fedfedc2f28c22996af50ff8d4759e7031950517.jpg', 'checksum': '06bde14f40a64c288bd251ebbe17bc1e'})]
了解了这些后,问题就简单了。
我们只需要在 get_media_requests
中 scrapy.Request()
发起请求,然后 scrapy会自动将图片下载并保存。
当图片下载完成之后,我们再对图片重命名即可。
代码如下:
# -*- coding: utf-8 -*-
#pipelines.py
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.pipelines.images import ImagesPipeline
from bizhi_zol.settings import IMAGES_STORE as image_store
import scrapy
import os
class BizhiZolPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
#发起壁纸下载请求
yield scrapy.Request(item['image_url'])
def item_completed(self, results, item, info):
#对壁纸进行重命名
os.rename(image_store + '/' + results[0][1]['path'], image_store + '/' + item['image_name'] + '.jpg')
def __del__(self):
#完成后删除full目录
os.removedirs(image_store + '/' + 'full')
五、settings.py
这里 settings文件需要注意的是,要添加一个 IMAGES_STORE变量来设置图片下载的目录,其他的设置不再多说,贴上代码:
#settings.py
BOT_NAME = 'bizhi_zol'
SPIDER_MODULES = ['bizhi_zol.spiders']
NEWSPIDER_MODULE = 'bizhi_zol.spiders'
IMAGES_STORE = './IMAGE'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'bizhi_zol.pipelines.BizhiZolPipeline': 300,
}
写到这里整个爬虫程序就完成了,不过这个爬虫程序只能爬取一页的壁纸,不能够自动翻页。
要实现自动翻页,就留给读者自己动脑筋了
ps: 自动翻页很简单,只需在原来代码的基础上增加几行代码就可以了