爬虫课堂（二十一）|使用FilesPipeline和ImagesPipeline下载文件和图片

2023年1月16日 126次阅读

在上一章节，我们学会了使用Item Pipeline处理数据，而有时候我们可能需要下载爬虫网站中的文件信息，比如图片、视频、WORD文档、PDF文档、压缩包等。
Scrapy提供了两个Item Pipeline来下载文件和图片，它们分别是FilesPipeline和ImagesPipeline。
一、FilesPipeline和ImagesPipeline
这两个管道都实现了：

  • 避免重复下载。
  • 可以指定下载后保存的目录。

图片也是文件，下载图片本质上也是下载文件，Images Pipeline是FilesPipeline的子类，使用上和FilesPipeline差不多，只是Images Pipeline为处理图片提供了额外的功能：

  • 将所有下载的图片格式转换成普通的JPG并使用RGB颜色模式。
  • 为图片生成缩略图。
  • 检查图片的宽度和高度，过滤掉尺寸小的图片。

1、使用Files Pipeline
一般会按照下面的步骤来使用文件管道：
1）在配置文件settings.py中启用FilesPipeline。

ITEM_PIPELINES = {
    'tutorial.pipelines.files.FilesPipeline': 1,  
}

2）在配置文件settings.py中使用FILES_STORE指定文件存储路径。

# 文件存储路径 
FILES_STORE = '/Users/huangtao/Downloads/files'

3）实现ExampleItem（可选），在items.py定义file_urls和files两个字段。

class ExampleItem(Item):
    file_urls = Field()
    files = Field()

4）实现ExamplesSpider，设置起始爬取点。
parse方法将提取文件的下载URL并返回，一般情况下是把这些URL赋值给ExampleItem的file_urls。

# 获取360的图片信息
class SoSpider(scrapy.Spider):
    name = "so"
    allowed_domains = ["image.so.com"]

    def __init__(self, *args, **kwargs):
        super(SoSpider, self).__init__(*args, **kwargs)
        self.start_urls = ['http://image.so.com/z?ch=go']

    # 这里的parse方法将提取文件的下载URL并返回，一般情况下是把这些URL赋值给ExampleItem的file_urls。
    def parse(self, response):
        pass

2、使用Images Pipeline
ImagesPipeline跟FilesPipeline的使用一样，只是使用的item字段和配置选项上有一些差别。

  • 差别一：在配置文件settings.py中导入路径不一样
ITEM_PIPELINES = {
    'tutorial.pipelines.files.FilesPipeline': 1,   # 文件 
    'tutorial.pipelines.images.ImagesPipeline': 2,   # 图片
}
  • 差别二：在配置文件settings.py指定文件存储路径不一样
FILES_STORE = '/Users/huangtao/Downloads/files'  # 文件存储路径  
IMAGES_STORE = '/Users/huangtao/Downloads/files' # 图片存储路径
  • 差别三：在items.py定义的Item字段不一样
class ExampleItem(Item):
    # 文件
    file_urls = Field()
    files = Field()
    # 图片
    image_urls = scrapy.Field()  
    images = scrapy.Field()

3、Images Pipeline在Files Pipeline基础上增加了一些特有的功能

  • 为图片生成缩略图
    在配置文件settings.py中设置IMAGES_THUMBS，它是一个字典，每一项的值是缩略图的尺寸。
IMAGES_THUMBS = {  
    'small': (50, 50),  
    'big': (270, 270),  
}

开启这个功能后，下载一张图片时，本地会出现3张图片，1张原图片，2张缩略图。

  • 检查图片的宽度和高度，过滤掉尺寸小的图片
    在配置文件settings.py中设置IMAGES_MIN_HEIGHT和IMAGES_MIN_WIDTH，它们分别指定需要过滤掉的最小尺寸图片的宽和高。
IMAGES_MIN_WIDTH = 110  # 最小宽度
IMAGES_MIN_HEIGHT = 110  # 最小高度

开启这个功能后，如果下载的图片尺寸为109*200，该图片就会被抛弃，因为它的宽度不符合标准。同样的，当高度不符合时也会被抛弃。

点赞