Scrapy将抓取到的图片保存到不同目录下

2023年11月26日 266次阅读 来源: 腿长袖子短

  • scrapy抓取图片时,通常情况下所有图片都会被保存到IMAGES_STORE指定路径下的full这个目录下,但是很多情况下我们抓取的图片都需要根据不同的属性分类,创建相关目录保存,所以scrapy这种默认统一的保存形式就跟不上需求了,研究后,解决这一问题,废话不多说,直接上代码(求各位大神轻喷)

  • spider.py文件

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from renti.items import RentiItem


class RtSpider(CrawlSpider):
    name = 'rt'
    allowed_domains = ['www.666rt.co']
    start_urls = ['http://www.666rt.co/ArtZG/']

    rules = (
        Rule(LinkExtractor(allow=r'list\d+.html')),
        Rule(LinkExtractor(allow=r'ArtZG/\d+/$')),
        Rule(LinkExtractor(allow=r'www.666rt.co/ArtZG/\d+/\d+.html'), callback='parse_item', follow=True),
    )


    def parse_item(self, response):
        item = RentiItem()
        item['img_path'] = response.xpath("//title/text()").extract()[0].split('-')[0]
        item['img_name'] = response.xpath("//div[@class='imgbox']/a/img/@alt").extract()[0]
        item['img_url'] = 'http://www.666rt.co%s'%response.xpath("//div[@class='imgbox']/a/img/@src").extract()[0]
        yield item
  • items.py
# -*- coding: utf-8 -*-

import scrapy

class RentiItem(scrapy.Item):
    img_path = scrapy.Field()
    img_name = scrapy.Field()
    img_url = scrapy.Field()
  • pipelines.py
# -*- coding: utf-8 -*-

# 导入这个包为了移动文件
import shutil
# 这个包不解释
import scrapy

# 导入项目设置
from scrapy.utils.project import get_project_settings

# 导入scrapy框架的图片下载类
from scrapy.contrib.pipeline.images import ImagesPipeline

# 这个包不解释
import os

class ImagesPipeline(ImagesPipeline):

    # 从项目设置文件中导入图片下载路径
    img_store = get_project_settings().get('IMAGES_STORE')

    # 重写ImagesPipeline类的此方法
    # 发送图片下载请求
    def get_media_requests(self, item, info):
        img_url = item['img_url']
        yield  scrapy.Request(img_url)

    # 重写item_completed方法
    # 将下载的文件保存到不同的目录中
    def item_completed(self, results, item, info):
        image_path = [x["path"] for ok, x in results if ok]

        # 定义分类保存的路径
        img_path = "%s%s"%(self.img_store, item['img_path'])
        # 目录不存在则创建目录
        if os.path.exists(img_path) == False:
            os.mkdir(img_path)

        # 将文件从默认下路路径移动到指定路径下
        shutil.move(self.img_store + image_path[0], img_path + "\\" + item["img_name"] + '.jpg')

        item["img_path"] = img_path + "\\" + item["img_name"] + '.jpg'
        return item
  • settings.py的设置这里就不写了,因为没有什么好写的,主要就是IMAGES_STORE,其他的根据自己的项目需求设置
    这里实现图片保存到不同目录下的功能,只要作用函数就是shutil.move(),将图片从原始的默认路径移动到指定的目录下,实现需求
    原文作者：腿长袖子短
    原文地址: https://www.jianshu.com/p/0ea820236e16
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞