Spider中间件

2023年8月20日 167次阅读 来源: 喵帕斯0_0

scrapy提供了两种中间件，下载中间件（Downloader Middleware）和Spider中间件（Spider Middleware）

Spider中间件

Spider中间件与下载中间件类似，只不过Spider中间件处理的是即将发往Spider处理的Response对象，以及从Spider返回的Response对象或Item对象。

如何激活Spider中间件：

在配置文件settings.py中的SPIDER_MIDDLEWARES中配置键值对，键为要打开的Spider中间件，值为数字，Spider中间件按照数字排列，即数字越低，越靠近处理引擎，数字越高，越靠近spider。
scrapy还有一个内部自带的Spider中间件配置SPIDER_MIDDLEWARES_BASE（不可覆盖）。scrapy在启用是会结合SPIDER_MIDDLEWARES和SPIDER_MIDDLEWARES_BASE，若要取消scrapy默认打开的Spider中间件，可在SPIDER_MIDDLEWARES将该中间件的值置为0。

SPIDER_MIDDLEWARES_BASE = 
{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}
如何编写一个Spider中间件
class scrapy.spidermiddlewares.SpiderMiddleware
process_spider_input(response, spider)

当每个Response经过中间件时会被调用，优先级越高（值越小）的中间件，越先调用；该方法应该返回以下对象：None/抛出异常；

  1. 返回None：scrapy会继续执行其他中间件相应的方法，最终会传递给spider；
  2. 抛出异常：Request.errback会被调用来处理函数，如果还是继续抛出异常，则会调用process_spider_exception()，否则会以另一个方向调用process_spider_output()。
process_spider_output(response, result, spider)

当每个Spider的返回经过Spider中间件会被调用，优先级越高的中间件，越晚被调用，与process_spider_input()相反；该方法返回以下对象：Request对象的可迭代对象/Item对象的可迭代对象/dcit。

process_spider_exception(response, exception, spider)

当process_spider_input()抛出异常时会被调用，应该返回以下对象：Request对象的可迭代对象/Item对象的可迭代对象/dcit；

  1. 如果返回None：scrapy会继续调用接下去其他中间件的process_spider_exception()，直到没有其他中间件，最终到达引擎（被日志记录并抛弃）；
  2. 如果返回可迭代对象：中间件链的process_spider_output()开始启动，不会继续调用其他中间件的process_spider_exception()；
process_start_requests(start_requests, spider)

当spider.start_requests()被调用时启动，和process_spider_output()类似，接受Request对象的可迭代器，并且必须放回Request对象的可迭代。

from_crawler(cls, crawler)

如果存在该函数，from_crawler会被调用使用crawler来创建中间器对象，必须返回一个中间器对象，通过这种方式，可以访问到crawler的所有核心部件，如settings、signals等。

scray提供的一些Spider中间件

下面看下一些Spider中间件的源码，更多的Spider中间件请查看文档和代码

HttpErrorMiddleware

HTTP异常状态码处理中间件

#httpproxy.py
"""
HttpError Spider Middleware

See documentation in docs/topics/spider-middleware.rst
"""
import logging

from scrapy.exceptions import IgnoreRequest

logger = logging.getLogger(__name__)


class HttpError(IgnoreRequest):
    """A non-200 response was filtered"""

    def __init__(self, response, *args, **kwargs):
        self.response = response
        super(HttpError, self).__init__(*args, **kwargs)


class HttpErrorMiddleware(object):

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings)

    def __init__(self, settings):   
        self.handle_httpstatus_all = settings.getbool('HTTPERROR_ALLOW_ALL')        #设置为True表示忽略状态码，由Spider处理所有响应码
        self.handle_httpstatus_list = settings.getlist('HTTPERROR_ALLOWED_CODES')   #可通过的非200状态码列表

    def process_spider_input(self, response, spider):
        """
        response表示响应包
        """
        if 200 <= response.status < 300:  # common case  200段返回码，表示正常
            return
        meta = response.meta
        # meta传递了handle_httpstatus_all用来表示当前请求均由Spider自己处理
        if 'handle_httpstatus_all' in meta:
            return
        #meta传递了需要自己处理的非200状态码列表
        if 'handle_httpstatus_list' in meta:
            allowed_statuses = meta['handle_httpstatus_list']
        elif self.handle_httpstatus_all:
            return
        else:
            #当前状态满足条件，返回
            allowed_statuses = getattr(spider, 'handle_httpstatus_list', self.handle_httpstatus_list)
        if response.status in allowed_statuses:
            return
        # 抛出由scrapy处理
        raise HttpError(response, 'Ignoring non-200 response')

    def process_spider_exception(self, response, exception, spider):
        #只处理HttpError的异常
        if isinstance(exception, HttpError):
            spider.crawler.stats.inc_value('httperror/response_ignored_count')
            spider.crawler.stats.inc_value(
                'httperror/response_ignored_status_count/%s' % response.status
            )
            logger.info(
                "Ignoring response %(response)r: HTTP status code is not handled or not allowed",
                {'response': response}, extra={'spider': spider},
            )
            return []
UrlLengthMiddleware

URL长度限制中间件

#urllength.py
"""
Url Length Spider Middleware

See documentation in docs/topics/spider-middleware.rst
"""

import logging

from scrapy.http import Request
from scrapy.exceptions import NotConfigured

logger = logging.getLogger(__name__)


class UrlLengthMiddleware(object):

    def __init__(self, maxlength):
        self.maxlength = maxlength

    @classmethod
    def from_settings(cls, settings):
        maxlength = settings.getint('URLLENGTH_LIMIT')          #URL最大长度
        if not maxlength:
            raise NotConfigured
        return cls(maxlength)

    def process_spider_output(self, response, result, spider):
        """
        result: dict/Request对象的可迭代/Item对象的可迭代器
        """
        def _filter(request):
            if isinstance(request, Request) and len(request.url) > self.maxlength:
                logger.debug("Ignoring link (url length > %(maxlength)d): %(url)s ",
                             {'maxlength': self.maxlength, 'url': request.url},
                             extra={'spider': spider})
                return False
            else:
                return True

        return (r for r in result or () if _filter(r))

总结

Spider中间件用的机会不是很多，本篇只是大致的讲了一下，如果后面有实际使用机会会重新补充。总的来说，下载中间件聚焦于下载前后，Spider中间件聚焦于Spider前后，两者略有重合的地方。

    原文作者：喵帕斯0_0
    原文地址: https://www.jianshu.com/p/936c1dd2f380
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞