Spider中间件

scrapy提供了两种中间件,下载中间件(Downloader Middleware)和Spider中间件(Spider Middleware)

Spider中间件

Spider中间件与下载中间件类似,只不过Spider中间件处理的是即将发往Spider处理的Response对象,以及从Spider返回的Response对象或Item对象。

如何激活Spider中间件:

在配置文件settings.py中的SPIDER_MIDDLEWARES中配置键值对,键为要打开的Spider中间件,值为数字,Spider中间件按照数字排列,即数字越低,越靠近处理引擎,数字越高,越靠近spider。
scrapy还有一个内部自带的Spider中间件配置SPIDER_MIDDLEWARES_BASE(不可覆盖)。scrapy在启用是会结合SPIDER_MIDDLEWARESSPIDER_MIDDLEWARES_BASE若要取消scrapy默认打开的Spider中间件,可在SPIDER_MIDDLEWARES将该中间件的值置为0。

SPIDER_MIDDLEWARES_BASE = 
{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}
如何编写一个Spider中间件
class scrapy.spidermiddlewares.SpiderMiddleware
process_spider_input(response, spider)

当每个Response经过中间件时会被调用,优先级越高(值越小)的中间件,越先调用;该方法应该返回以下对象:None/抛出异常;

  1. 返回None:scrapy会继续执行其他中间件相应的方法,最终会传递给spider;
  2. 抛出异常:Request.errback会被调用来处理函数,如果还是继续抛出异常,则会调用process_spider_exception(),否则会以另一个方向调用process_spider_output()
process_spider_output(response, result, spider)

当每个Spider的返回经过Spider中间件会被调用,优先级越高的中间件,越晚被调用,与process_spider_input()相反;该方法返回以下对象:Request对象的可迭代对象/Item对象的可迭代对象/dcit

process_spider_exception(response, exception, spider)

process_spider_input()抛出异常时会被调用,应该返回以下对象:Request对象的可迭代对象/Item对象的可迭代对象/dcit

  1. 如果返回None:scrapy会继续调用接下去其他中间件的process_spider_exception(),直到没有其他中间件,最终到达引擎(被日志记录并抛弃);
  2. 如果返回可迭代对象:中间件链的process_spider_output()开始启动,不会继续调用其他中间件的process_spider_exception()
process_start_requests(start_requests, spider)

spider.start_requests()被调用时启动,和process_spider_output()类似,接受Request对象的可迭代器,并且必须放回Request对象的可迭代。

from_crawler(cls, crawler)

如果存在该函数,from_crawler会被调用使用crawler来创建中间器对象,必须返回一个中间器对象,通过这种方式,可以访问到crawler的所有核心部件,如settingssignals等。

scray提供的一些Spider中间件

下面看下一些Spider中间件的源码,更多的Spider中间件请查看文档和代码

HttpErrorMiddleware

HTTP异常状态码处理中间件

#httpproxy.py
"""
HttpError Spider Middleware

See documentation in docs/topics/spider-middleware.rst
"""
import logging

from scrapy.exceptions import IgnoreRequest

logger = logging.getLogger(__name__)


class HttpError(IgnoreRequest):
    """A non-200 response was filtered"""

    def __init__(self, response, *args, **kwargs):
        self.response = response
        super(HttpError, self).__init__(*args, **kwargs)


class HttpErrorMiddleware(object):

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings)

    def __init__(self, settings):   
        self.handle_httpstatus_all = settings.getbool('HTTPERROR_ALLOW_ALL')        #设置为True表示忽略状态码,由Spider处理所有响应码
        self.handle_httpstatus_list = settings.getlist('HTTPERROR_ALLOWED_CODES')   #可通过的非200状态码列表

    def process_spider_input(self, response, spider):
        """
        response表示响应包
        """
        if 200 <= response.status < 300:  # common case  200段返回码,表示正常
            return
        meta = response.meta
        # meta传递了handle_httpstatus_all用来表示当前请求均由Spider自己处理
        if 'handle_httpstatus_all' in meta:
            return
        #meta传递了需要自己处理的非200状态码列表
        if 'handle_httpstatus_list' in meta:
            allowed_statuses = meta['handle_httpstatus_list']
        elif self.handle_httpstatus_all:
            return
        else:
            #当前状态满足条件,返回
            allowed_statuses = getattr(spider, 'handle_httpstatus_list', self.handle_httpstatus_list)
        if response.status in allowed_statuses:
            return
        # 抛出由scrapy处理
        raise HttpError(response, 'Ignoring non-200 response')

    def process_spider_exception(self, response, exception, spider):
        #只处理HttpError的异常
        if isinstance(exception, HttpError):
            spider.crawler.stats.inc_value('httperror/response_ignored_count')
            spider.crawler.stats.inc_value(
                'httperror/response_ignored_status_count/%s' % response.status
            )
            logger.info(
                "Ignoring response %(response)r: HTTP status code is not handled or not allowed",
                {'response': response}, extra={'spider': spider},
            )
            return []
UrlLengthMiddleware

URL长度限制中间件

#urllength.py
"""
Url Length Spider Middleware

See documentation in docs/topics/spider-middleware.rst
"""

import logging

from scrapy.http import Request
from scrapy.exceptions import NotConfigured

logger = logging.getLogger(__name__)


class UrlLengthMiddleware(object):

    def __init__(self, maxlength):
        self.maxlength = maxlength

    @classmethod
    def from_settings(cls, settings):
        maxlength = settings.getint('URLLENGTH_LIMIT')          #URL最大长度
        if not maxlength:
            raise NotConfigured
        return cls(maxlength)

    def process_spider_output(self, response, result, spider):
        """
        result: dict/Request对象的可迭代/Item对象的可迭代器
        """
        def _filter(request):
            if isinstance(request, Request) and len(request.url) > self.maxlength:
                logger.debug("Ignoring link (url length > %(maxlength)d): %(url)s ",
                             {'maxlength': self.maxlength, 'url': request.url},
                             extra={'spider': spider})
                return False
            else:
                return True

        return (r for r in result or () if _filter(r))

总结

Spider中间件用的机会不是很多,本篇只是大致的讲了一下,如果后面有实际使用机会会重新补充。总的来说,下载中间件聚焦于下载前后,Spider中间件聚焦于Spider前后,两者略有重合的地方。

    原文作者:喵帕斯0_0
    原文地址: https://www.jianshu.com/p/936c1dd2f380
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞