Scrapy-4.Middleware

2023年5月14日 200次阅读 来源: 王南北丶

本文地址：https://www.jianshu.com/p/2f80c0fb818e

众所周知Scrapy有一个非常强大的优点，就是其结构非常模块化，想要自定义的扩展功能非常方便。而其模块化的思想很大一部分体现在其Middleware组件上。

Middleware其实是一个轻量级、较底层的钩子框架，用来全局的去处理相对应的内容。得益于其模块化的结构，编写和添加一个Middleware是非常轻松方便的。

Scrapy中主要有两种Middleware，一种是Downloader Middleware，一种是Spider Middleware。

下载中间件（Downloader Middleware）

如简介中的流程图所示，Downloader Middleware处于Downloader和引擎之间，所以它可以处理进出Downloader的Request和Response。

启用下载中间件（Downloader Middleware）

首先，我们要启用一个Downloader Middleware，需要在settings中进行相应的设置，如下是一个简单例子：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

这个字典的键名是Downloader Middleware类的路径，值是其优先级。

DOWNLOADER_MIDDLEWARES设置将会与默认的DOWNLOADER_MIDDLEWARES_BASE混合，然后按照对应的优先级进行排序。优先级数值越小，越靠近引擎这边，数值越大，越靠近Downloader一端。

换句话说，Downloader Middleware中的process_request()方法，将按照优先级逐渐增大的顺序依次调用，而process_response()方法调用顺序正好相反。

DOWNLOADER_MIDDLEWARES_BASE是Scrapy中默认已经启用的一些默认的下载中间件：

{
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
    'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
    'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
    'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
    'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560,
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
    'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
    'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

如果你想要将自定义的Downloader Middleware插入到指定的位置，那么你需要将优先级设置为相对应的中间件优先级之间。

如果想要关闭DOWNLOADER_MIDDLEWARES_BASE中某些中间件，那么你可以在DOWNLOADER_MIDDLEWARES中将其值设置为None。如下所示：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}

自定义下载中间件（Downloader Middleware）

每个Middleware都是一个定义了以下一个或多个方法的Python类。

class scrapy.downloadermiddlewares.DownloaderMiddleware

  • process_request(request, spider)

    当request通过这个Downloader Middleware时，将会调用这个函数来处理request。

    参数：

    • request(Request对象) – 被处理的request。
    • spider(Spider对象) – 这个reuqest所对应的spider。

    这个方法应该返回以下四种结果之一：

    • None

      如果返回None，那么Scrapy会继续往下处理这个request，执行接下来的其他Middleware，最终下载这个request并获得response。

    • Response

      如果返回的是Response的话，那么Scrapy会中断对这个Request的后续处理，不再调用后续的process_request()和process_exception()。Scrapy会调用所有启用的Middleware中的process_response()来处理这个Response。

    • Request

      如果返回的是Request，那么Scrapy同样会中断这个Request的后续处理，然后把返回的Request重新进行调度。

    • IgnoreRequest

      如果在这个方法中抛出了一个IgnoreRequest异常，那么启用的Middleware中的process_exception()将会被调用。如果没有一个方法处理这个异常，那么Request自带的异常处理函数(Request.errback)会被调用。如果没有任何代码处理这个异常，那么这个Request将被忽略并且不会被记录。

  • process_response(request, response, spider)

    当Downloader生成的Response在通过Downloader时，用来处理Response的方法。

    参数：

    • request(Request对象) – response所对应的request。
    • response(Response对象) – 要处理的response。
    • spider(Spider对象) – 这个response所对应的spider。

    这个方法应该返回以下三种结果之一：

    • Response

      如果返回的是Response，那么Scrapy将会继续调用下一个Middleware中的process_response()方法进行处理。

    • Request

      如果返回的是Request，那么Scrapy将会中断对Response的处理，并将返回的Request重新进行调度。与process_request()中返回Request的处理方式是一样的。

    • IgnoreRequest

      如果在方法中抛出了一个IgnoreRequest异常，那么Request自带的异常处理函数(Request.errback)会被调用。如果没有任何代码处理这个异常，那么这个Request将被忽略并且不会被记录。

  • process_exception(request, exception, spider)

    如果在Download或者process_request()过程中抛出一个异常，那么将会调用此方法来处理异常。

    参数：

    • request(Request对象) – 产生异常的request。
    • exception(Exception对象) – 抛出的异常。
    • spider(Spider对象) – request对应的Spider。

    这个方法应该返回以下三种结果之一：

    • None

      如果返回的是None，Scrapy将会继续调用启用的Middleware中的process_exception()来处理异常。当所有剩下的process_exception()都调用完毕后，会使用默认的异常处理。

    • Response

      如果返回的是一个Response对象，那么Scrapy将会中断异常的处理，重新调用所有启用的Middleware中的process_response()来处理返回的这个Response。

    • Request

      如果返回的是一个Request对象，那么Scrapy将会中断异常的处理，重新调用所有启用的Middleware中的process_request()来处理返回的这个Request。

爬虫中间件（Spider Middleware）

爬虫中间件与下载中间件的作用都是对经过的数据进行处理，只不过爬虫中间件的位置处于Spider与引擎之间，主要处理Spider的输入和输出。相对于下载中间件来说，爬虫中间件使用的较少。

爬虫中间件（Spider Middleware）与下载中间件（Downloader Middleware）最主要的区别是，下载中间件处理的是进出Downloader的Request和Response，爬虫中间件处理的，主要是从Downloader返回的Response和Spider生成的Request和Item。

可以看到，在处理Response这里，下载中间件和爬虫中间件是有一定的功能重叠的。但是在处理Request的时候，两者之间其实还间隔着一个调度器（Scheduler），所以这里处理的Request还有着未经调度器处理，和已经经过调度器处理的区别。并且，爬虫中间件还能处理Spider生成的Item。

爬虫中间件同样有一部分已经默认启用的基础中间件SPIDER_MIDDLEWARES_BASE：

{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}

启用爬虫中间件的方式也和下载中间件基本一致。

SPIDER_MIDDLEWARES = {
    'myproject.middlewares.CustomSpiderMiddleware': 543,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
}

自定义爬虫中间件（Spider Middleware）

每个爬虫中间件都是一个类：

class scrapy.spidermiddlewares.SpiderMiddleware

其中定义了以下一个或多个方法：

  • process_spider_input(response, spider)

    这个方法将会在Response传入Spider之前调用，来处理这个Response。

    参数：

    • response(Response对象) – 处理的response。
    • spider(Spider对象) – response对应的spider。

    process_spider_input()需要返回一个None或者抛出一个异常。

    • None

      如果返回的是None的话，Scrapy将会调用接下来的Middleware继续处理Response。

    • 抛出异常

      如果这个方法抛出的是一个异常的话，Scrapy将会停止处理这个Response。并调用Request对应的异常处理函数。

  • process_spider_output(response, result, spider)

    这个方法会在Spider返回结果时调用，用来处理Spider返回的Request，dict或者Item。

    参数：

    • response(Response对象) – Spider用来生成返回结果的Response。
    • result(Request, dict或者Item对象) – Spider生成的返回结果。
    • spider(Spider对象) – 处理结果的Spider。

  • process_spider_exception(response, exception, spider)

    在Spider或者process_spider_input()中抛出异常时，将会调用此方法来处理异常。

    参数：

    • response(Response对象) – 异常抛出时被处理的Response。
    • exception(Exception对象) – 抛出的异常。
    • spider(Spider对象) – 抛出异常的Spider。

    这个方法返回的结果有两种选择：

    • None

      如果返回的是None，那么Scrapy将会继续调用接下来的Midleware中的process_spider_exception()方法来处理异常。

    • 包含Request，dict或者Item的可迭代对象

      如果返回的是一个包含Request，dict或者Item的可迭代对象，那么异常处理将会被中断。转而开始调用process_spider_output()方法。

  • process_start_requests(start_requests, spider)

    当Spider访问的是最初始的start_requests时，将会调用这个方法来进行处理Spider的输出，这个方法的使用与process_spider_output()大致相同，区别只是处理的目标不同。

    而且这个方法只能返回一个包含Request的可迭代对象。

系列文章：

    原文作者：王南北丶
    原文地址: https://www.jianshu.com/p/2f80c0fb818e
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞