Scrapy-4.Middleware

本文地址:https://www.jianshu.com/p/2f80c0fb818e

众所周知Scrapy有一个非常强大的优点,就是其结构非常模块化,想要自定义的扩展功能非常方便。而其模块化的思想很大一部分体现在其Middleware组件上。

Middleware其实是一个轻量级、较底层的钩子框架,用来全局的去处理相对应的内容。得益于其模块化的结构,编写和添加一个Middleware是非常轻松方便的。

Scrapy中主要有两种Middleware,一种是Downloader Middleware,一种是Spider Middleware

下载中间件(Downloader Middleware)

如简介中的流程图所示,Downloader Middleware处于Downloader和引擎之间,所以它可以处理进出Downloader的Request和Response。

启用下载中间件(Downloader Middleware)

首先,我们要启用一个Downloader Middleware,需要在settings中进行相应的设置,如下是一个简单例子:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

这个字典的键名是Downloader Middleware类的路径,值是其优先级。

DOWNLOADER_MIDDLEWARES设置将会与默认的DOWNLOADER_MIDDLEWARES_BASE混合,然后按照对应的优先级进行排序。优先级数值越小,越靠近引擎这边,数值越大,越靠近Downloader一端。

换句话说,Downloader Middleware中的process_request()方法,将按照优先级逐渐增大的顺序依次调用,而process_response()方法调用顺序正好相反。

DOWNLOADER_MIDDLEWARES_BASEScrapy中默认已经启用的一些默认的下载中间件:

{
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
    'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
    'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
    'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
    'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560,
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
    'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
    'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

如果你想要将自定义的Downloader Middleware插入到指定的位置,那么你需要将优先级设置为相对应的中间件优先级之间。

如果想要关闭DOWNLOADER_MIDDLEWARES_BASE中某些中间件,那么你可以在DOWNLOADER_MIDDLEWARES中将其值设置为None。如下所示:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}

自定义下载中间件(Downloader Middleware)

每个Middleware都是一个定义了以下一个或多个方法的Python类。

class scrapy.downloadermiddlewares.DownloaderMiddleware
  • process_request(request, spider)

    当request通过这个Downloader Middleware时,将会调用这个函数来处理request。

    参数:

    • request(Request对象) – 被处理的request。
    • spider(Spider对象) – 这个reuqest所对应的spider。

    这个方法应该返回以下四种结果之一:

    • None

      如果返回None,那么Scrapy会继续往下处理这个request,执行接下来的其他Middleware,最终下载这个request并获得response。

    • Response

      如果返回的是Response的话,那么Scrapy会中断对这个Request的后续处理,不再调用后续的process_request()process_exception()Scrapy会调用所有启用的Middleware中的process_response()来处理这个Response。

    • Request

      如果返回的是Request,那么Scrapy同样会中断这个Request的后续处理,然后把返回的Request重新进行调度。

    • IgnoreRequest

      如果在这个方法中抛出了一个IgnoreRequest异常,那么启用的Middleware中的process_exception()将会被调用。如果没有一个方法处理这个异常,那么Request自带的异常处理函数(Request.errback)会被调用。如果没有任何代码处理这个异常,那么这个Request将被忽略并且不会被记录。

  • process_response(request, response, spider)

    Downloader生成的Response在通过Downloader时,用来处理Response的方法。

    参数:

    • request(Request对象) – response所对应的request。
    • response(Response对象) – 要处理的response。
    • spider(Spider对象) – 这个response所对应的spider。

    这个方法应该返回以下三种结果之一:

    • Response

      如果返回的是Response,那么Scrapy将会继续调用下一个Middleware中的process_response()方法进行处理。

    • Request

      如果返回的是Request,那么Scrapy将会中断对Response的处理,并将返回的Request重新进行调度。与process_request()中返回Request的处理方式是一样的。

    • IgnoreRequest

      如果在方法中抛出了一个IgnoreRequest异常,那么Request自带的异常处理函数(Request.errback)会被调用。如果没有任何代码处理这个异常,那么这个Request将被忽略并且不会被记录。

  • process_exception(request, exception, spider)

    如果在Download或者process_request()过程中抛出一个异常,那么将会调用此方法来处理异常。

    参数:

    • request(Request对象) – 产生异常的request。
    • exception(Exception对象) – 抛出的异常。
    • spider(Spider对象) – request对应的Spider

    这个方法应该返回以下三种结果之一:

    • None

      如果返回的是None,Scrapy将会继续调用启用的Middleware中的process_exception()来处理异常。当所有剩下的process_exception()都调用完毕后,会使用默认的异常处理。

    • Response

      如果返回的是一个Response对象,那么Scrapy将会中断异常的处理,重新调用所有启用的Middleware中的process_response()来处理返回的这个Response

    • Request

      如果返回的是一个Request对象,那么Scrapy将会中断异常的处理,重新调用所有启用的Middleware中的process_request()来处理返回的这个Request

爬虫中间件(Spider Middleware)

爬虫中间件与下载中间件的作用都是对经过的数据进行处理,只不过爬虫中间件的位置处于Spider与引擎之间,主要处理Spider的输入和输出。相对于下载中间件来说,爬虫中间件使用的较少。

爬虫中间件(Spider Middleware)与下载中间件(Downloader Middleware)最主要的区别是,下载中间件处理的是进出Downloader的Request和Response,爬虫中间件处理的,主要是从Downloader返回的Response和Spider生成的Request和Item。

可以看到,在处理Response这里,下载中间件和爬虫中间件是有一定的功能重叠的。但是在处理Request的时候,两者之间其实还间隔着一个调度器(Scheduler),所以这里处理的Request还有着未经调度器处理,和已经经过调度器处理的区别。并且,爬虫中间件还能处理Spider生成的Item。

爬虫中间件同样有一部分已经默认启用的基础中间件SPIDER_MIDDLEWARES_BASE

{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}

启用爬虫中间件的方式也和下载中间件基本一致。

SPIDER_MIDDLEWARES = {
    'myproject.middlewares.CustomSpiderMiddleware': 543,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
}

自定义爬虫中间件(Spider Middleware)

每个爬虫中间件都是一个类:

class scrapy.spidermiddlewares.SpiderMiddleware

其中定义了以下一个或多个方法:

  • process_spider_input(response, spider)

    这个方法将会在Response传入Spider之前调用,来处理这个Response。

    参数:

    • response(Response对象) – 处理的response。
    • spider(Spider对象) – response对应的spider。

    process_spider_input()需要返回一个None或者抛出一个异常。

    • None

      如果返回的是None的话,Scrapy将会调用接下来的Middleware继续处理Response。

    • 抛出异常

      如果这个方法抛出的是一个异常的话,Scrapy将会停止处理这个Response。并调用Request对应的异常处理函数。

  • process_spider_output(response, result, spider)

    这个方法会在Spider返回结果时调用,用来处理Spider返回的Request,dict或者Item。

    参数:

    • response(Response对象) – Spider用来生成返回结果的Response。
    • result(Request, dict或者Item对象) – Spider生成的返回结果。
    • spider(Spider对象) – 处理结果的Spider
  • process_spider_exception(response, exception, spider)

    Spider或者process_spider_input()中抛出异常时,将会调用此方法来处理异常。

    参数:

    • response(Response对象) – 异常抛出时被处理的Response。
    • exception(Exception对象) – 抛出的异常。
    • spider(Spider对象) – 抛出异常的Spider

    这个方法返回的结果有两种选择:

    • None

      如果返回的是None,那么Scrapy将会继续调用接下来的Midleware中的process_spider_exception()方法来处理异常。

    • 包含Request,dict或者Item的可迭代对象

      如果返回的是一个包含Request,dict或者Item的可迭代对象,那么异常处理将会被中断。转而开始调用process_spider_output()方法。

  • process_start_requests(start_requests, spider)

    Spider访问的是最初始的start_requests时,将会调用这个方法来进行处理Spider的输出,这个方法的使用与process_spider_output()大致相同,区别只是处理的目标不同。

    而且这个方法只能返回一个包含Request的可迭代对象。

系列文章:

    原文作者:王南北丶
    原文地址: https://www.jianshu.com/p/2f80c0fb818e
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞