SCRAPY中DOWNLOADER_MIDDLEWARES中间件的配置顺序

2023年2月13日 365次阅读 来源: coreki

在setting中，可以自定义中间件，接受各种request、response、 exception消息
比如有的人想在请求超时时 做一些处理，
有的人想为request设置代理

DOWNLOADER_MIDDLEWARES = {
'discountSpider.middlewares.ProcessMiddleware':90,    
'discountSpider.middlewares.ProxyMiddleware': 750, 
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 751, 
'discountSpider.middlewares.RandomUserAgent': 400,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}

然而，中间件的顺序是很重要的
如果是想截取process_request,则越前面越早收到通知，然后顺着向后依次通知，没什么意外的话是这样。
但是如果是截取process_response，获得request请求完成后，返回response的消息，如果是正常下载完成的话，是第一个中间件收到通知，然后顺序向后通知。
但是往往会发生很多意外，比如请求超时，比如请求被retry，那么是不会发送通知到第一个的，而是根据scrapy默认中间件的位置发送，
分配中间件的顺序请查看 DOWNLOADER_MIDDLEWARES_BASE 设置，而后根据您想要放置中间件的位置选择一个值。由于每个中间件执行不同的动作，您的中间件可能会依赖于之前(或者之后)执行的中间件，因此顺序是很重要的。

比如DOWNLOADER_MIDDLEWARES_BASE中
‘scrapy.contrib.downloadermiddleware.retry.RetryMiddleware’: 500, 如果你把自定义的中间件序号设为100，那么当下载器发生错误504 500错误，需要retry，则会将response状态为retry的消息通知后面中间件，你的中间件的process_response将无法收到消息，因为他是从500序号开始向后通知，所需你将自己的中间件序号改为500以后，则可以收到消息。

又比如
‘scrapy.contrib.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware’: 350,如果你想收到下载页面超时的消息，请将中间件放到350以后，process_response才能收到消息。因为下载发生超时后，scrapy会直接找到scrapy.contrib.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware模块的位置350，通知他，然后消息依次通知后面的比如400,500,550,700等位置的中间件。如果你的中间件位置在100之类的，那是收不到消息的。

下面附上默认中间件的信息

DOWNLOADER_MIDDLEWARES_BASE
{
    'scrapy.contrib.downloadermiddleware.robotstxt.RobotsTxtMiddleware': 100,
    'scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware': 300,
    'scrapy.contrib.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware': 350,
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 400,
    'scrapy.contrib.downloadermiddleware.retry.RetryMiddleware': 500,
    'scrapy.contrib.downloadermiddleware.defaultheaders.DefaultHeadersMiddleware': 550,
    'scrapy.contrib.downloadermiddleware.redirect.MetaRefreshMiddleware': 580,
    'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware': 590,
    'scrapy.contrib.downloadermiddleware.redirect.RedirectMiddleware': 600,
    'scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware': 700,
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 750,
    'scrapy.contrib.downloadermiddleware.chunked.ChunkedTransferMiddleware': 830,
    'scrapy.contrib.downloadermiddleware.stats.DownloaderStats': 850,
    'scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware': 900,
}
    原文作者：coreki
    原文地址: https://www.jianshu.com/p/3b7507e7fc65
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞