scrapy中间件

 

scrapy中间件分下载器中间件和爬虫中间件

下载器中间件(downloader middlewares):主要处理request请求发出去和response响应返回的一些回调。

方法:

  process_request(self,request,spider):

    当request请求经过下载器中间件的时候调用

    返回为None:继续请求

    返回为Request对象,把request对象交给调度器,进行后续请求

    返回为Response对象,不再请求,response交给引擎然后给爬虫

  这个方法可以给request请求增加代理ip,cookie,user-agent,还可以集成selenium,返回HtmlResponse(url,body=,request=,encoding=)

 

  process_response(self,request,response,spider):

    下载器完成http请求,返回responser给引擎时调用

    返回为Request对象,交给调度器继续请求

    返回为Response对象,交给下一个process_response处理

  这个方法,可以进行cookie池的维护,或者对response进行MD5加密,进行数据的去重

 

  process_exception(request,exception,spider):

    当下载处理区或者process_request抛出异常时,scrapy框架调用process_exception处理,但是不处理process_response抛出的异常,此异常调用requst的errback(Request.errback)处理

    返回为None,调用其他process_exception方法继续处理,直到所有中间件调用完毕,调用默认的异常处理

    返回为Response对象,异常纠正,交给下一个process_response处理

    返回为Request对象,交给调度器继续请求

 

 

爬虫中间件(spider middlewares):处理解析数据(item)的相关逻辑修正,比如数据不完整添加默认、增加其他额外信息。(处理输入response和输出item或request)

  方法:

  process_spider_input(self,response,spider):

    response通过中间件,该方法调用

    返回None,交给下一个process_spider_input处理

 

  process_spider_output(self,response,result,spider):

    当spider处理response返回reult,该方法调用

    该方法必须返回包含requset或item对象的可迭代对象iterable

  

  process_spider_exception(response,exception,spider):

    当spider或process_spider_input抛出异常时,该方法调用

    返回为None,交给其他process_spider_exception继续处理

    返回一个包含responser或item对象的可迭代对象(iterable),交给其process_spider_output方法

    

   process_start_request(start_request,spider):

    spider启动start_requests() 时调用

    接受一个可迭代对象(start_request参数)且必须返回一个包含Request对象的可迭代对象

  

    原文作者:爱吃猫的鱼i
    原文地址: https://www.cnblogs.com/zwp-627/p/11295848.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞