前言 需求：用scrapy设置request的请求头ua是随机的，header中其他参数是固定的。 方法：由于scrapy局部设置优先于全局设置。所以在middleware中设置随机ua,在settings中DEFAUL…

使用fake-useragent： https://github.com/hellysmile/fake-useragent 这是一个可以随机切换访问头的插件 安装方法： pip install fake-userage…

首先创建middlewares.py文件，然后定义中间件类 class UAMiddleware（object）: def process_request（self,request,spider）: ua = rando…