使用fake-useragent: https://github.com/hellysmile/fake-useragent 这是一个可以随机切换访问头的插件 安装方法: pip install fake-userage…
标签:useragent
scrapy设置随机请求头的两种方法
1.在settings.py中设置USER_AGENT_LIST 需要先导入random模块 然后在meddlewares.py中创建RandomUserAgentMiddleWare()类.重写scrapy内置的Use…