使用fake-useragent： https://github.com/hellysmile/fake-useragent 这是一个可以随机切换访问头的插件 安装方法： pip install fake-userage…

好久没有用过scrapy框架，甚至有一些手生了。学习东西最痛苦的事情是，学了的东西不用。过一段时间我都怀疑自己是否学过了。 还是古话说的好，温故而知新。在这里记录一下感觉重要的几个点。先从简单的来。 0.设置User-A…