常见的反爬策略

首先，既然要破解这些常见的反爬策略，就首先需要知道常见的反爬策略有哪些，所谓知己知彼，百战百胜。

解决策略

1. 伪装user agent

User-Agent是检查用户所用客户端的种类和版本。通过设置UA可以伪装成浏览器进行访问目标网站

3.图片识别验证码

对于一些简单的验证手段，可以通过pytesseract和PIL库进行图像识别，获取验证码，从而突破验证码限制。

当然也可以自己训练机器识别，这部分涉及到AI的知识，就不深入了。

例如豆瓣的验证码

5.其他突破方法

降低访问的频率。例如：每抓取一个页面就休息随机秒（个人感觉比固定时间的要好）；限制每天抓取的页面数量。

添加cookie。对于需要登录的网页来说，这是必要的一步

注：想学习Python的小伙伴们进群：984632579领取从0到1完整学习资料 视频 源码 精品书籍 一个月经典笔记和99道练习题及答案