Python爬虫之查找自己浏览器headers

2021年1月18日 136次阅读 来源: 威斯登

Python爬虫查找自己浏览器headers
每个浏览器都有自己的headers，因为headers要模仿你自己的浏览器向网页发送信息。如果使用Python进行爬取页面时，使用了别人的headers可能会导致爬取不到任何数据（因为代码在你自己的电脑运行，所以无法模拟别人的浏览器）。
比如，在进行学习时，或多或少都会参考别人的代码，这时如果你将别人代码中的headers直接复制过来，就可能导致代码运行没有错误，但是就是爬取不到任何数据。
如何查找自己浏览器的headers。
以谷歌浏览器为例——随便打开一个网页，例如打开https://baike.baidu.com/item/乘风破浪的姐姐，右键点击‘检查’或者按F12，出现下图页面。
《Python爬虫之查找自己浏览器headers》
点击最上方选项卡中的‘Network’选项，再按F5，在‘name’框中会出现一个选项，点击该选项，在右侧点击‘headers’选项，在最下方找到‘User-Agent:’，粘贴到自己代码即可。如下图
《Python爬虫之查找自己浏览器headers》
将User-Agent:粘贴到自己代码headers中即可：

headers = {  
        'User-Agent': 'ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
    }
    原文作者：威斯登
    原文地址: https://blog.csdn.net/weixin_43982422/article/details/108682122
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞