fake-useragent,python爬虫伪装请求头

在编写爬虫进行网页数据的时候,大多数情况下,需要在请求是增加请求头,下面介绍一个python下非常好用的伪装请求头的库:fake-useragent,具体使用说明如下:

安装fake-useragent库

pip install fake-useragent

获取各浏览器的fake-useragent

from fake_useragent import UserAgent

ua = UserAgent()

#ie浏览器user agent

print(ua.ie)

#opera浏览器

print(ua.opera)

#chrome浏览器

print(ua.chrome)

#firefox浏览器

print(ua.firefox)

#safri浏览器

print(ua.safari)

#最常用的方式#写爬虫最实用的是可以随意变换headers,一定要有随机性。支持随机生成请求头print(ua.random)

print(ua.random)

print(ua.random)

示例代码

from fake_useragent 

import UserAgentimport requestsua=UserAgent()

#请求的网址

url=”http://www.baidu.com”

#请求头

headers={“User-Agent”:ua.random}

#请求网址

response=requests.get(url=url,headers=headers)

#响应体内容

print(response.text)

#响应状态信息

print(response.status_code)

#响应头信息

print(response.headers)

    原文作者:天涯笨熊
    原文地址: https://www.jianshu.com/p/e75ee27ac9a1
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞