ProxyHandler处理(代理服务器),使用代理IP,是爬虫的常用手段,通常使用UserAgent 伪装浏览器爬取仍然可能被网站封了IP,但是我们使用代理IP就不怕它封了我们的IP了
获取代理IP的的网站:
免费代理IP_HTTP代理服务器IP_隐藏IP_QQ代理_国内外代理_西刺免费代理IP
使用代理来隐藏真实访问中,代理也不允许频繁访问某一个固定网站,所以,代理一定要很多很多
需要使用,从上面的网站拷贝
基本使用步骤
1.设置代理地址
2.创建ProxyHandler
3.创建Opener
4.安装Opener
原文:
https://blog.csdn.net/qq_40147863/article/details/81738970 blog.csdn.net
案例v11
# 使用代理服务器访问猫眼
# https://maoyan.com/
from urllib import request,error
if __name__ == '__main__':
url = "https://baidu.com/"
# 1.设置代理地址
proxy = {'http': '218.60.8.83:3129'}
# 2.创建ProxyHandler
proxy_handler = request.ProxyHandler(proxy)
# 3.创建Opener
opener = request.build_opener(proxy_handler)
# 4.安装Opener
request.install_opener(opener)
# 下面再进行访问url就会使用代理服务器
try:
rsp = request.urlopen(url)
html = rsp.read().decode()
print(html)
except error.HTTPError as e:
print(e)
except Exception as e:
print(e)
运行结果
关于爬虫使用代理服务器,使用代理IP,就介绍到这里了,使用代理IP是爬虫的常用手段,好处多多