Python爬虫教程-11-proxy代理IP,隐藏地址(猫眼电影)

ProxyHandler处理(代理服务器),使用代理IP,是爬虫的常用手段,通常使用UserAgent 伪装浏览器爬取仍然可能被网站封了IP,但是我们使用代理IP就不怕它封了我们的IP了

获取代理IP的的网站:

全网代理IP-高匿HTTP代理IP服务器供应商

免费代理IP_HTTP代理服务器IP_隐藏IP_QQ代理_国内外代理_西刺免费代理IP

使用代理来隐藏真实访问中,代理也不允许频繁访问某一个固定网站,所以,代理一定要很多很多

需要使用,从上面的网站拷贝

基本使用步骤

1.设置代理地址

2.创建ProxyHandler

3.创建Opener

4.安装Opener

原文:

https://blog.csdn.net/qq_40147863/article/details/81738970blog.csdn.net

案例v11

# 使用代理服务器访问猫眼
# https://maoyan.com/
from urllib import request,error

if __name__ == '__main__':

    url = "https://baidu.com/"

    # 1.设置代理地址
    proxy = {'http': '218.60.8.83:3129'}
    # 2.创建ProxyHandler
    proxy_handler = request.ProxyHandler(proxy)
    # 3.创建Opener
    opener = request.build_opener(proxy_handler)
    # 4.安装Opener
    request.install_opener(opener)

    # 下面再进行访问url就会使用代理服务器
    try:
        rsp = request.urlopen(url)
        html = rsp.read().decode()
        print(html)

    except error.HTTPError as e:
        print(e)

    except Exception as e:
        print(e)

运行结果

《Python爬虫教程-11-proxy代理IP,隐藏地址(猫眼电影)》
《Python爬虫教程-11-proxy代理IP,隐藏地址(猫眼电影)》

关于爬虫使用代理服务器,使用代理IP,就介绍到这里了,使用代理IP是爬虫的常用手段,好处多多

    原文作者:NicePython
    原文地址: https://zhuanlan.zhihu.com/p/62299962
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞