request爬虫

2024年1月29日 192次阅读 来源: 简_矩_风

代理

在需要代理的时候，可以通过为请求方法提供proxies参数来配置单个请求：

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

当代理需要使用HTTP Basic Auth时，可以使用http://user:password@host/语法（注意结尾的/号一定要有）：

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/"
}

也可以通过环境变量HTTP_PROXY和HTTPS_PROXY来配置代理

$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"

$ python
>>> import requests
>>> requests.get("http://example.org")
    原文作者：简_矩_风
    原文地址: https://segmentfault.com/a/1190000012689956
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞