Python爬虫新姿势：mitmproxy最新的爬虫工具！
mitmproxy 是一款工具，也可以说是 python 的一个包，在命令行操作的工具。
MITM 即中间人攻击（Man-in-the-middle attack）
Python爬虫新姿势：mitmproxy最新的爬虫工具！
使用这个工具可以在命令行上进行抓包，还可以对所抓到的包进行脚本处理，非常有用。
进群：700341555获取Python爬虫学习资料！
Python爬虫新姿势：mitmproxy最新的爬虫工具！
安装 mitmproxy
安装这个我们必须先安装了 pip。 pip 在安装了 python之后自带的，如果你安装了 python 就可以忽略了，如何安装这里就不说了，只说安装 mitmproxy
打开命令行，输入 pip install mitmproxy 即可
Python爬虫新姿势：mitmproxy最新的爬虫工具！
按下回车即可下载
但是到最后下载失败
<pre style=”-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;”>error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools
</pre>
是因为安装这个包的 window 系统需要首先安装 Microsoft Visual C++ V14.0以上 才行。
可以在https://visualstudio.microsoft.com/zh-hans/downloads/ 直接下载即可，安装之后需要把 c++ 的 库之类的东西都安装了，然后再在命令行进行安装 mitmproxy即可。
安装完之后查看 mitmproxy版本
命令行输入 mitmproxy –version
Python爬虫新姿势：mitmproxy最新的爬虫工具！
显示错误，这是因为 window操作系统不支持使用 mitmproxy 这个命令，我们可以使用 mitmdump 或 mitmweb 代替。
Python爬虫新姿势：mitmproxy最新的爬虫工具！
这样就成功了。
如何使用 mitmproxy抓包
开启抓包：mitmdump
Python爬虫新姿势：mitmproxy最新的爬虫工具！
这样子就是开始抓包了，监听了所有的地址，端口是 8080，如果需要改端口号，可以按 ctrl + c 退出抓包，然后输入下列命令：
mitmdump -p 8889
这样子就把端口号改成 8889 了
Python爬虫新姿势：mitmproxy最新的爬虫工具！
如果需要抓手机的包的话，就需要在你连接的 wifi 修改代理
Python爬虫新姿势：mitmproxy最新的爬虫工具！
上面的主机名字是 你电脑抓包的 ip 地址，端口号是刚才设置的端口号。设置完了打开浏览器查看。
Python爬虫新姿势：mitmproxy最新的爬虫工具！
发现需证书有问题，我们还需要安装 mitmproxy 提供的证书，要不抓包失败。
安装证书：浏览器输入 mitm.it
Python爬虫新姿势：mitmproxy最新的爬虫工具！
然后根据你的手机系统进行安装即可。
然后就可以进行抓包了。在浏览器输入 baidu.com 就可以看到下面内容了。
Python爬虫新姿势：mitmproxy最新的爬虫工具！
电脑端的也是这样差不多，都是设置代理后安装证书，这里就不多说了。
抓包之后的操作
由于在 window上操作，只能使用 mitmdump 和 mitmweb这两个命令，mitmdump 命令是没有界面，只能进行默默地抓包，不能进行数据包的查看和过滤。而 mitmweb 和在一个网页上进行抓包的调试。所以下面我们用 mitmweb 来进行调试。
1.开始抓包
mitmweb -p 8889
Python爬虫新姿势：mitmproxy最新的爬虫工具！
在你输入 baidu.com 的时候就会看到这些包了。
查看包的请求信息和响应信息只需要点击相对应的包即可。其他的就不多说了。
在 mitmproxy 上运行 python脚本
mitmproxy 的强大之处就在于它能够运行 python 脚本来处理相关的请求，现在就来看看如何处理吧。
mitmdump -p 889 -s mitm.py
这个就是在抓包的同时运行了 mitm.py 的脚本了，代码是：
<pre style=”-webkit-tap-highlight-color: transparent; box-sizing: border-box; font-family: Consolas, Menlo, Courier, monospace; font-size: 16px; white-space: pre-wrap; position: relative; line-height: 1.5; color: rgb(153, 153, 153); margin: 1em 0px; padding: 12px 10px; background: rgb(244, 245, 246); border: 1px solid rgb(232, 232, 232); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;”># 必须这样写
def request(flow):
print(flow.request.headers) # 打印请求头
</pre>
这个是打印抓到的请求头，方法名和参数的名称是固定的，写错了就运行不了这个脚本。
Python爬虫新姿势：mitmproxy最新的爬虫工具！
这样子就开始了，然后在手机上打开网页。
Python爬虫新姿势：mitmproxy最新的爬虫工具！
这样子就把他们的请求头给输出了。
但是输出并不明显，我们可以使用里面的一个日志模块来输出，这样子就会显示出不同的颜色了。
Python爬虫新姿势：mitmproxy最新的爬虫工具！
命令行上显示这样：
Python爬虫新姿势：mitmproxy最新的爬虫工具！
这样子就清楚多了。
除了上面的请求头，我们还可以访问他们的请求方法，请求路径等。
Python爬虫新姿势：mitmproxy最新的爬虫工具！
响应的请求也可以获取：
Python爬虫新姿势：mitmproxy最新的爬虫工具！
同样，这里的方法名和参数也是固定的，不写这个会捕捉不到。
