[网络协议]mitmproxy代理工具使用

mitmproxy 是一款免费、开放的基于Python 开发的交互式HTTPS代理工具。也即可以用python对请求和响应进行修改操作。

1、如何安装？mitmproxy的安装方式有两种

• 通过pip安装，如下：

pip install mitmproxy

• 在官网下载安装包进行安装。

如何安装证书？有以下两种方式，直接安装或通过浏览器安装。

• 进入C:\Users\用户.mitmproxy目录，该目录下有一系列的证书。 windows安装mitmproxy-ca-cert.p12，手机安装mitmproxy-ca-cert.pem，手机安装完成后，添加信任。

• 手机正确设置代理后，在浏览器中输入mitm.it ，选择对应的证书安装。 （注意，配置代理时，mitmproxy默认的端口是8080）

2、如何启动？mitmproxy有三种启动方式或类型。在命令行输入如下命令：

• mitmproxy 启动后窗口如下
  
  通过上下箭头选择对应的请求，然后enter可以进行详情页查看对应的请求和响应。 （也可直接用鼠标点击对应的请求进入详情页，在该界面的操作有点类似vim编辑器）

通过切换Request、Response、Detail三个tab查看具体的信息。

• mitmweb 提供一个web界面，有点类似charles了，如下：
  
• mitmdump 提供简略的终端输出，如下：
  
  通过该命令-s选项，可以将请求和响应传递到python脚本，可以直接拿到请求或响应数据，从而执行一系列的脚本操作。

# 解析mitmproxy的网络请求
import json
import pprint

def request(flow):
    """
    名称必须是 request，flow为 mitmproxy.http.HTTPFlow 类型。 
    """
    req = flow.request
    if "xxx.xxx" in req.url:
				# 过滤指定请求，将请求信息写入文本中。 
        with open("a.txt", "a+", encoding='utf-8') as fp:
            fp.write(f"请求的url为 {req.url} \n")
            fp.write(f"method: {req.method} \n")
            fp.write(f"query: {req.query} \n")
            fp.write(f"headers: {req.headers} \n")
            fp.write(f"cookies: {req.cookies} \n")
            fp.write("\n" * 3)

def response(flow):
		"""
		名称必须是 response，flow为 mitmproxy.http.HTTPFlow 类型。 
		"""
    req = flow.request
    if "xxx" in req.url:
				# 过滤指定请求，将响应写入到文本中。 
        result = flow.response.text
        if result:
            with open("a.txt", "a+", encoding='utf-8') as fp:
                fp.write(f"请求的url为 {req.url} \n")
                pprint.pprint(json.loads(result), stream=fp, width=100)
                fp.write("\n"*3)

假设该脚本名为 parse_req.py，则可以使用如下方式调用（注意python脚本的路径）。

mitmdump -s parse_req.py

flow对象的属性方法可以参考官方文档。

3、注意事项：

• 确认端口是否被占用。
• 在使用mitmproxy代理时需要打开系统代理选项，同时设置正确的地址和端口。 如下：
  
  设置正确后，在浏览器中输入mitm.it时就会显示证书安装界面。

4、参考&感谢
https://www.jianshu.com/p/2e7efe2fa69e?ivk_sa=1024320u

5、其他
由于android 系统的限制，在抓取android应用的网络请求时必须在对应的应用代码中进行网络配置且必须是debug包，这样就无法抓取一些第三方应用的请求了。 后来在网上找到一篇博客，使用Virtaulxposed来避开这个限制。
安装了VirtaulXposed后，在VirtaulXposed中安装需要抓包的应用后（可能需要安装JustTrustMe来跳过ssl的校验，但是我在实践时发现不用安装，可能是VirtualXposed版本升级了吧），打开应用即可通过charles或者mitmproxy工具进行抓包了。

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系