mitmproxy介绍

mitmproxy又名中间人攻击代理，是一个抓包工具，类似于WireShark、Filddler，并且它支持抓取HTTP和HTTPS协议的数据包，只不过它是一个控制台的形式操作。另外，它还有两个非常有用的组件，一个mitmdump，它是mitmproxy的命令行接口，可以直接抓取请求数据；另一个是mitmweb，它是一个web程序，通过它可以清楚的观察mitmproxy抓取的请求数据。

为什么选择 mitmproxy

1. 相对于我们常用的 fiddle 代理工具，它是可以跨平台。

2. 相对于跨平台的 charles 代理工具，它是开源免费的。

3. 最重要的一点，也是为什么我们采用 mitmproxy 来进行做 Mock，它支持使用 Python 进行二次开发，这样就可以结合业务进行灵活拓展了。

官方文档

<code>https://docs.mitmproxy.org/stable/

功能简介

实时拦截、修改 HTTP/HTTPS 请求和响应可保存完整的 http 会话，方便后续分析和重放支持反向代理模式将流量转发到指定服务器支持 macOS 和 Linux上的透明代理模式支持用 Python 脚本对 HTTP 通信进行修改

抓包网络调试

使用WebView组件开发，软件可输入网页地址并显示网页内容。把工具的代理设置指向mitmproxy的端口服务。配合使用mitmproxy的MITM技术，监听和拦截输入框发起的网络请求。MITM技术允许应用程序在数据包从客户端到服务器的传输过程中进行干预，从而捕获和分析请求和响应数据，从响应数据中分析网络链接。

在微信小程序等环境中，并不能直接在WebView中配置代理。小程序的WebView组件直接使用的是微信小程序、支付宝小程序等平台提供的WebView实现，这些平台并不直接支持在WebView内设置代理。但在在QT或Android等环境中，WebView组件支持设置代理。这样就可以实现在不改变系统全局代理的情况下，直接造一工具实现对网络的解析。

安装

pip install mitmproxy

查看是否安装成功

# 使用以下三个命令中的任意一个即可，这三个命令返回的结果均一致

mitmproxy --version

mitmdump --version

mitmweb --version

mitmproxy默认只能拦截http，想要拦截https那就需要安装证书。

首先到$PYTHON_HOME/Scripts目录下运行一下mitmdump，完成之后在用户家目录下的.mitmproxy文件夹下即会生成的有证书，点击安装即可。

mitmproxy-ca.p12----PKCS12格式证书私钥

mitmproxy-ca.pem----PEM格式证书私钥

mitmproxy-ca-cert.cer----PEM格式证书，与mitmproxy-ca-cert.pem相同只是改变了后辍，适用于部分Android。

mitmproxy-ca-cert.p12----PKCS12格式证书，适用于Windows

mitmproxy-ca-cert.pem----PEM格式证书，适用于大多数非Windows平台

mitmproxy-dhparam.pem----PEM格式秘钥文件，用于增强SSL安全性

Windows安装证书

双击mitmproxy-ca-cert.p12----全部默认直接点“下一步”直到安装完成。

Android安装证书

把mitmproxy-ca-cert.cer通过usb复制到手机上----点击使用证书安装器安装证书。

工具介绍

mitmproxy 是一个控制台工具，允许交互式检查和修改 HTTP 流量。它与 mitmdump 的不同之处在于所有流都保存在内存中，这意味着它旨在获取和处理小样本。使用 ? 问号键查看上下文相关使用文档。 

mitmweb 提供了一个 web 页面，交互界面可以通过 localhost:8081 去访问。

mitmdump 可以通过执行一个 python 脚本去运行。

mitmproxy 作为一个常规的http代理服务器使用时，默认监听 http://localhost:8080，因此要想数据包经过 mitmproxy，需要配置浏览器的代理（本机或其他机器），代理设置步骤请自行搜索（比如插件：SwitchyOmega)。

代理设置好后可打开 http://mitm.it 验证http流量是否经过 mitmproxy。

如果显示以下文字，则代理配置的不对，流量不走 mitmproxy

If you can see this, traffic is not passing through mitmproxy.

如果配置正确，打开 http://mitm.it 会显示如下界面：

执行 mitmproxy 命令后在终端显示数据包，通过 Shift + ? 可以查看查看当前页面可用的命令。

<code>q    退出（相当于返回键，可一级一级返回）

d    删除当前（黄色箭头）指向的链接

D    恢复刚才删除的请求

G    跳到最新一个请求

g    跳到第一个请求

C    清空控制台（C是大写）

i    可输入需要拦截的文件或者域名（逗号需要用\来做转译，栗子：feezu.cn）

a    放行请求

A    放行所有请求

?    查看界面帮助信息

^ v    上下箭头移动光标

enter    查看光标所在列的内容

tab    分别查看 Request 和 Response 的详细信息

/    搜索body里的内容

esc    退出编辑

e    进入编辑模式

脚本示例提取需要信息

from mitmproxy import http

def request(flow: http.HTTPFlow) -> None:

# 检查请求的URL是否包含特定的关键字

if "video" in flow.request.pretty_url:

print(f"success&&&&&&&&&&&&&&&&& Detected video request: {flow.request.pretty_url}")

def response(flow: http.HTTPFlow) -> None:

# 检查响应的内容类型是否为视频

if "video" in flow.response.headers.get("Content-Type", ""):

print(f"success&&&&&&&&&&&&&&&&& Detected video response: {flow.response.headers.get('Content-Type')}")

print(f"success&&&&&&&&&&&&&&&&& Video URL: {flow.request.pretty_url}")

#video_url = flow.request.url

video_url = flow.request.pretty_url

#ctx.log.info(f"success&&&&&&&&&&&&&&&&&---------Found video URL: {video_url}")

print(f"success&&&&&&&&&&&&&&&&&---------Found video URL: {video_url}")

# 将视频地址保存到文件

with open("video_urls.txt", "a") as file:

file.write(video_url + "\n")

file.flush()

如何使用

#命令行下执行

mitmproxy -s video_scraper.py

python脚本自动开启并设置windows的浏览器代理

可以使用Python脚本自动开启并设置Windows的浏览器代理，并在退出时关闭代理。你可以使用<code>winreg模块来修改Windows注册表中的代理设置。以下是一个示例脚本，展示了如何实现这一功能：

import winreg

import os

def set_proxy(enable=True, proxy_server="127.0.0.1:8080"):code>

internet_settings = winreg.OpenKey(winreg.HKEY_CURRENT_USER,

r'Software\Microsoft\Windows\CurrentVersion\Internet Settings',

0, winreg.KEY_ALL_ACCESS)

if enable:

winreg.SetValueEx(internet_settings, "ProxyEnable", 0, winreg.REG_DWORD, 1)

winreg.SetValueEx(internet_settings, "ProxyServer", 0, winreg.REG_SZ, proxy_server)

else:

winreg.SetValueEx(internet_settings, "ProxyEnable", 0, winreg.REG_DWORD, 0)

winreg.CloseKey(internet_settings)

def main():

try:

# 开启代理

set_proxy(enable=True)

print("代理已开启")

# 运行你的主要代码，例如启动浏览器或抓取视频地址

# ...

finally:

# 关闭代理

set_proxy(enable=False)

print("代理已关闭")

if __name__ == "__main__":

main()

解释

<code>#include "mainwindow.h"

#include "ui_mainwindow.h"

#include <QNetworkProxy>

MainWindow::MainWindow(QWidget *parent) :

QMainWindow(parent),

ui(new Ui::MainWindow)

{

ui->setupUi(this);

//ui->mwebView->show();

// 设置代理

// 设置全局代理

QNetworkProxy proxy;

proxy.setType(QNetworkProxy::HttpProxy);

proxy.setHostName("127.0.0.1");

proxy.setPort(8080);

QNetworkProxy::setApplicationProxy(proxy);

}

MainWindow::~MainWindow()

{

delete ui;

}

void MainWindow::on_btnLoad_clicked()

{

QString url = ui->l_url->text();

ui->mwebView->load(QUrl(url));

ui->mwebView->show();

}

到这里很简单，其实关键的是，如何实现让脚本抓取的视频地址传给 qt呢？ 方法有很多，这里介绍一种简单可行的方法，通过 socket通信，这样实现跨进程通信。

简单示例：

import mitmproxy.http

import json

import socket

def request(flow: mitmproxy.http.HTTPFlow):

if "video" in flow.request.pretty_url:

video_url = flow.request.pretty_url

print(f"Detected video URL: {video_url}")

# 将视频地址发送到Qt应用程序

send_to_qt(video_url)

def send_to_qt(video_url):

# 使用socket将视频地址发送到Qt应用程序

host = '127.0.0.1'

port = 12345

with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:

s.connect((host, port))

s.sendall(video_url.encode())

./vcpkg.exe install openssl:x64-windows

其他资源

【mitmproxy】一、简介与快速上手-CSDN博客

抓包工具之mitmproxy-CSDN博客

【mitmproxy】一、简介与快速上手-CSDN博客

https://github.com/reqable/reqable-app

Python 实现代理拦截http请求：mitmproxy_mitmproxy 透明代理-CSDN博客

mitmproxy安装与配置-CSDN博客

Python3+mitmproxy安装使用教程（Windows）_mitmprxy 安装证书存放位置-CSDN博客

https://zhuanlan.zhihu.com/p/651063616