最近在做文本风格转化，涉及千万token级别的文本。想用大模型转写，在线的模型一来涉及数据隐私，二来又不想先垫钱再找报销。本地的7-9B小模型又感觉效果有限，正好实验室给俺配了4卡3090的机子，反正也就是做个推理，也不训练不微调，就想试试本地72B大模型能不能跑起来。

先上结论：

模型：Qwen-72B-Chat-Int4使用2张3090 24G就能跑起来，但是上下文长度在一千汉字左右就会爆显存OOM使用4张3090 24G也可以跑，上下文长度可以拓展到万字级别速度：短上下文约10字/s，勉强够用：

下面讲讲怎么做的：

 首先，有博主做了双卡3090部署Qwen-72B-Int4的教程：

大模型笔记之-Qwen72B-chat-int4部署 |使用双卡3090成功运行_运行qwen-72b-CSDN博客

笔者也是看着该教程跑起来的，但是完全按照该教程会出现很多的问题：比如刚跑起来的时候，推理速度非常慢，大约1token/s，官方文档里面同样模型用A100能做到11.32token/s，完全没道理的。

1. 下载模型

从魔搭社区下载，不需要梯子

<code>from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('qwen/Qwen-72B-Chat-Int4')

# 在当前目录下创建一个名为model_dir的txt文件，里面包含model_dir变量的内容

with open('model_dir.txt', 'w') as f:

f.write(model_dir)

2. 配置环境

2.1. 基础conda环境

conda安装:

python==3.10

pytorch==2.1.0

pytorch-cuda==12.1

笔者cuda driver版本（通过nvidia-smi查看）是12.0，使用cuda runtime版本（通过nvcc -V查看）也应为12.0/12.1，否则后面源码编译flash-attention时会报ptxas版本错误：（以前都是runtime<=driver就行了，现在终于碰见一种情况必须==了）

ptxas *.ptx, line 9; Fatal : Unsupported .version 8.0; current version is ‘7.8’ ptxas fatal

由于conda里面 cuda toolkit / cuda runtime 没有 12.0版本（conda search cudatoolkit最高11.8），所以还得源码编译，但是实验室的服务器咱也没有root权限，所以参考这篇文章中修改路径的做法：不用sudo权限安装cuda10.1_非sudo用户安装cuda-CSDN博客

所以在这里你需要保证你有与cuda driver版本的cuda runtime（即保证使用nvidia-smi查到的版本和nvcc -V查到的版本一致或基本一致）

2.2. Qwen pip依赖

接着就是安装Qwen需要的pip依赖，首先下载Qwen git仓库

git clone https://github.com/QwenLM/Qwen.git

安装pip依赖：

#1.切换至项目目录下

cd Qwen

#2.安装项目依赖

pip install -r requirements.txt

#使用镜像源加速 pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

#3.使用web_demo.py 还需要安装web依赖

pip install -r requirements_web_demo.txt

2.3. 安装量化模块Auto-GPTQ

因为我们用Int4量化版本，所以需要安装Auto-GPTQ量化包。在官方指南中，直接使用了pip安装，事后笔者发现这样安装会出现严重问题（事实上，这样子做可能会让推理速度降至1/10，而且还很难排查），在此我们先给出完美方案（参考Auto-GPTQ源码编译）：

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

pip install numpy gekko pandas

# 有点小久

pip install -vvv --no-build-isolation -e .

2.4. 安装flash-attention（可选）

flash-attention据悉可以加速模型加载和推理，笔者自己感觉没什么区别。

注意要安装的话需要将cuda runtime(nvcc -V)和cuda driver(nvidia-smi)的版本对齐。

git clone https://github.com/Dao-AILab/flash-attention

cd flash-attention && pip install .

# 下方安装可选，安装可能比较缓慢。

# pip install csrc/layer_norm

# 如果flash-attn版本高于2.1.1，下方无需安装。

# pip install csrc/rotary

3. 运行

Qwen git repo中cli_demo和web_demo均可运行

3.1. 修改DEFAULT_CKPT_PATH

修改DEFAULT_CKPT_PATH为前文1.中model_dir（cli_demo 19行，web_demo 18行）

3.2. 修改device_map为多卡配置

（cli_demo 52行，web_demo 48行）：

 2卡参考大模型笔记之-Qwen72B-chat-int4部署 |使用双卡3090成功运行_运行qwen-72b-CSDN博客

4卡：

# 偏向于少分配给卡0，因为在推理时卡0需要承担高负载

device_map = {'transformer.wte': 0, 'transformer.drop': 0, 'transformer.rotary_emb': 0, 'transformer.h.0': 0,

'transformer.h.1': 0, 'transformer.h.2': 0, 'transformer.h.3': 0, 'transformer.h.4': 0,

'transformer.h.5': 0, 'transformer.h.6': 0, 'transformer.h.7': 0, 'transformer.h.8': 0,

'transformer.h.9': 1, 'transformer.h.10': 1, 'transformer.h.11': 1, 'transformer.h.12': 1,

'transformer.h.13': 1, 'transformer.h.14': 1, 'transformer.h.15': 1, 'transformer.h.16': 1,

'transformer.h.17': 1, 'transformer.h.18': 1, 'transformer.h.19': 1, 'transformer.h.20': 1,

'transformer.h.21': 1, 'transformer.h.22': 1, 'transformer.h.23': 1, 'transformer.h.24': 1,

'transformer.h.25': 1, 'transformer.h.26': 1, 'transformer.h.27': 1, 'transformer.h.28': 1,

'transformer.h.29': 1, 'transformer.h.30': 1, 'transformer.h.31': 1, 'transformer.h.32': 1,

'transformer.h.33': 1, 'transformer.h.34': 1, 'transformer.h.35': 1, 'transformer.h.36': 2,

'transformer.h.37': 2, 'transformer.h.38': 2, 'transformer.h.39': 2, 'transformer.h.40': 2,

'transformer.h.41': 2, 'transformer.h.42': 2, 'transformer.h.43': 2, 'transformer.h.44': 2,

'transformer.h.45': 2, 'transformer.h.46': 2, 'transformer.h.47': 2, 'transformer.h.48': 2,

'transformer.h.49': 2, 'transformer.h.50': 2, 'transformer.h.51': 2, 'transformer.h.52': 2,

'transformer.h.53': 2, 'transformer.h.54': 2, 'transformer.h.55': 2, 'transformer.h.56': 2,

'transformer.h.57': 2, 'transformer.h.58': 2, 'transformer.h.59': 2, 'transformer.h.60': 2,

'transformer.h.61': 3, 'transformer.h.62': 3, 'transformer.h.63': 3, 'transformer.h.64': 3,

'transformer.h.65': 3, 'transformer.h.66': 3, 'transformer.h.67': 3, 'transformer.h.68': 3,

'transformer.h.69': 3, 'transformer.h.70': 3, 'transformer.h.71': 3, 'transformer.h.72': 3,

'transformer.h.73': 3, 'transformer.h.74': 3, 'transformer.h.75': 3, 'transformer.h.76': 3,

'transformer.h.77': 3, 'transformer.h.78': 3, 'transformer.h.79': 3, 'transformer.ln_f': 3,

'lm_head': 3}

# 也可以用这个

device_map = 'balanced_low_0'

静态负载：

3.3. 修改模型加载方式为AutoGPTQ

web_demo 50-55行

cli_demo 54-59行

<code>model = AutoGPTQForCausalLM.from_quantized(

args.checkpoint_path,

device_map=device_map,

trust_remote_code=True,

resume_download=True,

# use_marlin=True,

).eval()

如果用的是gptq v7.0，会让你用use_marlin：

INFO - You passed a model that is compatible with the Marlin int4*fp16 GPTQ kernel but use_marlin is False. We recommend using `use_marlin=True` to use the optimized Marlin kernels for inference. Example: `model = AutoGPTQForCausalLM.from_quantized(..., use_marlin=True)`.

但是不知道为什么，用了就报错，所以我注释掉了。

加载模型速度对比：

# 从加载模型至允许query约500s

model = AutoGPTQForCausalLM.from_quantized(

args.checkpoint_path,

device_map=device_map,

trust_remote_code=True,

resume_download=True,

use_marlin=False,

).eval()

# 从加载模型至允许query约600s

model = AutoModelForCausalLM.from_pretrained(

args.checkpoint_path,

device_map=device_map,

trust_remote_code=True,

resume_download=True,

use_flash_attn=True

).eval()

可以看出加载模型GPTQ快20%，官方文档说GPTQ推理速度也快20%。笔者没实测，但显然和上面的观察结果一致。

3.4. 修改web_demo中的服务器地址

33行，改IP为0.0.0.0，否则局域网无法访问

parser.add_argument("--server-name", type=str, default="0.0.0.0",code>

help="Demo server name.")code>

4. 关于我是如何发现问题并把推理速度提升10倍的