1.服务器租赁

在 <code>AutoDL 平台中租赁一个4090 等 24G 显存大小的容器实例

2.环境配置

conda create -n qwenvl python=3.11 -y 

source activate qwenvl

conda install -y -c "nvidia/label/cuda-12.1.0" cuda-runtim  #安装 cuda-runtime

3.下载模型

cd <code>~/autodl-tmp/ // 在~/autodl-tmp/创建如下目录

mkdir model //存放模型文件

cd model

git lfs install  //确保 lfs 已经被正确安装

sudo apt-get update  //否则更新包列表

sudo apt-get install git-lfs  //安装 Git LFS

git clone https://github.com/QwenLM/Qwen-VL.git //下载包含所需依赖的github文件

git clone https://www.modelscope.cn/qwen/Qwen-VL-Chat.git //下载模型

git clone https://www.modelscope.cn/qwen/Qwen-VL-Chat-Int4.git //下载量化模型

4.依赖配置

cd Qwen-VL //进入包含所需依赖的github文件目录

pip3 install -r requirements.txt

pip3 install -r requirements_openai_api.txt

pip3 install -r requirements_web_demo.txt

pip3 install deepspeed

pip3 install peft

pip3 install optimum

pip3 install auto-gptq

pip3 install modelscope -U

5.测试

通过网页端Web UI使用：

python /root/autodl-tmp/model/Qwen-VL/web_demo_mm.py --checkpoint-path /root/autodl-tmp/model/Qwen-VL-Chat 

通过代码使用：

<code>import os

os.environ["CUDA_VISIBLE_DEVICES"] = "0"

from transformers import AutoModelForCausalLM, AutoTokenizer

import torch

from PIL import Image

torch.manual_seed(1234)

# Load the tokenizer

tokenizer = AutoTokenizer.from_pretrained("/root/autodl-tmp/model/Qwen-VL-Chat", trust_remote_code=True)

# Load the model with GPU device map

model = AutoModelForCausalLM.from_pretrained(

"/root/autodl-tmp/model/Qwen-VL-Chat",

device_map="auto", code>

trust_remote_code=True

).eval()

# 1st dialogue turn

query = tokenizer.from_list_format([

{'image': 'https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg'},

{'text': '这是什么'},

])

response, history = model.chat(tokenizer, query=query, history=None)

print(response)

# Expected output: 图中是一名女子在沙滩上和狗玩耍，旁边的狗是一只拉布拉多犬，它们处于沙滩上。

# 2nd dialogue turn

response, history = model.chat(tokenizer, '输出"击掌"的检测框', history=history)

print(response)

# Expected output: <ref>击掌</ref><box>(536,509),(588,602)</box>

# Debugging: Print history and response before drawing bbox

print("History:", history)

print("Response before drawing bbox:", response)

# Check the return type and save the image

result_image = tokenizer.draw_bbox_on_latest_picture(response, history)

if result_image:

# Save the generated image to a file

result_image.save('output_image.jpg')

print(f"Generated image saved as output_image.jpg")

else:

print("No box detected or no image generated")

5.数据集准备

<code>[

{

"id": "identity_0",

"conversations": [

{

"from": "user",

"value": "你好"

},

{

"from": "assistant",

"value": "我是Qwen-VL,一个支持视觉输入的大模型。"

}

]

},

{

"id": "identity_1",

"conversations": [

{

"from": "user",

"value": "Picture 1: <img>https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg</img>\n图中的狗是什么品种？"

},

{

"from": "assistant",

"value": "图中是一只拉布拉多犬。"

},

{

"from": "user",

"value": "框出图中的格子衬衫"

},

{

"from": "assistant",

"value": "<ref>格子衬衫</ref><box>(588,499),(725,789)</box>"

}

]

},

{

"id": "identity_2",

"conversations": [

{

"from": "user",

"value": "Picture 1: <img>assets/mm_tutorial/Chongqing.jpeg</img>\nPicture 2: <img>assets/mm_tutorial/Beijing.jpeg</img>\n图中都是哪"

},

{

"from": "assistant",

"value": "第一张图片是重庆的城市天际线，第二张图片是北京的天际线。"

}

]

}

]

对数据格式的解释：

1.为针对多样的VL任务，增加了一下的特殊tokens： <img> </img> <ref> </ref> <box> </box>.

2.对于带图像输入的内容可表示为 Picture id: <img>img_path</img>\n{your prompt}，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。

3.对话中的检测框可以表示为<box>(x1,y1),(x2,y2)</box>，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过<ref>text_caption</ref>表示。

6.微调

python3 /root/autodl-tmp/model/Qwen-VL/finetune.py \

    --model_name_or_path /root/autodl-tmp/model/Qwen-VL-Chat \

    --data_path /root/autodl-tmp/data/data.json \

    --bf16 True \

    --fix_vit True \

    --output_dir output_qwen \

    --num_train_epochs 5 \

    --per_device_train_batch_size 1 \

    --per_device_eval_batch_size 1 \

    --gradient_accumulation_steps 8 \

    --evaluation_strategy "no" \

    --save_strategy "steps" \

    --save_steps 1000 \

    --save_total_limit 10 \

    --learning_rate 1e-5 \

    --weight_decay 0.1 \

    --adam_beta2 0.95 \

    --warmup_ratio 0.01 \

    --lr_scheduler_type "cosine" \

    --logging_steps 1 \

    --report_to "none" \

    --model_max_length 600 \

    --lazy_preprocess True \

    --gradient_checkpointing true \

    --use_lora

7.模型合并及推理

与全参数微调不同，LoRA的训练只需存储adapter部分的参数。因此需要先合并并存储模型

<code>from peft import AutoPeftModelForCausalLM # 确保导入所需的模块

from modelscope import (

AutoTokenizer

)

path_to_adapter = "/root/autodl-tmp/model/output_qwen"

# 从预训练模型中加载自定义适配器模型

model = AutoPeftModelForCausalLM.from_pretrained(

path_to_adapter, # 适配器的路径

device_map="auto", # 自动映射设备code>

trust_remote_code=True # 信任远程代码

).eval() # 设置为评估模式

new_model_directory = "/root/autodl-tmp/model/New-Model"

tokenizer = AutoTokenizer.from_pretrained(

path_to_adapter, trust_remote_code=True,

)

tokenizer.save_pretrained(new_model_directory)

# 合并并卸载模型

merged_model = model.merge_and_unload()

# 保存合并后的模型

merged_model.save_pretrained(new_model_directory, max_shard_size="2048MB", safe_serialization=True)code>

8.部署