定位：Datawhale AI 夏令营 第四期 Task1 笔记

内容：小结实践顺序 + 记录过程疑惑点

1. 实践顺序小结

我们先简单梳理一下整个baseline的流程，后面再进行详细的说明。

开通阿里云PAI-DSW试用魔搭社区授权使用克隆仓库+配环境

<code>git lfs install

git clone https://www.modelscope.cn/datasets/Datawhale/AICamp_yuan_baseline.git

pip install streamlit==1.24.0

运行代码

streamlit run AICamp_yuan_baseline/Task\ 1：零基础玩转源大模型/web_demo_2b.py --server.address 127.0.0.1 --server.port 6006

开始对话

实测其实可以发现，一般常见简单的问题可以回答（冒泡排序…），但是小众或者多问几次问题就容易翻车。

2. 问题解析

这里就来讲讲我遇到的那些困惑点吧。（纯属个人推测。）

1. 第一步 要开通试用的 PAI-DSW 是什么意思？

个人比较好奇这些字母是什么的缩写。

PAI是指阿里云人工智能平台PAI（Platform of ArtificialIntelligence），面向企业客户及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖 PAI-DSW 交互式建模、PAI-Designer 拖拽式可视化建模、PAI-DLC 分布式训练到 PAI-EAS 模型在线部署的全流程。

DSW（Data Science Workshop）是为算法开发者量身打造的一站式AI开发平台，集成了JupyterLab、WebIDE、Terminal多种云端开发环境，提供代码编写、调试及运行的沉浸式体验。

（再说下去就像广告了…）

片面总结：一个可以用于搞机器学习的notebook云环境。

2. 第三步 为什么代码仓库是以魔搭社区的数据集形式发布的？

地址：https://www.modelscope.cn/datasets/Datawhale/AICamp_yuan_baseline

Maybe: 在第二步骤中，我们创建的交互环境本身是魔搭社区授权的notebook实例，相比连接社区的速率和稳定性应该算是比较有保障的。

没准以后要推代码除了github、gitee、还能以数据集的形式存在这里。🤣

3. 如何调用浪潮源大模型

<code># 源大模型下载

from modelscope import snapshot_download

model_dir = snapshot_download('IEITYuan/Yuan2-2B-Mars-hf', cache_dir='./')code>

通过代码可知，我们下载的是魔搭社区的IEITYuan/Yuan2-2B-Mars-hf页面

该页面也给出了模型的调用方式。

通过阅读baseline代码可知，我们将其封装为了一个返回tokenizer和model的函数。

<code>import streamlit as st

// ...

# 定义一个函数，用于获取模型和tokenizer

@st.cache_resource

def get_model():

print("Creat tokenizer...")

tokenizer = AutoTokenizer.from_pretrained(path, add_eos_token=False, add_bos_token=False, eos_token='<eod>')code>

tokenizer.add_tokens(['<sep>', '<pad>', '<mask>', '<predict>', '<FIM_SUFFIX>', '<FIM_PREFIX>', '<FIM_MIDDLE>','<commit_before>','<commit_msg>','<commit_after>','<jupyter_start>','<jupyter_text>','<jupyter_code>','<jupyter_output>','<empty_output>'], special_tokens=True)

print("Creat model...")

model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch_dtype, trust_remote_code=True).cuda()

print("Done.")

return tokenizer, model

# 加载model和tokenizer

tokenizer, model = get_model()

4. 这里的@st.cache_resource是什么意思？

第二次提问，可见传入tokenizer的prompt是靠特殊标记符<code><n>拼接的。并且第二次回复模型开始复读。

我们不断重复这个过程，随着提问次数的增加，模型的input_ids的形状也逐渐增加。当然，可以发现，当inputs shape 长度超过1024时，错误的情况即发生了。

ValueError: Input length of input_ids is 1038, but max_length is set to 1024. This can lead to unexpected behavior. You should consider increasing max_length or, better yet, setting max_new_tokens.

解决方案有几种：

最直接：设置max_length 为更大的数值 4096 或者 8192 等。但是仍有溢出风险。

<code>outputs = model.generate(inputs, do_sample=False, max_length=2048) # 设置更大的最大生成长度

更好的方案：指定 max_new_tokens 参数来控制生成的新令牌数，而不是设置 max_length。

outputs = model.generate(inputs, do_sample=False, max_new_tokens=1024) # 设置生成的最大新令牌数

方案一的优化：在调用 model.generate 之前，截断输入张量，使其符合 max_length 参数的限制。

if inputs.shape[1] > 1024:

inputs = inputs[:, -1024:] # 截断输入张量，使其长度不超过1024

outputs = model.generate(inputs, do_sample=False, max_length=1024) # 设置解码方式和最大生成长度

此处提供一个硬截断的思路，也可以判断溢出之后按对话记录进行删除。

个人观点：方案2是优雅解法。

6. tokenizer加载的那些符号是什么意思？

上述遇到st装饰器的时候也看到了这行代码。

tokenizer.add_tokens(['<sep>', '<pad>', '<mask>', '<predict>', '<FIM_SUFFIX>', '<FIM_PREFIX>', '<FIM_MIDDLE>','<commit_before>','<commit_msg>','<commit_after>','<jupyter_start>','<jupyter_text>','<jupyter_code>','<jupyter_output>','<empty_output>'], special_tokens=True)

当前理解：训练模型时使用这些特定的标记符（tokens），用于区分、处理特定的任务或场景。

以下是每个 token 的含义和可能用途：

<sep>:

用于分隔不同部分的文本。在多轮对话或句子对中，使用这个标记可以明确区分不同的句子或发言。例如：

User: What is the weather today?<sep>Assistant: The weather today is sunny.

优化baseline 新想法：是否可以构造prompt的时候不要靠分隔句子，而是如示例用法追加身份标识User、Assistant呢？

(后面的内容只是猜测，简单了解)

<pad>: 用于填充序列，当模型处理长度不同的输入序列时，使用 <pad> 标记来填充较短的序列，使得所有序列长度一致。

<mask>: 在遮盖语言模型（如 BERT）中使用，用于表示被遮盖的标记，模型需要预测被遮盖的部分。

<predict>: 可能用于表示需要模型进行预测的部分。这在一些自监督学习任务中可能很有用。

<FIM_SUFFIX>, <FIM_PREFIX>, <FIM_MIDDLE>: 这些标记与“填充中间”（Fill-in-the-Middle, FIM）任务相关，其中模型需要在给定前缀和后缀的情况下填充中间的内容。

<commit_before>, <commit_msg>, <commit_after>: 在处理版本控制提交信息时，可以使用这些标记来区分提交前后的代码和提交消息。

<jupyter_start>, <jupyter_text>, <jupyter_code>, <jupyter_output>, <empty_output>: 这些标记用于处理 Jupyter Notebook 中的不同单元。