完整代码实现：

import torch

from modelscope import AutoTokenizer

from transformers import AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForSeq2Seq

if __name__ == '__main__':

# Transformers加载模型权重

tokenizer = AutoTokenizer.from_pretrained("./qwen/Qwen2-1___5B-Instruct/", use_fast=False, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained("./qwen/Qwen2-1___5B-Instruct/", device_map="auto",code>

torch_dtype=torch.bfloat16)

device = "cuda" # the device to load the model onto

prompt = "给我简单介绍一下大语言模型。"

messages = [

{"role": "system", "content": "你是一个有用的助手。"},

{"role": "user", "content": prompt}

]

text = tokenizer.apply_chat_template(

messages,

tokenize=False,

add_generation_prompt=True

)

model_inputs = tokenizer([text], return_tensors="pt").to(device)code>

generated_ids = model.generate(

model_inputs.input_ids,

max_new_tokens=512

)

generated_ids = [

output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)

]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)

其中，tokenizer.apply_chat_template 函数输入参数如下：

conversation: Union[List[Dict[str, str]], List[List[Dict[str, str]]]], 一个字典列表，其中每个字典包含 'role' 和 'content' 键，表示至今的对话记录。

tools: Optional[List[Dict]] = None, 这是一个工具列表（callable functions），这些工具将对模型可用。如果模板不支持函数调用，那么这个参数将不会产生任何效果。

documents: Optional[List[Dict[str, str]]] = None, 一个字典列表，表示可以被模型访问的文档，前提是模型正在执行RAG（检索增强生成）。如果模板不支持RAG，这个参数将不会产生任何效果。

chat_template: Optional[str] = None, 用于此转换的Jinja模板。通常无需向此参数传递任何内容，因为默认情况下会使用模型自身的模板。

add_generation_prompt: bool = False, 是否以指示助手消息开始的令牌来结束提示信息。当你想要从模型生成一个响应时，这会很有帮助。 需要注意的是，这个参数会被传给聊天模板，因此必须在模板中支持这个参数，本参数才能生效。

tokenize: bool = True, 是否对输出进行分词。如果设置为 False，输出将会是一个字符串。

padding: bool = False, 是否将序列填充至最大长度。如果 tokenize 为 False，则此选项不会产生任何影响。

truncation: bool = False, 是否在最大长度处截断序列。如果 tokenize 设置为 False，则此选项没有效果。

max_length: Optional[int] = None, 用于填充或截断的最大长度（按令牌计）。如果 tokenize 设置为 False，则此设定没有效果。如果没有指定，将使用分词器的 max_length 属性作为默认值。

return_tensors: Optional[Union[str, TensorType]] = None, 

'tf'：返回 TensorFlow 的 tf.Tensor 对象。'pt'：返回 PyTorch 的 torch.Tensor 对象。'np'：返回 NumPy 的 np.ndarray 对象。'jax'：返回 JAX 的 jnp.ndarray 对象。

return_dict: bool = False,

tokenizer_kwargs: Optional[Dict[str, Any]] = None,