在<code>/root/autodl-tmp路径下创建fastapi_Demo.py文件，编写FastAPI应用代码，用于加载模型并提供API服务。

1、FastAPI 应用代码示例

from fastapi import FastAPI, Request

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

import uvicorn

import json

import datetime

import torch

# 设置设备参数

DEVICE = "cuda" # 使用CUDA

DEVICE_ID = "0" # CUDA设备ID，如果未设置则为空

CUDA_DEVICE = f"{ DEVICE}:{ DEVICE_ID}" if DEVICE_ID else DEVICE # 组合CUDA设备信息

# 清理GPU内存函数

def torch_gc():

if torch.cuda.is_available(): # 检查是否可用CUDA

with torch.cuda.device(CUDA_DEVICE): # 指定CUDA设备

torch.cuda.empty_cache() # 清空CUDA缓存

torch.cuda.ipc_collect() # 收集CUDA内存碎片

# 创建FastAPI应用

app = FastAPI()

# 处理POST请求的端点

@app.post("/")

async def create_item(request: Request):

global model, tokenizer # 声明全局变量以便在函数内部使用模型和分词器

json_post_raw = await request.json() # 获取POST请求的JSON数据

json_post = json.dumps(json_post_raw) # 将JSON数据转换为字符串

json_post_list = json.loads(json_post) # 将字符串转换为Python对象

prompt = json_post_list.get('prompt') # 获取请求中的提示

messages = [

{ "role": "system", "content": "You are a helpful assistant."},

{ "role": "user", "content": prompt}

]

# 调用模型进行对话生成

input_ids = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)

model_inputs = tokenizer([input_ids], return_tensors="pt").to('cuda')code>

generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512)

generated_ids = [

output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)

]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

now = datetime.datetime.now() # 获取当前时间

time = now.strftime("%Y-%m-%d %H:%M:%S") # 格式化时间为字符串

# 构建响应JSON

answer = {

"response": response,

"status": 200,

"time": time

}

# 构建日志信息

log = "[" + time + "] " + '", prompt:"' + prompt + '", response:"' + repr(response) + '"'

print(log) # 打印日志

torch_gc() # 执行GPU内存清理

return answer # 返回响应

# 主函数入口

if __name__ == '__main__':

# 加载预训练的分词器和模型

model_name_or_path = '/root/autodl-tmp/qwen/Qwen2-7B-Instruct'

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False)

model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map="auto", torch_dtype=torch.bfloat16)code>

# 启动FastAPI应用

# 用6006端口可以将autodl的端口映射到本地，从而在本地使用api

uvicorn.run(app, host='0.0.0.0', port=6006, workers=1) # 在指定端口和主机上启动应用code>

以上代码首先设置了使用CUDA的设备参数，并定义了一个清理GPU内存的函数torch_gc。然后创建了一个FastAPI应用，并定义了一个处理POST请求的端点，用于接收用户的输入提示，并利用加载的模型生成回答。最后，启动了Uvicorn服务器来运行我们的FastAPI应用。

四、API 部署

这段Python脚本定义了一个函数<code>get_completion，它使用requests库向API发送POST请求，并打印出返回的回答。

import requests

import json

def get_completion(prompt):

headers = { 'Content-Type': 'application/json'}

data = { "prompt": prompt}

response = requests.post(url='http://127.0.0.1:6006', headers=headers, data=json.dumps(data))code>

return response.json()['response']

response=get_completion('你好')

response

输出：

'你好！很高兴能为你提供帮助。有什么我可以为你做的吗？'

问题：你是谁？

response=get_completion('你是谁？')

response

输出：

'我是阿里云开发的一款超大规模语言模型，我叫通义千问。'

问题：AI大模型是什么？

response=get_completion('AI大模型是什么？')

response

输出：

'AI大模型指的是使用大规模数据和计算资源训练的深度学习模型。这些模型通常包含数以百万计或数以十亿计的参数，可以处理复杂的数据结构和任务，如自然语言处理、图像识别、语音识别等。它们能够从大量数据中学习到通用的表示和规律，并在各种下游任务上取得出色的表现。由于其强大的泛化能力和可扩展性，AI大模型在近年来吸引了广泛的关注和研究。'

问题：通义千问这个名字是什么意思？

response=get_completion('通义千问这个名字是什么意思？')

Response

输出：

'“通义千问”这个名字蕴含了阿里云大模型的几个关键特性。首先，“通义”二字取自“通达明智”，意在表达模型能够帮助用户获得知识、理解概念、解决疑惑，提供智慧和洞察力。同时，“通义”也意味着模型具有广泛适用性和跨领域的通用性，能够理解和回答各种主题的问题。\n\n其次，“千问”代表了模型的强大问答能力。它经过大量训练，能够处理和回应包括但不限于历史、科学、技术、艺术、文化等众多领域内的问题，并且能够持续学习和进化，不断提升其回答问题的质量和准确性。\n\n综上所述，“通义千问”不仅体现了阿里云大模型在知识广度和深度上的优势，也寓意着其致力于为用户提供全面、准确、有启发性的信息和支持。'

结语