为了实现对话功能，我们可以采用当前的大语言模型（LLM），对上一步识别出来的文字进行理解，并给出答复。

本文的 LLM 采用 LLaMA3-8B，开源社区已经实现了对 LLaMA3-8B 的中文指令微调，为此中文效果会比原始版本效果更好。

GitHub地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3

模型地址：https://modelscope.cn/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct/summary

在上述的 GitHub 仓库中，给出了一键部署的脚本，非常方便。四步走搞定它：

下载代码下载模型安装必要的包服务启动

step 1 下载代码：

git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca-3

step 2 下载模型：

git clone https://www.modelscope.cn/ChineseAlpacaGroup/llama-3-chinese-8b-instruct.git

step 3 安装必要的包：

pip install fastapi uvicorn shortuuid sse_starlette peft bitsandbytes

pip install flash-attn --no-build-isolation # 如果要使用flash-attention的话

step 4 服务启动：

服务启动的代码如下，--base_model 替换为自己的模型路径，--load_in_4bit 指定了采用 4bit 量化。

注意：如果采用不量化的方案，显存占用12G，回复非常慢，有请求过来显存占用最高近14G，而采用4bit 量化，显存只占用 6G。

python scripts/oai_api_demo/openai_api_server.py \

--base_model /path/to/models/llama-3-chinese-8b-instruct/ \

--gpus 2 \

--port 2001 \

--load_in_4bit \

--use_flash_attention_2 \

> log.txt 2>&1 &

step 5 服务调用：

为了实现 LLM 的个性化回答，当然需要给它设定一个特定的人设啦 ~ ，这一步可以通过人设提示词来轻松搞定。下面给一个示例：

from openai import OpenAI

# 枚举所有可用的模型服务

model_dict = {

'llama3-8b': {

'api_key': 'sk-xxx',

'base_url': 'http://10.18.32.170:2001/v1',

},

}

# 设置人设提示词，根据需要进行修改

prompt_dict = {

'llama3-8b': [

{ "role": "system", "content": "你是猴哥的全能小助手，上知天文，下知地理，可解决生活中的一切困扰。"},

],

}

class LLM_API:

def __init__(self, api_key, base_url, model):

self.client = OpenAI(

api_key=api_key,

base_url=base_url,

)

self.model = model

def __call__(self, messages, temperature=0.7):

completion = self.client.chat.completions.create(

model=self.model,

messages=messages,

temperature=temperature,

)

return completion.choices[-1].message.content

if __name__ == '__main__':

model = 'llama3-8b'

llm = LLM_API(model_dict[model]['api_key'], model_dict[model]['base_url'], model)

user_question = "你是谁"

messages = prompt_dict[model] + [{ "role": "user", "content": user_question},]

print(llm(messages))

如果本地没有 GPU 资源部署 大语言模型，也可以选择调用云端 API 来实现这一步，猴哥下一篇就来梳理一下：

我们都可以调用哪些免费的 LLM API?

欢迎追更！

3 语音生成（TTS）

为了将大模型输出的文字生成语音返回，这里我们采用 2024.5 刚开源的项目 - ChatTTS，生成效果非常惊艳。关于 ChatTTS 的具体使用，猴哥会单独出一篇教程，否则本文的篇幅就太长了。

同样还是采用 FastAPI 来实现封装，和部署 ASR 模型类似，在此不再赘述。

（PS：需要源码的可到文末自取~）

4 前端交互实现（Gradio）

Gradio是一个用于快速创建机器学习模型的交互式演示的开源库。它允许开发者通过简单的Python代码快速构建一个用户界面。

为了快速搭建应用，我们还是要请出我们的老朋友 - Gradio，交互界面如图所示：

WebUI 代码奉上：