为期三天的NVIDIA AI-AGENT夏季训练营结束了。过程紧张而充实，收获满满。

废话不多少，直接上干货。

NVIDIA AI-AGENT夏季训练营

项目名称：AI-AGENT夏季训练营 — RAG智能对话机器人

报告日期：2024年8月18日

项目负责人：贺振华

01 项目概述：

本项目旨在使用NVIDIA的NIM人工智能平台，针对特定应用场景中的文本检索和图像处理需求，进行RAG智能对话机器人的搭建和实践。项目通过先进的自然语言处理技术增强文字的检索能力，使用户能够更快速、准确地找到所需信息。同时，利用调用大模型API对图片进行微调重绘，提升视觉呈现效果，增强用户体验。项目的亮点在于其创新性地结合了文本和图像处理功能，为用户提供一站式解决方案。可能的应用场景包括数字图书馆、在线媒体平台和企业内部文档管理等，有助于提高工作效率和信息获取的精确度。

02 技术方案

模型选择：

文字的检索增强（RAG）采用microsoft/phi-3-small-128k-instruct；进阶版RAG采用的mistralai/mixtral-8x7b-instruct-v0.1；图片的智能重绘采用的microsoft/phi-3-vision-128k-instruct和meta/llama-3.1-405b-instruct。

数据的构建：

数据构建过程：在文字的RAG中，数据为txt的文本数据，通过python程序代码对数据进行简单的数据清洗，随后处理到faiss vectorstore 并将其保存到磁盘备用。

向量化处理方法：通过NVIDIA Embeddings工具类调用NIM中的"ai-embed-qa-4"向量化模型。随后使用microsoft/phi-3-small-128k-instruct模型，结合"ai-embed-qa-4"向量化模型，基于本地存储的数据，进行文本数据的RAG功能实现。

功能整合（进阶版RAG必填）： 通过多模态模型microsoft/phi-3-vision-128k-instruct ，对图片进行识别，将编码后的图像按照格式给到Microsoft Phi 3 vision , 利用其强大能力解析图片中的数据。随后，使用 LangChain 构建多模态智能体，整体的工作流程为：接收图片 -> 分析数据 -> 修改数据 -> 生成绘制图片的代码 -> 执行代码 -> 展示结果。然后，结合microsoft/phi-3-vision-128k-instruct模型和meta/llama-3.1-405b-instruct模型，通过Gradio构建的前端UI，进行结果的呈现。

03 实施步骤：

   1. 环境搭建： 下面依次描述需要配置的环境，软件，插件等。此步骤非常重要，耗时最长。

安装Miniconda。我使用的是：清华大学镜像，地址https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/选择Miniconda版本。由于python至少需要3.8以上版本，所以大家需要注意Miniconda的版本。安装Miniconda。本人在安装时的踩的一个坑是安装目录里不能有空格或中文等字符，否则后续配置环境时不断的报错。Miniconda安装好后，打开终端。创建python 3.8虚拟环境。

<code>conda create --name ai_endpoint python=3.8 通过Anaconda Powershell Miniconda终端进入虚拟环境。

conda activate ai_endpoint  安装nvidia_ai_endpoint工具

pip install langchain-nvidia-ai-endpoints 安装Jupyter Lab

pip install jupyterlab  安装langchain_core

pip install langchain 安装matplotlib

pip install matplotlib 安装Numpy

pip install numpy  安装CPU版本的faiss

pip install faiss-cpu==1.7.2  安装OPENAI库

pip install openai  注意事项：安装过程中如果下载速度慢，可以切换镜像。比如清华镜像。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

   2. 代码实现： 

 Step 1 - 使用NVIDIA_API_KEY      程序执行后会提示输入NVIDIA_API_KEY

import getpass

import os

if os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):

print("Valid NVIDIA_API_KEY already in environment. Delete to reset")

else:

nvapi_key = getpass.getpass("NVAPI Key (starts with nvapi-): ")

assert nvapi_key.startswith("nvapi-"), f"{nvapi_key[:5]}... is not a valid key"

os.environ["NVIDIA_API_KEY"] = nvapi_key Step 2 - 初始化SLM  模型选用为microsoft/phi-3-small-128k-instruct

llm = ChatNVIDIA(model="microsoft/phi-3-small-128k-instruct", nvidia_api_key=nvapi_key, max_tokens=512)code>

result = llm.invoke("泰坦尼克号的导演是谁？")

print(result.content) 由于字数限制，后续的重要代码和结果用图片代替。

   3. 测试与调优： 描述测试过程，包括测试用例的设计、执行及性能调优。

未使用RAG，采用 microsoft/phi-3-small-128k-instruct模型下，给出问题：泰坦尼克号的导演是谁？ 相关的运行结果如下。

由此可知，小模型有时会有幻觉，也就是我们常说的“一本正经的胡说八道”。使用RAG，采用 microsoft/phi-3-small-128k-instruct模型下，给出问题：泰坦尼克号的导演是谁？ 检索增强后的相关运行结果如下。

  进阶版的RAG运行结果对比如下： 未使用RAG的结果：

 使用之后的结果：

        结论：很明显，RAG的效果良好，可以起到很好的消除AI模型的幻觉问题。

   4. 集成与部署： 使用结合microsoft/phi-3-vision-128k-instruct模型和meta/llama-3.1-405b-instruct模型，通过Gradio构建的前端UI，基于图片的智能微调结果如下所示。

API的信息，基于个人信息的保护，我就模糊处理了。

 最终的结果展示如下：

UI展示项目中踩过的深坑：图片的保存路径需要在NIM的代码中进行修改，否则不能在UI里面显示。

项目成果与展示：