NVIDIA AI-AGENT夏季训练营

项目名称：AI-AGENT夏季训练营 — RAG智能药方分析专家

报告日期：2024年8月18日

项目负责人：Astron-fjh

Github项目链接：MediAssist-RAG-Chatbot

1. 项目概述

本项目旨在开发一个基于RAG（Retrieval-Augmented Generation）技术的智能对话机器人，能够从药单图片中提取信息，并结合大模型分析药品信息，推测病情，进一步为用户提供健康咨询。项目亮点包括OCR图像文本提取、结合NVIDIA LLaMA 3大模型的药品分析与病情推测、以及基于提取信息的智能对话功能。此系统特别适用于医疗场景中的辅助诊断和用户健康咨询。

2. 技术方案与实施步骤

2.1 模型选择

大模型选择：项目采用了NVIDIA <code>LLaMA 3-70B-Instruct大模型，因其在处理复杂语言任务（如医学文本解析、对话生成等）上表现优越。RAG模型的优势在于通过结合检索和生成技术，能够在对话过程中实时引入相关背景信息，从而提高对话的专业性和准确性。RAG模型的优势：RAG模型结合了检索和生成的能力，能够在回答问题时调用预训练知识库中的信息，从而提升回答的准确性与深度。这种模型非常适合需要在大规模数据基础上进行准确回答的场景，如药品信息的查询与病情推测。

2.2 数据的构建

数据构建过程：数据主要来源于药单图像，通过OCR技术提取文本信息。使用Tesseract OCR工具进行图像文字识别，并结合中文语言包优化识别效果。将提取的文本数据作为输入，传入大模型进行分析和生成对话。

2.3 功能整合

多模态功能整合：项目结合了OCR技术和大语言模型，OCR用于从图像中提取药品信息，而大语言模型则用于解析药品作用、推测病情与对话生成等功能。此多模态整合策略使系统能够处理复杂的输入，并输出符合预期的结果。

2.4 实施步骤

2.4.1 环境搭建

开发环境：使用Python作为主要开发语言，依赖库包括pytesseract用于OCR，gradio用于创建前端界面，langchain用于模型集成。

安装Python库：首先配置NVIDIA的API密钥，接着安装Tesseract OCR和相关Python库。使用Tesseract支持中文的语言包以实现对药单中中文信息的提取。

# 安装Tesseract OCR库

pip install pytesseract

# 安装Gradio库，用于构建前端界面

pip install gradio

# 安装LangChain库，用于与NVIDIA API的集成

pip install langchain

# 安装langchain_core

pip install langchain_core

# 安装Pillow库，用于处理图像

pip install pillow

# 安装NVIDIA API的端点库

pip install langchain_nvidia_ai_endpoints

安装 Tesseract OCR

下载Tesseract安装包并安装。从GitHub Tesseract 项目中下载中文语言包chi_sim.traineddata（简体中文）或chi_tra.traineddata（繁体中文）。将该文件放置在Tesseract的tessdata目录中。默认情况下，这个目录通常在Tesseract-OCR安装目录下的tessdata文件夹中，例如D:\Tesseract-OCR\tessdata。确保pytesseract.pytesseract.tesseract_cmd指向Tesseract的可执行文件路径。如：

pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'

申请NIM的API Key，来调用NIM的计算资源

进入https://build.nvidia.com/microsoft/phi-3-vision-128k-instruct，点击Get API Key按钮，生成一个秘钥。

2.4.2 代码实现

导入工具包

<code>import gradio as gr

import pytesseract

from PIL import Image

from langchain_nvidia_ai_endpoints import ChatNVIDIA

from langchain_core.prompts import ChatPromptTemplate

from langchain.schema.runnable import RunnableLambda

from langchain_core.runnables import RunnableBranch, RunnableAssign

import os

将上面准备好的秘钥粘贴在此处, 当我们向服务器发送计算请求时, 需要用到：

os.environ["NVIDIA_API_KEY"] = "nvapi-..."

设置Tesseract可执行文件的路径：

pytesseract.pytesseract.tesseract_cmd = r'D:\Tesseract-OCR\tesseract.exe' # 根据自己的安装路径修改

从图像中提取药品信息

使用 pytesseract 从图像中提取文本，支持中文。

def extract_medicine_from_image(image) -> str:

image = Image.fromarray(image)

custom_config = r'--oem 3 --psm 6'

text = pytesseract.image_to_string(image, config=custom_config, lang="chi_sim")code>

return text

解析药品信息并推测病情

使用 ChatNVIDIA 模型解析药品信息，并推测可能的疾病。

定义一个Prompt模板来指导模型分析药品信息。

def analyze_medicine_info(text: str) -> str:

try:

# 使用 ChatNVIDIA 模型解析药品信息

llm = ChatNVIDIA(model="meta/llama3-70b-instruct")code>

# 设置提示模板，让模型以中文回答，并按指定格式输出

prompt_template = ChatPromptTemplate.from_template(

"以下文本包含药品信息。请识别药品名称及其作用，并推测病人可能患有的疾病。请用中文回答，并按如下格式输出：\n\n"

"1. 药品名称: [药品名]\n 作用: [药品作用]\n\n"

"2. 药品名称: [药品名]\n 作用: [药品作用]\n\n"

"可能的病人病情:\n1. [病情1]\n2. [病情2]\n\n文本: {text}"

)

chain = prompt_template | llm

result = chain.invoke({ "text": text})

return result.content

except Exception as e:

return f"Error during model invocation: { str(e)}"

处理用户对话

使用 ChatNVIDIA 模型基于提取的药品信息和用户的输入进行对话。

更新对话记录并返回聊天记录。

def chat_with_user(chat_history, user_input, extracted_text):

try:

llm = ChatNVIDIA(model="meta/llama3-70b-instruct")code>

prompt = (

f"以下是从药方中提取的信息：{ extracted_text}\n\n"

f"用户输入：{ user_input}\n\n"

f"基于药方信息，回复用户的问题或建议下一步的治疗方向。请用中文回答。"

)

result = llm.invoke(prompt)

chat_history.append((user_input, result.content))

return chat_history, ""

except Exception as e:

return chat_history, f"Error during model invocation: { str(e)}"

处理上传的图片

def process_image(image):

try:

extracted_text = extract_medicine_from_image(image)

analysis_result = analyze_medicine_info(extracted_text)

return extracted_text, analysis_result

except Exception as e:

return f"Error: { str(e)}", ""

构建Gradio界面

配置Gradio界面，允许用户上传药单图片，显示提取的药品信息和分析结果，支持与药方相关的对话。

定义输入输出组件，并设置按钮的点击事件。

with gr.Blocks() as demo:

gr.Markdown("### 药单分析与对话：提取药品信息及与药方相关的对话")

image_input = gr.Image(type="numpy", label="上传药单图片")code>

text_output = gr.Textbox(label="提取的药品信息")code>

analysis_output = gr.Textbox(label="分析结果（药品作用及病情）")code>

chatbot = gr.Chatbot(label="与药方相关的对话")code>

user_input = gr.Textbox(label="输入您的问题")code>

submit_button = gr.Button("分析药单")

send_button = gr.Button("发送")

extracted_text_state = gr.State("")

submit_button.click(fn=process_image, inputs=image_input, outputs=[text_output, analysis_output])

submit_button.click(lambda: [], inputs=None, outputs=chatbot)

send_button.click(fn=chat_with_user, inputs=[chatbot, user_input, text_output], outputs=[chatbot, user_input])

send_button.click(lambda: "", None, user_input) # 清空用户输入框

demo.launch(debug=True, share=True, show_api=False, server_port=8000, server_name="0.0.0.0")code>

2.4.3 测试与调优