实现RAG的核心代码如下：

在本项目中，使用faiss这个轻量化的向量数据库构造retriver模块，实现检索功能。代码简单演示如下：

在这里导入embediings模型，用于向量化数据，使用text_loader将文本文件转换为可接受的输入格式。

使用CharacterTextSplitter将文档切分为合适的大小，其中chunk_size是切分文档的大小，根据文档大小调整，不同的文档大小会影响检索的效率。

embedder = NVIDIAEmbeddings(model="NV-Embed-QA")code>

def text_loader(url):

# 文本文档加载器

loader = TextLoader(url)

docs = loader.load()

return docs

def create_vector_db(data_path, db_path, loader):

text_splitter = CharacterTextSplitter(chunk_size=2048)

data = loader(data_path)

docs = text_splitter.split_documents(data)

db = FAISS.from_documents(docs, embeddings)

db.save_local(db_path) # 保存路径

create_vector_db("data.txt", "db", text_loader)

使用ChatPromptTemplate生成问题模板，根据context和input生成问题。context即为知识库检索后的文本内容，用于提交与用户问题相近的知识。

需要注意的是FAISS.load_local()函数，需要设置allow_dangerous_deserialization=True，以允许从本地加载向量数据库。

通过langchain包装完全的create_stuff_documents_chain和create_retrieval_chain，实现检索功能。

def rag(msg):

prompt = ChatPromptTemplate.from_template(

"""

以下问题基于提供的 context，分析问题并给出合理的建议回答：

<context>

{context}

</context>

Question: {input}

"""

)

new_db = FAISS.load_local("db", embedder, allow_dangerous_deserialization=True)

document_chain = create_stuff_documents_chain(llm, prompt)

retriever = new_db.as_retriever() # 从向量数据库中检索

retrieval_chain = create_retrieval_chain(retriever, document_chain)

gpt_response = retrieval_chain.invoke({ "input": msg})

response = gpt_response['answer']

return response

print(rag("你好"))

到现在就实现了一个简单的RAG过程，LLM根据知识库的知识，给出了一个回答。但是，为了实现Agent的功能，还需要进一步拓展。

LLM需要执行外部任务，获取外部信息，这就需要使用tools模块。定义合适可用的tools，让LLM执行生成的代码，保存到数据库等等。

把实现RAG的retriever包装成一个tool,这样LLM可以基于已有的知识库来进行之后的外部tools执行，强化LLM的主动性。

db_path = "db"

new_db = FAISS.load_local(db_path, embeddings, allow_dangerous_deserialization=True)

retriever = new_db.as_retriever() # 从向量数据库中检索

retriever_tool = create_retriever_tool(

retriever,

"知识库",

"这里存储着有关于问题的背景资料，you must use this tool!",

)

在这里，我们定义一个代码解释器，让LLM执行生成的代码，使用langchain提供的tool装饰器。

from langchain.agents import initialize_agent

from langchain.memory import ConversationBufferWindowMemory

from langchain.tools import tool

from langchain.tools.retriever import create_retriever_tool

def execute_and_return(x):

code = extract_python_code(x.content)[0]

try:

result = exec(str(code))

return "exec result: " + result

except ExceptionType:

return "The code is not executable, don't give up, try again!"

@tool

def interpreter(code: str) -> str:

"""

此函数解释并执行提供的代码，严格去除首行出现的缩进并保证代码符合Python语法。

"""

return execute_and_return(code)

@tool

def save_to_db(data: str) -> str:

"""

此函数将数据保存到数据库中。

"""

db = sqlite3.connect('data.db')

cursor = db.cursor()

cursor.execute(data)

db.commit()

db.close()

return "Data saved to database."

@tool

def get_from_db(data: str) -> str:

"""

此函数从数据库中获取数据。

"""

db = sqlite3.connect('data.db')

cursor = db.cursor()

cursor.execute(data)

result = cursor.fetchall()

db.close()

return result

tools = [interpreter, save_to_db, get_from_db, retriever_tool]

后面就可以使用这些tools，实现Agent的功能，让LLM执行外部任务，获取外部信息。

conversation_buffer_window_memory是一个用于存储对话历史的内存模块，可以用于实现对话的记忆功能。在这里，我们使用它来存储对话历史，实现对话的连贯性。

initialize_agent函数用于初始化一个Agent，可以指定tools，memory，verbose等参数，实现Agent的功能。

memory = ConversationBufferWindowMemory(memory_key='chat_history', k=3, return_messages=True)code>

chat_agent = initialize_agent(

agent='chat-conversational-react-description',code>

tools=tools,

memory=memory,

verbose=True,

max_interations=3,

llm=llm,

handle_prasing_error=True

)

query = "今天买菜花了30，买了一些蔬菜和水果。"

response = chat_agent.invoke(query)

print(response)

query = "到数据库中查询今天的花费"

response = chat_agent.invoke(query)

print(response)

项目成果与展示：