系列5中讲到会讲解3个方面RAG的提升，它们可能与RAG的准确率有关系，但是更多的它们是有其它用途。本期来讲解第二部分：查询结构化（Query Construction）。在系列3文档处理中，我们着重讲解了文档解析，但是我们说的文档都是大部分是非结构化的文档或者说它就是以一个文档的形式存储。而现实中我们很多有价值的数据可能以结构化（关系型数据库、图形数据库等）或者半结构（关系型数据库、文档数据库等）的形式存储中，并且这些数据一般都是存储于特定数据库，那么如果数据存储在结构化或者半结构化中，我们RAG又该如何与之配合。这一章就着重来讲讲查询结构化内容（Query Construction）

目录

1 查询结构内容（Query Construction）2 Text-to-metadata-filter3 Text-to-SQL4 Text-to-Cypher5 Text-to-SQL+ Semantic

1 查询结构内容（Query Construction）

现实中我们很多有价值的数据可能以结构化（关系型数据库、图形数据库等）或者半结构化（关系型数据库、文档数据库等）的形式存储中，并且这些数据一般都是存储于特定数据库，同时数据库提供结构化的查询功能，使用其结构化查询（比如SQL等）比使用向量化查询更为准确。那这时候如果我们RAG想要去查询这些有结构的数据，就不是将数据向量化后再去查询，而是利用大模型将用户问题转换为结构化查询，再通过结构化查询去数据库查询结果，最后利用结果回答用户问题。下图流程可以让你明显感受不同之处：

我们将不同结构化或者半结构化查询归纳如下表，下面也是逐一讲解各个方法

2 Text-to-metadata-filter

第一个要利用大模型将用户问题转换为结构化查询的依旧是向量数据库，但是这里并非做向量查询，而是很多向量存储其实都配备了元数据过滤功能，这些元数据其实就是结构化存储，因此需要过滤的是存储在向量数据库的元数据。

这里以查询ChromaDB的metadata为例，做一个demo代码演示。在运行代码之前我们需要做以下前置条件

这里采用智谱AI的API接口，因此可以先去申请一个API KEY（当然你使用其它模型也可以，目前智谱AI的GLM4送token，就拿它来试验吧）下载m3e-base的embedding模型给一个文档目录，里面放入一个文档即可，文档内容不限

<code>import os

from typing import List

from langchain_openai import ChatOpenAI

from langchain_core.documents import Document

from langchain_community.vectorstores import Chroma

from langchain_core.prompts import ChatPromptTemplate

from langchain_huggingface import HuggingFaceEmbeddings

from langchain_core.pydantic_v1 import BaseModel, Field

from langchain_core.runnables import RunnablePassthrough

from langchain_community.document_loaders import DirectoryLoader

# 前置工作1：文档存储，给文档设置author属性

encode_kwargs = { "normalize_embeddings": False}

model_kwargs = { "device": "cuda:0"}

embeddings = HuggingFaceEmbeddings(

model_name='/root/autodl-tmp/model/AI-ModelScope/m3e-base', # 换成自己的embedding模型路径code>

model_kwargs=model_kwargs,

encode_kwargs=encode_kwargs

)

if os.path.exists('VectorStore'):

db = Chroma(persist_directory='VectorStore', embedding_function=embeddings)code>

loader = DirectoryLoader("/root/autodl-tmp/doc") # 换成自己的文档路径

documents = loader.load()

# 这里假设设置一个author作者的属性

documents[0].metadata["author"] = "刘震云"

database = Chroma.from_documents(documents, embeddings, persist_directory="VectorStore")code>

database.persist()

# 前置工作2：创建llm

llm = ChatOpenAI(

temperature=0.95,

model="glm-4",code>

openai_api_key="你的API KEY",code>

openai_api_base="https://open.bigmodel.cn/api/paas/v4/"code>

)

# 前置工作3：为了将用户问题转换为结构化查询，使用LangChain可以通过Pydantic类轻松指定所需的function call schema：

# 这里假设书籍有2个字段匹配，一个是内容content_search，一个是作者author_search

class BookSearch(BaseModel):

content_search: str = Field(

...,

description=(

"书籍文本内容进行相似性搜索"

),

)

author_search: str = Field(

...,

description=(

"书籍作者，仅在使用人名查询时，才进行关键字匹配，其它情况不使用"

),

)

# 第一步：让模型将用户问题转换成与查询字段匹配的格式

system = """你是将用户问题转换为数据库查询的专家。

你可以访问关于的书籍数据库。

给定一个问题，返回一个优化为检索最相关结果的数据库查询。"""

prompt = ChatPromptTemplate.from_messages(

[

("system", system),

("human", "{question}"),

]

)

# 绑定前面定义的输出数据格式，意思就是要求模型根据类结构返回数据。

structured_llm = llm.with_structured_output(BookSearch)

# 定义chain

query_analyzer = { "question": RunnablePassthrough()} | prompt | structured_llm

print(query_analyzer.invoke("作家刘震云的书"))

# 第二步：转换匹配，拼接向量查询条件查询Chroma

def retrieval(search: BookSearch) -> List[Document]:

if search.author_search is not None:

_filter = { "author": { "$eq": search.author_search}}

else:

_filter = None

return database.similarity_search(search.content_search, filter=_filter)

retrieval_chain = query_analyzer | retrieval

# 未查询到结果

print(retrieval_chain.invoke("作家莫言的书"))

# 查询到结果

print(retrieval_chain.invoke("作家刘震云的书"))

3 Text-to-SQL