<code>text = "..." # your text

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(

separator = "\n\n",

chunk_size = 256,

chunk_overlap = 20

)

docs = text_splitter.create_documents([text])

内容感知分块： 内容感知分块利用文本的内在结构来创建更有意义、与上下文更相关的分块。以下是实现这一目标的几种方法：句子分割 这种方法与为嵌入句子级内容而优化的模型相一致。不同的工具和技术可用于句子分割：

自然拆分法（Naive Splitting）： 使用句号和新行分割句子的基本方法。

text = "..." # Your text

docs = text.split(".")

NLTK（自然语言工具包Natural Language Toolkit）： 一个用于语言处理的综合性 Python 库。NLTK 包括一个句子标记器，能有效地将文本分割成句子。

text = "..." # Your text

from langchain.text_splitter import NLTKTextSplitter

text_splitter = NLTKTextSplitter()

docs = text_splitter.split_text(text)

spaCy ：spaCy 是用于 NLP 任务的高级 Python 库，可提供高效的句子分割功能。

text = "..." # Your text

from langchain.text_splitter import SpacyTextSplitter

text_splitter = SpacyTextSplitter()

docs = text_splitter.split_text(text)

递归分块： 递归分块是一种迭代方法，它使用各种分隔符对文本进行分层。它通过递归应用不同的标准来创建大小或结构相似的分块。例如，在langchain中会先通过段落换行符（`\n\n`）进行分割。然后，检查这些块的大小。如果大小不超过一定阈值，则该块被保留。对于大小超过标准的块，使用单换行符（`\n`）再次分割。以此类推，不断根据块大小更新更小的分块规则（如空格，句号）。这种方法可以灵活地调整块的大小。例如，对于文本中的密集信息部分，可能需要更细的分割来捕捉细节；而对于信息较少的部分，则可以使用更大的块。而它的挑战在于，需要制定精细的规则来决定何时和如何分割文本。

text = "..." # Your text

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(

chunk_size = 256,

chunk_overlap = 20

)

docs = text_splitter.create_documents([text])

从小到大分块：既然小的分块和大的分块各有各的优势，一种更为直接的解决方案是把同一文档进行从大到小所有尺寸的分割，然后把不同大小的分块全部存进向量数据库，并保存每个分块的上下级关系，进行递归搜索。但可想而知，因为我们要存储大量重复的内容，这种方案的缺点就是需要更大的储存空间，

特殊结构分块：针对特定结构化内容的专门分割器。这些分割器特别设计来处理这些类型的文档，以确保正确地保留和理解其结构。langchain提供的特殊分割器包括：Markdown文件，Latex文件，以及各种主流代码语言分割器。

2.3.1.2 embedding嵌入

对提示信息进行适当分块后，下一步就是嵌入。在 RAG 中嵌入提示和文档涉及到将用户的query和知识库中的文档转换为可有效比较相关性的格式。这一过程对于 RAG 从知识库中检索最相关信息以响应用户query的能力至关重要。下面是它的工作原理：

选择最适合任务的嵌入模型的一个方法是查看 HuggingFace 的海量文本嵌入基准 (MTEB) 排行榜（https://huggingface.co/spaces/mteb/leaderboard）。在使用密集嵌入还是稀疏嵌入的问题上，可以从以下几个方面来了解各自的优势：

稀疏嵌入： 稀疏嵌入（如 TF-IDF）非常适合将提示与文档进行词法匹配。最适合关键词相关性至关重要的应用。它的计算密集度较低，但可能无法捕捉文本中更深层的语义。

语义嵌入： 语义嵌入（如 BERT 或 SentenceBERT）自然适用于 RAG 用例。

BERT：适合捕捉文档和查询中的上下文细微差别。与稀疏嵌入式相比，它需要更多的计算资源，但能提供语义更丰富的嵌入式。

SentenceBERT：适用于句子层面的上下文和含义非常重要的情况。它在 BERT 的深度上下文理解与简洁、有意义的句子表示之间取得了平衡。

Word2Vec模型，尽管功能强大，但存在一个重要的局限性：其生成的词向量是静态的。一旦模型训练完成，每个词的向量表示就固定不变，这在处理一词多义的情况时可能导致问题。比如， “我买了一张光盘”，这里“光盘”指的是具体的圆形盘片，而在“光盘行动”中，“光盘”则指的是把餐盘里的食物吃光，是一种倡导节约的行为。语义完全不一样的词向量却是固定的。相比之下，引入自注意力机制的模型，如BERT，能够提供动态的词义理解。这意味着它可以根据上下文动态地调整词义，使得同一个词在不同语境下有不同的向量表示。在之前的例子中，“光盘”这个词在两个句子中会有不同的向量，从而更准确地捕捉其语义。

2.3.2 Retrieval查询

有两种不同类型的检索：标准检索和句子窗口检索。每种方法都有特定的优缺点，其适用性取决于 RAG 任务的要求，包括数据集的性质、查询的复杂性以及所需的特定性与响应的上下文理解之间的平衡。

2.3.2.1标准检索 Standard/Naive Approach

如下图所示，标准pipeline使用相同的文本块进行索引/嵌入以及输出合成。

就大型语言模型（LLM）中的检索增强生成（RAG）而言，以下是方法的优缺点：

优点

简单高效： 这种方法直接高效，嵌入和合成都使用相同的文本块，简化了检索过程。

数据处理的统一性： 在检索和合成阶段使用的数据保持一致。

缺点

语境理解有限： LLM 可能需要更大的合成窗口来生成更好的响应，而这种方法可能无法提供足够的窗口。

可能出现次优回复： 由于语境有限，LLM 可能没有足够的信息来生成最相关、最准确的回复。

2.3.2.2句子窗口检索Sentence-Window Retrieval / Small-to-Large Chunking

句子窗口法将文档分解为更小的单元，如句子或小的句子组。

对于检索任务（即存储在矢量数据库中的较小块），它将嵌入解耦，但对于合成任务，它将检索到的块周围的上下文添加回去，如下图所示。

在检索过程中，我们通过相似性搜索检索与查询最相关的句子，并用完整的上下文替换句子（使用上下文周围的静态句子窗口，通过检索最初检索句子周围的句子来实现），如下图所示。

优势

提高检索的针对性： 通过将文档分解成更小的单元，可以更精确地检索与查询直接相关的片段。

语境丰富的合成： 它围绕检索到的片段重新引入上下文进行综合，为 LLM 提供更广泛的理解，以制定回答。

平衡： 这种方法在重点检索和丰富语境之间取得了平衡，有可能提高回复质量。

缺点

复杂性增加： 管理检索和合成的不同流程会增加流程的复杂性。

潜在的语境空白： 如果添加回来的周边信息不够全面，就有可能遗漏更广泛的上下文。

2.3.2.3 检索器组装和重新排名Retriever Ensembling and Reranking

思考：如果我们能同时尝试多种块大小，并让重排器对结果进行修剪，会怎么样？

假设重新排序器具有合理的性能水平，通过汇集来自多个分块大小的结果，获得更好（尽管成本更高）的检索结果。

对不同的检索策略（相对于重新排序器）进行基准测试。

具体过程如下

以多种不同方式对同一文档进行分块，例如分块大小为 128、256、512 和 1024。

在检索过程中，我们从每个检索器中获取相关的分块，从而将它们组合在一起进行检索。

使用重排器对结果进行排序/剪裁。

下图描述了这一过程。

重新排序

RAG 中的重新排序是指根据检索到的文档或信息片段与给定query或任务的相关性对其进行评估和排序的过程。

RAG 中使用了不同类型的重新排序技术：

词法重新排序： 这包括根据查询和检索文档之间的词法相似性重新排序。常见的方法有 BM25 或带有 TF-IDF 向量的余弦相似性。

语义重新排序： 这类重新排序使用语义理解来判断文档的相关性。它通常涉及神经模型，如 BERT 或其他基于转换器的模型，以理解上下文和意义，而不仅仅是单词重叠。

学习排名（LTR）方法： 这些方法涉及根据从查询和文档中提取的特征，专门为文档排序任务（点排序、对排序和列表排序）训练一个模型。这可能包括词法、语义和其他特征的混合。

混合方法： 这些方法结合了词法和语义方法，可能还包括用户反馈或特定领域特征等其他信号，以改进重新排序。

2.3.3 Response Generation / Synthesis 回答生成

RAG pipeline的最后一步是生成反馈给用户的回复。在这一步中，模型将检索到的信息与其预先训练的知识进行综合，以生成连贯且与上下文相关的回复。这一过程包括整合从各种来源收集到的见解，确保准确性和相关性，并制作出不仅信息丰富，而且与用户的原始query相一致的回复，同时保持自然和对话的语气。

需要注意的是，在为 LLM 生成有根据的回复创建扩展提示（包含检索到的 top-k 块）的同时，在输入序列的开头或结尾放置重要信息可以提高 RAG 系统的有效性，从而使系统更加高效。

2.4 RAG效果评估

2.4.1 独立评估(Independent Evaluation)

独立评估方法会分别评估检索模块(Retrieval Module)和生成模块(Generation Module)，其中检索模块评估指标包括命中率(Hit Rate)、平均倒数排名(Mean Reciprocal Rank, MRR)、归一化折扣累积增益(Normalized Discounted Cumulative Gain, NDCG)、准确率(Precision)等，这些指标用于测量系统在根据查询或任务排名方面的有效性。而生成模块评估通常在端到端评估中进行。评估指标主要关注上下文相关性，测量检索到的文档与查询问题的相关性​​。

2.4.2 端到端评估(End-to-End Evaluation)

端到端评估方法评估RAG模型对给定输入生成的最终响应，包括模型生成答案与输入查询的相关性和对齐程度。从内容生成目标视角来评估可以将评估划分为未标记内容和已标记内容。未标记内容评估指标包括答案忠实度(Answer Fidelity)、答案相关性(Answer Relevance)、无害性(Harmlessness)等，而已标记内容评估指标包括准确率(Accuracy)和精确匹配(Exact Match, EM)。端到端评估可以分为人工评估和使用大型语言模型的自动评估。此外，还可以根据RAG在特定领域的应用，采用特定的评估指标，例如在问答任务中使用EM​​。

2.5 RAG(检索增强生成) vs Fine-Tuning(微调)

原论文：《Retrieval-Augmented Generation for Large Language Models: A Survey》

参考链接：https://zhuanlan.zhihu.com/p/673392898

这一链接同时也涵盖了大量RAG领域的重要论文，非常推荐阅读。

RAG是指结合了检索（从大型外部数据库中提取信息）和生成（基于检索到的信息生成答案）两个步骤。RAG通过引入外部知识来源，来增强语言模型的回答能力。Fine-Tuning是指在已有的预训练模型基础上，通过在特定数据集上进行额外的训练来优化模型。这个过程没有引入外部知识，而是调整模型以更好地适应特定任务。

2.6 RAG框架

基础RAG(Naive RAG)、高级RAG(Advanced RAG)和模块化RAG(Modular RAG)是检索增强生成在大型语言模型中应用的三种不同形式。

2.6.1 基础/朴素RAG

基础RAG是RAG方法的原始形式，它结合了信息检索和文本生成两个阶段。在这个框架中，当模型接收到一个查询时，它首先执行一个检索步骤，从一个大型的、结构化的知识库中检索出与查询相关的信息片段。然后，这些检索到的信息被送入一个生成器模型，该模型结合原始查询和检索到的信息来生成回答。基础RAG的关键在于它将检索和生成紧密结合，使得生成的回答能够利用检索到的实时外部信息。

2.6.2 高级RAG

高级RAG对基础RAG进行了改进，引入了预检索(pre-retrieval)和后检索(post-retrieval)优化策略。在预检索阶段，模型会通过对查询进行处理（如扩展或重写）来提高检索的准确性和相关性。在后检索阶段，模型可以对检索到的信息进行进一步的处理，如重新排序、信息压缩或合成，以便更有效地融合到生成步骤中。这种高级RAG通过在检索前后增加额外的处理步骤，提高了回答的质量和相关性。

2.6.3 模块化RAG

模块化RAG是一种更灵活的RAG实现，它允许不同的检索和生成模块根据特定的应用需()求进行替换或重新配置。这种方法的关键在于模块化设计，使得研究者和开发者可以针对特定问题选择最合适的检索器和生成器。例如，对于某些特定类型的查询，可以选择特化的检索模块，或者针对特定的生成任务，选择一个适合该场景的生成器。模块化RAG提供了更大的灵活性和适应性，适用于多样化和动态变化的应用场景。

2.7 其他有趣的论文

2.7.1 Self-RAG

原文：《SELF-RAG: Learning To Retrieve, Generate, and Critique Through Self-Reflection》

SELF-RAG（Self-Reflective Retrieval-Augmented Generation）：SELF-RAG旨在通过按需检索和自我反思来改善LLM的生成质量，包括其事实准确性，同时不损害其多功能性。SELF-RAG训练一个任意的语言模型（LM），以端到端的方式学习在给定任务输入的情况下反思其自身的生成过程，通过生成任务输出和间歇性的特殊token，即反思token(reflection tokens）。反思token分为检索(retrieval)和批评(critique)token，分别指示检索的需要和生成质量。具体来说，

步骤1：SELF-RAG首先确定在继续生成中加入检索段落是否有帮助。如果有帮助，它会输出一个检索标记，按需调用检索模型。步骤2：SELF-RAG同时处理多个检索到的段落，评估它们的相关性，然后生成相应的任务输出。步骤3：SELF-RAG生成批评标记来批评自己的输出，并在事实性和整体质量方面选择最佳输出。与传统的RAG方法有所不同，RAG通常一次性检索固定数量的文档，而不考虑检索的必要性，也不会再次审视生成质量​​。

2.7.2 Raptor

原文：《RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval》

检索增强型语言模型(Retrieval-augmented language models)能够适应世界的变化并包含更广泛的知识。但是，现有方法通常只能检索文档中的短文本段落，这限制了对文档整体上下文的深入理解。为了克服这个问题，本文提出了RAPTOR模型，它采用一种创新方法，通过递归地向量化、聚类和摘要文本，自下而上构建出一个包含不同级别摘要的树状结构。在使用时，RAPTOR能够从这棵树中检索信息，有效整合长篇文档中的信息，覆盖不同的抽象层次。通过实验发现这种递归摘要的检索方式在多个任务上都优于传统的检索增强方法。特别是在需要复杂推理的问答任务上，结合RAPTOR和GPT-4的使用将QuALITY基准测试的性能提高了20%。