KG-RAG: 跨越大模型智能体AI Agent的知识和创新性的鸿沟

AI-椰子不椰 2024-08-06 16:01:02 阅读 66

摘要:

在保持大型语言模型智能体（Large Language Model Agents - LMA）的创造性能力的同时确保事实准确性对智能代理系统的开发提出了重大挑战。LMA 面临着普遍存在的问题，例如信息幻觉、灾难性遗忘以及在处理知识密集型任务时处理长时间上下文的局限性。本文介绍了KG-RAG（Knowledge Graph-Retrieval Augmented Generation），这是一个新颖的框架，旨在通过将结构化知识图谱（KG）与LLM的功能集成来增强LMA的知识能力，从而显著减少对LLM潜在知识的依赖。

KG-RAG 从非结构化文本构造 KG，然后对新创建的图谱执行信息检索以执行 KGQA（知识图谱问答）。检索方法利用了一种称为探索链（CoE）的新算法，该算法受益于 LLM 推理，可以按顺序探索 KG 中的节点和关系。

ComplexWebQuestions数据集上的初步实验表明，在减少幻觉内容方面取得了显着进展，并提出了一条有希望的途径，可以开发擅长处理知识密集型任务的智能系统。

大语言模型（LLM）已成为通用人工智能（AGI）的潜在引爆点，为开发多功能智能系统提供了希望。👀.

什么是智能系统？

之前深入研究本文主题之前，了解智能系统的历史背景和定义是很有意义的。智能的本质一直是一个研究对象，这反映了数百年来哲学探索和科学探索的成果，如下引用所示：

丹尼斯·迪德罗（1746年）：“如果他们找到一只能够回答一切的鹦鹉，我会毫不犹豫地认为它是一个有智慧的存在。” 🐦

艾伦·图灵（1950年）：“如果一台机器可以与人类对话，而不被察觉成为机器，它就展示出了人类的智能。”

现在，让我们进入有趣的部分，探索当前AI Agent智能体的概念。

什么是AI Agent 智能体? 🤖

AI智能体可以被定义为一种能够感知环境、做出决策并执行行动的人工实体。这个概念将我们带回到机器人感知-规划-执行循环的基本思想，它使得机器人可以与环境互动。根据这个定义，当我们将AI智能体分解为其基本组成部分时，我们可以从根本上将其分解为三个核心元素：感知、大脑和行动。

在这里插入图片描述

最近的多模态和工具执行技术的进步显著增强了感知和行动能力。今天我们的关注将转向大脑部分。

基于大模型的 AI Agents 智能体 📈

在下面的图表中，智能体内的大脑负责做出决策、规划和推理，同时与记忆和知识的存储进行交互。当前的智能体利用语言模型来实现这一点，通过新兴的提示工程技术（如CoT和ReAct）来处理推理和决策，以提高效率。

在这里插入图片描述

然而，尽管在这些任务上具备能力，但是LLM面临着多个挑战，这使得它们在知识密集型任务中不可靠。这是由于多种因素导致的，包括：

他们产生错误信息的倾向 - 常称为幻觉。

有效处理长上下文长度的限制，而不会丢失关键细节在中间。

灾难性遗忘的现象，即模型在学习新信息时忘记了先前学到的信息。

随着AI智能体开始在现实应用中得到实施，对它们成为可靠和准确的代理的需求越来越大。因此，找出如何弥合LLM的创造潜力与基于LLM的智能体所需的可靠知识之间的差距，仍然是一个巨大的挑战。

本文深入探讨了知识图谱-检索增强生成（KG-RAG，也称为Graph RAG）框架，该框架专门设计用于解决LLM中遇到的一些持久性挑战。来自该框架的初步实验显示，在减少虚构内容方面取得了显著的改进，并提出了一条有望发展出能够处理知识密集型任务的智能系统的良好道路。

KG-RAG能做什么? 🧠

通过整合存储大量显式事实信息的结构化知识图谱（KGs），KG-RAG加强了LLMs的功能。这种整合减少了对LLMs潜在的、常常存在缺陷的知识的依赖，使基于LLM的代理人能够可靠地存储记忆和知识，以减轻产生虚构内容的情况。

在这里插入图片描述

大脑如何整合LLMs进行动态推理和决策，以及如何与KGs整合以获取结构化知识和记忆存储的表示方式。

什么是知识图谱? 🤔

知识图谱（KG）是一种用于表示和存储信息事实的方法。它包括节点（或实体）和边，表示这些实体之间的关系。

例如，在所示的知识图谱中，“蒙娜丽莎”、“达·芬奇”和“卢浮宫”这样的实体通过“绘制”、“位于”和“位于”等关系相连接。这种视觉框架不仅有助于描述不同实体之间的关系，还能有效地检索互相关联的信息。

在这里插入图片描述

使用知识图谱的一个很大好处是它使我们能够搜索“事物而非字符串”。知识图谱以精确、可更新和可解释的知识三元组的形式存储大量明确的事实，可以表示为（实体）-[关系]->（实体）。此外，知识图谱可以随着不断添加新知识而积极发展。

实际上，知识图谱是谷歌用于搜索并提供答案的工具。如下图所示，当用户查询“谁是Entrepreneur First的首席执行官？”时，谷歌使用其知识图谱来获取和显示相关信息。它将“Entrepreneur First”识别为一个实体，并通过“CEO”关系导航到Alice Bentick，并展示了这个联系在2011年她开始担任首席执行官时建立的方式。知识图谱能够将Alice Bentick与Entrepreneur First关联起来，使谷歌搜索可以提供简明准确的答案

在这里插入图片描述

另外，它还提供了与目标节点（Alice Bentinck）在右侧面板上通过关系连接的更多信息。

使用KG-RAG的动力 💪

目前发展AI Agent的基准是通过创建文本块的密集向量表示，并通过相似性搜索来检索它们。这种方法对于简单情况效果良好。

KG-RAG 方法论🎩

KG-RAG由三个主要阶段组成：

知识图谱构建：将非结构化的文本转化为结构化知识图谱。如果没有正确地完成此步骤，它将对后续阶段产生重要影响，因此具有关键作用。

检索：通过一系列探索（CoE）来进行，该新颖的检索算法利用LLM推理来探索知识图谱内的节点和关系。它确保检索过程既相关又准确，利用密集向量表示的优势在大型知识图谱中定位相关节点和关系。

响应生成：生成连贯且上下文恰当的回应。

在这里插入图片描述

Chain-of-Explorations (CoE) 探索链

检索阶段构成了KGQA过程的关键组成部分，其目标是在用户指定查询的情况下，系统地从KG中提取相关信息。为此，我们执行一个链状探索（CoE），这是一种旨在通过顺序遍历其节点和关系来发现相关信息的KG的新方法。

在图中所示的CoE中，通过导航到与查询直接相关的节点和边来策略性地遍历KG。它执行逐步探索以确保彻底和有方向的搜索，从而增加检索准确和相关信息的可能性。

算法包括三个主要组件：规划、KG查找和评估。规划阶段涉及制定一系列步骤，引导对KG的探索。使用向量相似度搜索和密码查询的组合执行KG查找，以识别相关节点或关系。评估阶段根据遍历的当前状态与初始查询进行比对，决定是继续探索、优化探索策略还是根据收集到的上下文合成答案。

CoE的初始步骤使用少量样本学习提示以及用户查询q来引导规划者制定贯穿整个KG的战略性探索计划。在计划的第一步中，CoE使用指定关键词上的向量相似度搜索找到前k个起始节点，并选择相关节点进行进一步探索。然后，进入KG内的循环查找阶段，步骤如下所述：

执行Cypher查询以检索知识图中的连接节点和关系。

使用密集向量嵌入对节点或关系进行相关性排名，以衡量当前步骤任务的相关性。

利用LLM对知识图中最相关的节点或关系进行过滤和选择，以继续探索跳跃。

这之后是评估阶段，在此阶段中，LLM评估当前遍历与初始计划的一致性。根据此评估，算法决定是继续探索、调整探索步骤，还是根据迄今为止的上下文综合生成回应。假设评估阶段在已遍历路径中确定了一个确定性答案。在这种情况下，它将数据编译成一系列连贯的节点三元组，并将其发送到下一个阶段生成答案。

在这里插入图片描述

初始结果 👀

下面是一个以KG-RAG与基础向量RAG方法进行比较的例子。这个例子展示了KG-RAG如何通过探索和推理特定关系来生成回应，从而有效地处理复杂的查询。

在这里插入图片描述

数据集上，KG-RAG与密集向量RAG两者之间及无RAG的比较。

智能体AI Agent的未来🔮

通过KG-RAG等框架将KG和LLM整合起来，为开发具备高可靠性的能够处理知识密集型任务的智能系统铺平了一个有希望的道路。这种方法缓解了基于LLM的智能体的一些当前限制，并促进了对这种方法的进一步研究和实际应用。通过开发专门针对这个领域的精心策划的高质量数据集，目前的KG构建能力有着显著的提升机会。

KG-RAG作为一种潜在的解决方案，有望为LLM提供可靠且高效的外部更新知识。此外，随着人工智能硬件加速器的不断进步，响应时间的减少（与KG-RAG和推理过程同时进行）将使人类与这些智能体的交互感觉更加自然。

从人类认知的角度来看，"扩展思维"的类比变得尤为重要。正如人类使用智能手机和笔记本等工具来扩展他们的认知能力，以便卸载记忆和管理复杂任务一样，基于LLM的智能体也可以同样受益于外部认知扩展来增强他们的认知能力。

结论 👋

这篇文章是对KG-RAG研究论文的简短总结。如果您觉得这篇文章有洞见，深入阅读完整的论文将有助于更全面地理解我们的发现和研究方法。