Java开发者LLM实战——使用LangChain4j构建本地RAG系统

京东云开发者 2024-08-26 09:31:02 阅读 84

1、引言

由于目前比较火的chatGPT是预训练模型，而训练一个大模型是需要较长时间（参数越多学习时间越长，保守估计一般是几个月，不差钱的可以多用点GPU缩短这个时间），这就导致了它所学习的知识不会是最新的，最新的chatGPT-4o只能基于2023年6月之前的数据进行回答，距离目前已经快一年的时间，如果想让GPT基于近一年的时间回复问题，就需要RAG（检索增强生成）技术了。

此外，对于公司内部的私有数据，为了数据安全、商业利益考虑，不能放到互联网上的数据，因此GPT也没有这部分的知识，如果需要GPT基于这部分私有的知识进行回答，也需要使用RAG技术。

本文将通过实战代码示例，意在帮助没有大模型实战经验的Java工程师掌握使用LangChain4j框架进行大模型开发。

2、基本概念

2.1 什么是RAG

RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。

具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条相关的文档片段。再将这些检索到的片段作为额外的上下文信息，输入到生成模型中，从而生成更为准确和信息丰富的文本。

RAG的工作原理可以分为以下几个步骤：

1.接收请求：首先，系统接收到用户的请求（例如提出一个问题）。

2.信息****检索（R) ：系统从一个大型文档库中检索出与查询最相关的文档片段。这一步的目标是找到那些可能包含答案或相关信息的文档。

3.生成****增强（A）：将检索到的文档片段与原始查询一起输入到大模型（如chatGPT）中，注意使用合适的提示词，比如原始的问题是XXX，检索到的信息是YYY，给大模型的输入应该类似于：请基于YYY回答XXXX。

4.输出****生成（G) ：大模型基于输入的查询和检索到的文档片段生成最终的文本答案，并返回给用户。

第2步骤中的信息检索，不一定必须使用向量数据库，可以是关系型数据库（如MySQL）或全文搜索引擎（如Elasticsearch, ES），

但大模型应用场景广泛使用向量数据库的原因是：在大模型RAG的应用场景中，主要是要查询相似度高的某几个文档，而不是精确的查找某一条（MySQL、ES擅长）。

相似度高的两个文档，可能不包含相同的关键词。例如，句子1: “他很高兴。” 句子2: “他感到非常快乐。” 虽然都是描述【他】很开心快乐的心情，但是不包含相同的关键词；

包含相同的关键词的两个文档可能完全没有关联，例如：句子1: “他喜欢苹果。” 句子2: “苹果是一家大公司。” 虽然都包含相同的关键词【苹果】，但两句话的相似度很低。

2.2 LangChain4j简介

LangChain4j是LangChiain的java版本，

LangChain的Lang取自Large Language Model，代表大语言模型，

Chain是链式执行，即把语言模型应用中的各功能模块化，串联起来，形成一个完整的工作流。

它是面向大语言模型的开发框架，意在封装与LLM对接的细节，简化开发流程，提升基于LLM开发的效率。

更多介绍，详见： https://github.com/langchain4j/langchain4j/blob/main/README.md

2.3 大模型开发 vs. 传统JAVA开发

大模型开发——大模型实现业务逻辑：

开发前，开发人员关注数据准备（进行训练）、选择和微调模型（得到更好的效果，更能匹配业务预期），

开发过程中（大多数时候），重点在于如何有效的与大模型（LLM）进行沟通，利用LLM的专业知识解决特定的业务问题，

开发中更关注如何描述问题（提示工程 Propmt Engineering）进行有效的推理，关注如何将大模型的使用集成到现有的业务系统中。

传统的JAVA开发——开发者实现业务逻辑：

开发前，开发人员关注系统架构的选择（高并发、高可用），功能的拆解、模块化等设计。

开发过程中（大多数时候）是根据特定的业务问题，设计特定的算法、数据存储等以实现业务逻辑，以编码为主。

3. 实战经验

3.1 环境搭建

3.1.1 向量库（Chroma）

Windows:

先安装python，参考： https://docs.python.org/zh-cn/3/using/windows.html#the-full-installer

PS：注意需要配置环境变量

验证-执行：

<code>python --version

再安装chroma，参考：https://docs.trychroma.com/getting-started

验证-执行：

<code>chroma run

Mac:

现先安装python

<code>brew install python

或者下载安装： https://www.python.org/downloads/macos/

验证-执行：

python --version

安装chroma（同上），参考：https://docs.trychroma.com/getting-started

验证-执行：

<code>chroma run

3.1.2 集成LangChain4j

<langchain4j.version>0.31.0</langchain4j.version>

</properties>

<dependency>

<groupId>dev.langchain4j</groupId>

<artifactId>langchain4j-core</artifactId>