Spring AI 接入OpenAI大模型实现同步和流式对话

程序员辣条 2024-07-29 13:31:01 阅读 83

接入前准备

第一，准备<code>OpenAI API Key，如果你可以科学上网，可以参照[# 如何获得Open ai key]这篇文章在 OpenAI 官方网站上获取 OpenAI API Key。

第二，如果不能科学上网，我们可以通过一些代理商获取OpenAI API Key，以下三个都可以获取到OpenAI API Key

这三个代理大家自行选择，这里我不做任何评价，大家可以都使用一下，从价格、稳定性等几个方面选择最适合自己的代理，下面我就以第一个代理为例说明使用过程：

第一步：使用手机号注册账号，注册完成执行第二步

第二步：[gpt.zhizengzeng.com/#/login]登录系统，登录进去系统执行第三步

第三步：点击添加应用按钮，添加一个应用。【列表展示默认应用是我已经添加过的】 默认会送7000左右个tokens免费使用

第四步：我们就获取到了<code>OpenAI API Key，下面就可以演示 Spring AI 如何接入 OpenAI

接入Open AI

创建项目

首先要创建一个Spring Boot项目，我们可以使用IDEA创建，也可以使用[start.spring.io/] 创建。创建过程我们就不再演示，想必大家不陌生。

注意：Spring AI要求的JDK版本最低为JDK17

引入依赖

需要引入Spring AI依赖包和Spring Web依赖包

<properties>

<maven.compiler.source>17</maven.compiler.source>

<maven.compiler.target>17</maven.compiler.target>

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

<spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>

</properties>

<dependencies>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-web</artifactId>

</dependency>

<dependency>

<groupId>org.springframework.ai</groupId>

<artifactId>spring-ai-openai-spring-boot-starter</artifactId>

</dependency>

</dependencies>

<dependencyManagement>

<dependencies>

<dependency>

<groupId>org.springframework.ai</groupId>

<artifactId>spring-ai-bom</artifactId>

<version>${spring-ai.version}</version>

<type>pom</type>

<scope>import</scope>

</dependency>

</dependencies>

</dependencyManagement>

application.yml

如上图所示，可以获取到api-key和base-url，直接配置在yaml文件中

<code>spring:

ai:

openai:

api-key: xxxx

base-url: xxxx

代码实现

package com.ivy.controller;

import org.springframework.ai.openai.OpenAiChatModel;

import org.springframework.http.MediaType;

import org.springframework.web.bind.annotation.GetMapping;

import org.springframework.web.bind.annotation.RestController;

import reactor.core.publisher.Flux;

@RestController

public class ChatController {

private final OpenAiChatModel openAiChatModel;

public ChatController(OpenAiChatModel openAiChatModel) {

this.openAiChatModel = openAiChatModel;

}

/**

* 同步方式实现聊天功能

*

* @param prompt 提示词

* @return 聊天结果

*/

@GetMapping("/chat")

public String chat(String prompt) {

return openAiChatModel.call(prompt);

}

/***

* 流式方式实现聊天功能

* @param prompt 提示词

* @return 聊天结果流

*/

@GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)

public Flux<String> stream(String prompt) {

return openAiChatModel.stream(prompt);

}

在ChatController中实现了如下两种方式；

chat()：同步方式实现对话，一次性返回结果，当网络阻塞、输入文本以及返回文本较大时，返回比较慢，用户体验极差，在对话式应用中一般不采用此种方式。stream()：流式方式实现对话，多次返回结果，像打字一样将结果依次展示。对于对话式的应用场景，主流的调用方式基本采用的是流式对话。

Spring AI中流式对话接口采用的是Spring WebFlux异步网络框架实现的，WebFlux底层默认采用Netty，因此，如果需要了解Spring AI流式对话底层的实现，则需要对异步网络编程有一定的了解。最好能对WebFlux的使用、Flux、Mono等概念了解，当然对于简单的调用并没有什么影响。

测试结果

启动Spring Boot项目，然后使用Postman进行接口测试

经过测试成功返回了结果，说明已经完成了使用Spring AI 接入 OpenAI 大模型。

下面我们在测试一下流式的方式

至此我们就完成了Spring AI 接入 OpenAI 大模型。您是不是感觉是如此的So easy！这都归功于Spring AI 将大模型的接入进行了抽象，完成了复杂接入流程的屏蔽。

虽然接入简单，但是如果想用好大模型还是有一定的难度的，比如怎么使用提示词工程激发大模型的能力，让回答更准确，如何给大模型执行一个角色以及如何让大模型具有上下文记忆能力等等。后续文章我们一一进行分析实践，敬请期待。

Spring AI 支持的大模型

支持的大模型以及需要引入的依赖包，大家根据需求自行进行选择所需要的大模型，实现对话功能。

[Azure OpenAI Chat]

[Ollama Chat]

使用 Ollama，您可以在本地运行各种大型语言模型（LLMs）并从中生成文本。Spring AI 支持使用 <code>OllamaChatModel Ollama 文本生成。

[Amazon Bedrock]

Amazon Bedrock 是一项托管服务，可通过统一的 API 提供来自各种 AI 提供商的基础模型。其支持多种大模型，比如托管 Anthropic 3、Anthropic 2、Llama、Cohere、Titan 和 Jurassic-2

[HuggingFace Chat]

Huggingface是一个自然语言处理(NLP)领域的开源软件库和平台。它提供了丰富的预训练模型和工具,用于文本生成、文本分类、问答系统等多个NLP任务。通过Huggingface平台，开发者可以快速的搭建和训练自己的模型。

[Google VertexAI]

[Mistral AI Chat]

[ZhiPu AI Chat]

清华智普大模型ChatGLB

[watsonx.ai Chat]

使用 watsonx.ai，您可以在本地运行各种大型语言模型（LLMs）并从中生成文本。Spring AI 支持使用 watsonx.ai WatsonxAiChatModel 文本生成。

[MiniMax Chat]

MiniMax Chat 是一种基于Minimax算法的对话系统，它通常用于游戏和决策场景中。

示例代码

[github.com/fangjieDevp…]

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述