10分钟接入AI大模型—Spring Cloud Alibaba
qq_17153885 2024-09-06 17:01:01 阅读 87
一、前言
1.1 AI大模型
近几年,AI大模型的发展迅速,成为全球科技竞争的新高地,具有极大的发展潜力和广泛的应用前景。中国在AI大模型领域的发展尤为显著,不仅在算力规模上与美国差距不大,而且在中文语料和文化理解方面具有天然优势。中国企业在大模型开发方面起步较晚,但发展迅速,涌现出如百度的ERNIE、阿里巴巴的M6等代表性的大模型产品。
AI大模型的应用场景广泛,包括但不限于自然语言处理、图像识别、语音识别、推荐系统、自动驾驶、游戏、科学研究等。随着技术的进步,AI大模型正在不断推动人工智能技术的边界,为各行各业带来革命性的变化。
1.2 Spring AI
Spring AI 是 Spring 官方社区项目,旨在简化 Java AI 应用程序开发,让 Java 开发者像使用 Spring 开发普通应用一样开发 AI 应用。
Spring AI项目从最初专注于处理语言输入和生成语言输出的模型开始,逐渐发展成为一个提供多种AI功能集成的框架。它提供了跨AI提供商的可移植API支持,包括聊天、文本到图像、嵌入模型等,并支持同步和流式API选项。
主要功能特点:
多模型支持:Spring AI支持多种聊天模型,包括Amazon Bedrock、Anthropic Claud、Azure Open AI等。矢量数据库集成:支持多种矢量数据库,如Apache Cassandra、Elasticsearch、Milvus等。Spring Boot集成:提供Spring Boot自动配置和启动器,简化了AI模型和矢量存储的集成。ETL框架:提供了数据工程的ETL框架,便于将文档传输到模型提供商,并存储在矢量数据库中。函数调用:允许声明<code>java.util.Function实现,以供OpenAI模型在其提示响应中使用。
1.3 Spring Cloud Alibaba AI
Spring Cloud Alibaba AI 以 Spring AI 为基础,并在此基础上提供阿里云通义系列大模型全面适配,让用户能快速开发基于通义大模型的 Java AI 应用。
Spring Cloud Alibaba AI 目前基于 Spring AI 0.8.1 版本 API 完成通义系列大模型的接入。通义接入是基于阿里云 灵积模型服务,灵积模型服务建立在“模型即服务”(Model-as-a-Service,MaaS)的理念基础之上,围绕 AI 各领域模型,通过标准化的API提供包括模型推理、模型微调训练在内的多种模型服务。
在当前最新版本中,Spring Cloud Alibaba AI 主要完成了几种常见生成式模型的适配,包括对话、文生图、文生语音等,开发者可以使用 Spring Cloud Alibaba AI 开发基于通义的聊天、图片或语音生成 AI 应用,框架还提供 OutParser、Prompt Template、Stuff 等实用能力。
二、项目环境准备
开发工具:IDEA
Java环境:JDK17
构建工具:Maven
通义模型key
获取通义api key步骤:
1.阿里云官网开通服务
模型服务灵积 DashScope - 阿里云
2.创建key
三、项目开发
3.1 创建工程及配置
3.1.1创建maven工程
idea创建maven工程
初始化
3.1.2添加依赖
<code><dependencyManagement>
<dependencies>
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-alibaba-dependencies</artifactId>
<version>2023.0.1.0</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-ai</artifactId>
</dependency>
</dependencies>
备注:
添加依赖,出现报错:Cannot resolve org.springframework.ai:spring-ai-core:0.8.1
添加额外的Repository:在pom.xml文件中,添加如下仓库配置段落,这会指引Maven去查找Spring的里程碑和快照仓库,这些仓库可能包含了spring-ai-core或其他sca相关的依赖。
<repository>
<id>spring-milestones</id>
<name>Spring Milestones</name>
<url>https://repo.spring.io/milestone</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
<repository>
<id>spring-snapshots</id>
<name>Spring Snapshots</name>
<url>https://repo.spring.io/snapshot</url>
<releases>
<enabled>false</enabled>
</releases>
</repository>
</repositories>
添加后,reload导入
3.1.3 application.yml配置
新建文件夹
新建application.yml文件
内容如下:
<code>server:
port: 8080
spring:
application:
name: alibaba-spring-ai-demo
cloud:
ai:
tongyi:
api-key: 你的api-key
3.1.4 新建SpringBoot启动类
3.2 实现代码
3.2.1 新建包
<code>3.2.2 TongYiController
<code>@RestController
@RequestMapping("/api")
public class TongYiController {
@Resource
private TongYiService tongYiService;
@GetMapping("/simple")
public String completion(@RequestParam(value = "message",defaultValue = "AI时代下Java开发者该何去何从?") String message){
return tongYiService.completion(message);
}
@GetMapping("/stream_completion")
public Map<String, String> streamCompletion(@RequestParam(value = "message",defaultValue = "AI时代下Java开发者该何去何从?") String message){
return tongYiService.streamCompletion(message);
}
@GetMapping("/image")
public ImageResponse getImage(@RequestParam(value = "imgPrompt",defaultValue = "画一只狗") String imgPrompt){
return tongYiService.getImage(imgPrompt);
}
}
3.2.3 TongYiService
<code>public interface TongYiService {
/**
* 基本问答
*
* @param message
* @return
*/
String completion(String message);
/**
* Stream call
*
* @param message
* @return
*/
Map<String, String> streamCompletion(String message);
/**
* 文生图
*
* @param imgPrompt
* @return
*/
ImageResponse getImage(String imgPrompt);
}
3.2.4 TongYiSimpleServiceImpl
<code>@Service
@Slf4j
public class TongYiServiceImpl implements TongYiService {
@Resource
private ChatClient chatClient;
@Resource
private ImageClient imageClient;
@Resource
private StreamingChatClient streamingChatClient;
@Override
public String completion(String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return chatClient.call(prompt).getResult().getOutput().getContent();
}
@Override
public Map<String, String> streamCompletion(String message) {
StringBuilder fullContent = new StringBuilder();
streamingChatClient.stream(new Prompt(message))
.flatMap(chatResponse -> Flux.fromIterable(chatResponse.getResults()))
.map(content->content.getOutput().getContent())
.doOnNext(fullContent::append)
.last()
.map(lastContent -> Map.of(message,fullContent.toString()))
.block();
log.info("fullContent:{}",fullContent);
return Map.of(message,fullContent.toString());
}
@Override
public ImageResponse getImage(String imgPrompt) {
ImagePrompt imagePrompt = new ImagePrompt(imgPrompt);
return imageClient.call(imagePrompt);
}
}
3.3 测试
3.3.1 启动服务
3.3.2 基本对话
3.3.3 文生图
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。