通过 Ollama，您可以在本地运行各种大型语言模型 (LLM)，并从中生成文本。Spring AI 通过 OllamaChatModel 支持 Ollama 文本生成。

先决条件

首先需要在本地计算机上运行 Ollama。请参阅官方 Ollama 项目 README，开始在本地计算机上运行模型。

注意：安装 ollama 运行 llama3 将下载一个 4.7GB 的模型工件。

添加资源库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 资源库中。请参阅 "资源库 "部分，将这些资源库添加到您的构建系统中。

为了帮助进行依赖性管理，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致的 Spring AI 版本。请参阅 "依赖关系管理 "部分，将 Spring AI BOM 添加到构建系统中。

自动配置

Spring AI 为 Ollama 聊天客户端提供了 Spring Boot 自动配置功能。要启用它，请在项目的 Maven pom.xml 文件中添加以下依赖项：

<code><dependency>

<groupId>org.springframework.ai</groupId>

<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>

</dependency>

或 Gradle build.gradle 构建文件。

dependencies {

implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'

}

请参阅 "依赖关系管理 "部分，将 Spring AI BOM 添加到构建文件中。

聊天属性

前缀 spring.ai.ollama 是属性前缀，用于配置与 Ollama 的连接

前缀 spring.ai.ollama.chat.options 是配置 Ollama 聊天模型的属性前缀。它包括 Ollama 请求（高级）参数（如模型、keep-alive 和 format）以及 Ollama 模型选项属性。

以下是 Ollama 聊天模型的高级请求参数：

其余选项属性基于 Ollama 有效参数和值以及 Ollama 类型。默认值基于 Ollama 类型默认值。

所有以 spring.ai.ollama.chat.options 为前缀的属性都可以通过在提示调用中添加特定于请求的运行时选项在运行时重写。

运行时选项

OllamaOptions.java 提供了模型配置，如要使用的模型、温度等。

启动时，可使用 OllamaChatModel(api, options) 构造函数或 spring.ai.ollama.chat.options.* 属性配置默认选项。

在运行时，您可以通过在提示调用中添加新的、针对特定请求的选项来覆盖默认选项。例如，覆盖特定请求的默认模型和温度：

ChatResponse response = chatModel.call(

new Prompt(

"Generate the names of 5 famous pirates.",

OllamaOptions.create()

.withModel("llama2")

.withTemperature(0.4)

));

除了特定于模型的 OllamaOptions 外，您还可以使用通过 ChatOptionsBuilder#builder()创建的便携式 ChatOptions 实例。

多模型

多模态是指模型能够同时理解和处理来自不同来源的信息，包括文本、图像、音频和其他数据格式。

目前，LLaVa 和 bakllava Ollama 模型提供多模态支持。更多详情，请参阅 LLaVA：大型语言和视觉助手。

Ollama 消息 API 提供了一个 "图像 "参数，用于将 base64 编码的图像列表与消息结合在一起。

Spring AI 的消息通过引入 "媒体"（Media）类型，为多模态 AI 模型提供了便利。该类型包含有关消息中媒体附件的数据和详细信息，利用 Spring 的 org.springframework.util.MimeType 和 java.lang.Object 来处理原始媒体数据。

下面是从 OllamaChatModelMultimodalIT.java 中摘录的一个直接代码示例，说明了用户文本与图片的融合。

byte[] imageData = new ClassPathResource("/multimodal.test.png").getContentAsByteArray();

var userMessage = new UserMessage("Explain what do you see on this picture?",

List.of(new Media(MimeTypeUtils.IMAGE_PNG, imageData)));

ChatResponse response = chatModel.call(

new Prompt(List.of(userMessage), OllamaOptions.create().withModel("llava")));

logger.info(response.getResult().getOutput().getContent());

它的输入是 multimodal.test.png 图像：

以及文本信息 "解释一下您在这张图片上看到了什么？

图片展示了一个小金属篮子，里面装满了成熟的香蕉和红苹果。篮子放在一个平面上、

这似乎是一张桌子或台面，因为背景中隐约可见一个厨房橱柜或抽屉。

背景。篮子后面还有一个金色的圆环，这可能表明这张照片是在有金属的地方拍摄的。

这张照片是在一个有金属装饰或装置的地方拍摄的。从整体环境来看，这是一个家庭环境

摆放水果，可能是为了方便或美观。

示例Controller

创建一个新的 Spring Boot 项目，并将 spring-ai-ollama-spring-boot-starter 添加到你的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加 application.properties 文件，以启用和配置 Ollama 聊天模型：

<code>spring.ai.ollama.base-url=http://localhost:11434

spring.ai.ollama.chat.options.model=mistral

spring.ai.ollama.chat.options.temperature=0.7

将 base-url 替换为您的 Ollama 服务器 URL。

这将创建一个 OllamaChatModel 实现，您可以将其注入到您的类中。下面是一个使用聊天模型生成文本的简单 @Controller 类的示例。

@RestController

public class ChatController {

private final OllamaChatModel chatModel;

@Autowired

public ChatController(OllamaChatModel chatModel) {

this.chatModel = chatModel;

}

@GetMapping("/ai/generate")

public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {

return Map.of("generation", chatModel.call(message));

}

@GetMapping("/ai/generateStream")

public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {

Prompt prompt = new Prompt(new UserMessage(message));

return chatModel.stream(prompt);

}

}

手动配置

如果不想使用 Spring Boot 自动配置，可以在应用程序中手动配置 OllamaChatModel。OllamaChatModel 实现了 ChatModel 和 StreamingChatModel，并使用底层 OllamaApi Client 连接到 Ollama 服务。

要使用它，请在项目的 Maven pom.xml 文件中添加 Spring-ai-ollama 依赖关系：

<dependency>

<groupId>org.springframework.ai</groupId>

<artifactId>spring-ai-ollama</artifactId>

</dependency>

 或 Gradle build.gradle 构建文件。

dependencies {

implementation 'org.springframework.ai:spring-ai-ollama'

}

请参阅 "依赖关系管理 "部分，将 Spring AI BOM 添加到构建文件中。

Spring-ai-ollama 依赖关系还提供对 OllamaEmbeddingModel 的访问。有关 OllamaEmbeddingModel 的更多信息，请参阅 Ollama Embedding Client 部分。

接下来，创建一个 OllamaChatModel 实例，并用它来发送文本生成请求：

var ollamaApi = new OllamaApi();

var chatModel = new OllamaChatModel(ollamaApi,

OllamaOptions.create()

.withModel(OllamaOptions.DEFAULT_MODEL)

.withTemperature(0.9f));

ChatResponse response = chatModel.call(

new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses

Flux<ChatResponse> response = chatModel.stream(

new Prompt("Generate the names of 5 famous pirates."));

OllamaOptions 为所有聊天请求提供配置信息。

Low-level OllamaApi 客户端

OllamaApi为 Ollama 聊天完成 API Ollama 聊天完成 API 提供了一个轻量级 Java 客户端。

以下类图说明了 OllamaApi 聊天接口和构建模块：

下面是一个简单的片段，展示了如何以编程方式使用 API：

OllamaApi 是低级应用程序接口，不建议直接使用。请使用 OllamaChatModel。

<code>OllamaApi ollamaApi =

new OllamaApi("YOUR_HOST:YOUR_PORT");

// Sync request

var request = ChatRequest.builder("orca-mini")

.withStream(false) // not streaming

.withMessages(List.of(

Message.builder(Role.SYSTEM)

.withContent("You are a geography teacher. You are talking to a student.")

.build(),

Message.builder(Role.USER)

.withContent("What is the capital of Bulgaria and what is the size? "

+ "What is the national anthem?")

.build()))

.withOptions(OllamaOptions.create().withTemperature(0.9f))

.build();

ChatResponse response = ollamaApi.chat(request);

// Streaming request

var request2 = ChatRequest.builder("orca-mini")

.withStream(true) // streaming

.withMessages(List.of(Message.builder(Role.USER)

.withContent("What is the capital of Bulgaria and what is the size? " + "What is the national anthem?")

.build()))

.withOptions(OllamaOptions.create().withTemperature(0.9f).toMap())

.build();

Flux<ChatResponse> streamingResponse = ollamaApi.streamingChat(request2);

下节：Spring AI 第二讲 之 Chat Model API 第三节Azure OpenAI Chat

代码讲解后续补充