有了 Ollama，你可以在本地运行各种大型语言模型 (LLM)，并从中生成嵌入。Spring AI 通过 OllamaEmbeddingModel 支持 Ollama 文本嵌入。

嵌入是一个浮点数向量（列表）。两个向量之间的距离可以衡量它们之间的相关性。距离小表示关联度高，距离大表示关联度低。

前提条件

首先需要在本地计算机上运行 Ollama。

请参阅官方 Ollama 项目 README，开始在本地计算机上运行模型。

安装 Ollama 运行 llama3 将下载一个 4.7GB 的模型工件。

添加资源库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 资源库中。请参阅 "资源库"部分，将这些资源库添加到您的构建系统中。

为了帮助进行依赖性管理，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致的 Spring AI 版本。请参阅 "依赖关系管理 "部分，将 Spring AI BOM 添加到构建系统中。

自动配置

Spring AI 为 Azure Ollama 嵌入式客户端提供 Spring Boot 自动配置功能。要启用它，请在 Maven pom.xml 文件中添加以下依赖关系：

<code><dependency>

<groupId>org.springframework.ai</groupId>

<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>

</dependency>

 或 Gradle build.gradle 构建文件。

dependencies {

implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'

}

请参阅 "依赖关系管理 "部分，将 Spring AI BOM 添加到构建文件中

spring.ai.ollama.embedding.options.* 属性用于配置所有嵌入请求的默认选项。(它作为 OllamaEmbeddingModel#withDefaultOptions() 实例使用）。

嵌入属性

前缀 spring.ai.ollama 是配置与 Ollama 连接的属性前缀

The prefix spring.ai.ollama.embedding.options is the property prefix that configures the EmbeddingModel implementation for Ollama.

 其余选项属性基于 Ollama 有效参数和值以及Ollama 类型。默认值基于Ollama 类型默认值。

所有以 spring.ai.ollama.embedding.options 为前缀的属性都可以通过在 EmbeddingRequest 调用中添加特定于请求的 Runtime Options 来在运行时重写。

运行时选项

OllamaOptions.java 提供了 Ollama 配置，如要使用的模型、底层 GPU 和 CPU 调整等。

默认选项也可使用 spring.ai.ollama.embedding.options 属性进行配置。

启动时，使用 OllamaEmbeddingModel#withDefaultOptions() 配置用于所有嵌入请求的默认选项。在运行时，你可以使用作为 EmbeddingRequest 一部分的 OllamaOptions 实例来覆盖默认选项。

例如，要覆盖特定请求的默认模型名称：

EmbeddingResponse embeddingResponse = embeddingModel.call(

new EmbeddingRequest(List.of("Hello World", "World is big and salvation is near"),

OllamaOptions.create()

.withModel("Different-Embedding-Model-Deployment-Name"));

示例Controller

这将创建一个 EmbeddingModel 实现，您可以将其注入到您的类中。下面是一个使用 EmbeddingModel 实现的简单 @Controller 类示例。

@RestController

public class EmbeddingController {

private final EmbeddingModel embeddingModel;

@Autowired

public EmbeddingController(EmbeddingModel embeddingModel) {

this.embeddingModel = embeddingModel;

}

@GetMapping("/ai/embedding")

public Map embed(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {

EmbeddingResponse embeddingResponse = this.embeddingModel.embedForResponse(List.of(message));

return Map.of("embedding", embeddingResponse);

}

}

手动配置

如果不使用 Spring Boot，可以手动配置 OllamaEmbeddingModel。为此，请在项目的 Maven pom.xml 文件中添加 spring-ai-ollama 依赖关系：

<dependency>

<groupId>org.springframework.ai</groupId>

<artifactId>spring-ai-ollama</artifactId>

</dependency>

或 Gradle build.gradle 构建文件。

dependencies {

implementation 'org.springframework.ai:spring-ai-ollama'

}

请参阅 "依赖关系管理 "部分，将 Spring AI BOM 添加到构建文件中。

spring-ai-ollama 依赖关系还提供对 OllamaChatModel 的访问。有关 OllamaChatModel 的更多信息，请参阅Ollama Chat Client 部分。

接下来，创建一个 OllamaEmbeddingModel 实例，并用它来计算两个输入文本之间的相似度：

var ollamaApi = new OllamaApi();

var embeddingModel = new OllamaEmbeddingModel(ollamaApi)

.withDefaultOptions(OllamaOptions.create()

.withModel(OllamaOptions.DEFAULT_MODEL)

.toMap());

EmbeddingResponse embeddingResponse = embeddingModel

.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

OllamaOptions 为所有嵌入请求提供配置信息。