Google VertexAI 多模态嵌入

NOTE

实验性。仅用于实验目的。尚与 VectorStores 不兼容。

Vertex AI 支持两种嵌入模型：文本与多模态。 本文档描述如何使用 Vertex AI 多模态嵌入 API 创建多模态嵌入。

多模态嵌入模型会基于你提供的输入生成 1408 维向量，输入可以包含图像、文本和视频数据的组合。 这些嵌入向量随后可用于图像分类或视频内容审核等后续任务。

图像嵌入向量和文本嵌入向量处于同一语义空间、具有相同的维度。 因此，这些向量可在诸如按文本搜索图像、或按图像搜索视频等用例中互换使用。

NOTE

VertexAI 多模态 API 有如下限制。

TIP

对于纯文本嵌入用例，我们建议改用 Vertex AI 文本嵌入模型。

前置条件

• 安装适合你操作系统的 gcloud CLI。
• 通过运行以下命令进行身份认证。 把 PROJECT_ID 替换为你的 Google Cloud 项目 ID，把 ACCOUNT 替换为你的 Google Cloud 用户名。

gcloud config set project <PROJECT_ID> &&
gcloud auth application-default login <ACCOUNT>

添加仓库与 BOM

Spring AI 的制品发布在 Maven Central 和 Spring Snapshot 仓库中。 参见 制品仓库 一节，把这些仓库添加到你的构建系统。

为便于依赖管理，Spring AI 提供了一个 BOM（物料清单），以确保整个项目中使用一致版本的 Spring AI。参见 依赖管理 一节，把 Spring AI BOM 添加到你的构建系统。

自动配置

NOTE

Spring AI 的自动配置、starter 模块的制品名称发生了重大变更。 更多信息请参阅 升级说明。

Spring AI 为 VertexAI 嵌入模型提供 Spring Boot 自动配置。 要启用它，请将以下依赖添加到你的项目的 Maven pom.xml 文件：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-vertex-ai-embedding</artifactId>
</dependency>

或添加到你的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-vertex-ai-embedding'
}

TIP

参见 依赖管理 一节，把 Spring AI BOM 添加到你的构建文件。

嵌入属性

前缀 spring.ai.vertex.ai.embedding 用作连接 VertexAI 嵌入 API 的属性前缀。

属性	描述	默认值
spring.ai.vertex.ai.embedding.project-id	Google Cloud Platform 项目 ID	-
spring.ai.vertex.ai.embedding.location	区域	-
spring.ai.vertex.ai.embedding.api-endpoint	Vertex AI 嵌入 API 端点。	-

NOTE

嵌入自动配置的启用与禁用，现通过以 spring.ai.model.embedding 为前缀的顶层属性来配置。

要启用，spring.ai.model.embedding.multimodal=vertexai（默认启用）

要禁用，spring.ai.model.embedding.multimodal=none（或任何不匹配 vertexai 的值）

做出此变更是为了支持配置多个模型。

前缀 spring.ai.vertex.ai.embedding.multimodal 是为 VertexAI 多模态嵌入配置嵌入模型实现的属性前缀。

属性	描述	默认值
spring.ai.vertex.ai.embedding.multimodal.enabled（已移除，不再生效）	启用 Vertex AI 嵌入 API 模型。	true
spring.ai.model.embedding.multimodal=vertexai	启用 Vertex AI 嵌入 API 模型。	vertexai
spring.ai.vertex.ai.embedding.multimodal.model	你可以使用以下模型获取多模态嵌入：	multimodalembedding@001
spring.ai.vertex.ai.embedding.multimodal.dimensions	指定低维嵌入。默认情况下，嵌入请求会为某个数据类型返回一个 1408 浮点向量。你也可以为文本和图像数据指定低维嵌入（128、256 或 512 浮点向量）。	1408
spring.ai.vertex.ai.embedding.multimodal.video-start-offset-sec	视频片段的起始偏移（秒）。若未指定，则按 max(0, endOffsetSec - 120) 计算。	-
spring.ai.vertex.ai.embedding.multimodal.video-end-offset-sec	视频片段的结束偏移（秒）。若未指定，则按 min(视频长度, startOffSec + 120) 计算。若同时指定了 startOffSec 和 endOffSec，则 endOffsetSec 会被调整为 min(startOffsetSec+120, endOffsetSec)。	-

手动配置

VertexAiMultimodalEmbeddingModel 实现了 DocumentEmbeddingModel。

把 spring-ai-vertex-ai-embedding 依赖添加到你的项目的 Maven pom.xml 文件：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding</artifactId>
</dependency>

或添加到你的 Gradle build.gradle 构建文件。

dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding'
}

TIP

参见 依赖管理 一节，把 Spring AI BOM 添加到你的构建文件。

接下来，创建一个 VertexAiMultimodalEmbeddingModel 并将其用于嵌入生成：

VertexAiEmbeddingConnectionDetails connectionDetails = 
    VertexAiEmbeddingConnectionDetails.builder()
        .projectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .location(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .build();

VertexAiMultimodalEmbeddingOptions options = VertexAiMultimodalEmbeddingOptions.builder()
    .model(VertexAiMultimodalEmbeddingOptions.DEFAULT_MODEL_NAME)
    .build();

var embeddingModel = new VertexAiMultimodalEmbeddingModel(this.connectionDetails, this.options);

Media imageMedial = new Media(MimeTypeUtils.IMAGE_PNG, new ClassPathResource("/test.image.png"));
Media videoMedial = new Media(new MimeType("video", "mp4"), new ClassPathResource("/test.video.mp4"));

var document = new Document("Explain what do you see on this video?", List.of(this.imageMedial, this.videoMedial), Map.of());

EmbeddingResponse embeddingResponse = this.embeddingModel
	.embedForResponse(List.of("Hello World", "World is big and salvation is near"));

DocumentEmbeddingRequest embeddingRequest = new DocumentEmbeddingRequest(List.of(this.document),
        EmbeddingOptions.EMPTY);

EmbeddingResponse embeddingResponse = multiModelEmbeddingModel.call(this.embeddingRequest);

assertThat(embeddingResponse.getResults()).hasSize(3);