主题
PGvector
本节引导你设置 PGvector VectorStore 以存储文档嵌入并执行相似度搜索。
PGvector 是一个用于 PostgreSQL 的开源扩展,能够存储并搜索由机器学习生成的嵌入。它提供了让用户识别精确与近似最近邻的各种能力。它被设计成与其他 PostgreSQL 特性(包括索引和查询)无缝协作。
前置条件
首先你需要一个启用了 vector、hstore 和 uuid-ossp 扩展的 PostgreSQL 实例。
TIP
你可以通过 Docker Compose 或 Testcontainers 把 PGvector 数据库作为 Spring Boot dev service 运行。或者,本地 Postgres/PGVector 搭建附录展示了如何用 Docker 容器在本地搭建数据库。
在启动时若显式启用模式初始化特性,PgVectorStore 会尝试安装所需的数据库扩展,并在不存在时创建一个带索引的 vector_store 表。
或者,你可以像这样手动完成:
CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS hstore;
CREATE EXTENSION IF NOT EXISTS "uuid-ossp";
CREATE TABLE IF NOT EXISTS vector_store (
id uuid DEFAULT uuid_generate_v4() PRIMARY KEY,
content text,
metadata json,
embedding vector(1536) // 1536 is the default embedding dimension
);
CREATE INDEX ON vector_store USING HNSW (embedding vector_cosine_ops);TIP
如果你使用不同的维度,请把 1536 替换为实际的嵌入维度。PGvector 对 HNSW 索引最多支持 2000 个维度。
接下来,如有需要,为 EmbeddingModel 配置一个 API 密钥,以生成 PgVectorStore 所存储的嵌入。
自动配置
NOTE
Spring AI 的自动配置、starter 模块的制品名称发生了重大变更。 更多信息请参阅 升级说明。
然后把 PgVectorStore 的 boot starter 依赖添加到你的项目:
xml
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-vector-store-pgvector</artifactId>
</dependency>或添加到你的 Gradle build.gradle 构建文件。
groovy
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-vector-store-pgvector'
}向量库实现可以为你初始化所需的模式,但你必须显式开启——在相应的构造器中指定 initializeSchema 布尔值,或在 application.properties 文件中设置 ...initialize-schema=true。
NOTE
这是一处破坏性变更!在较早的 Spring AI 版本中,此模式初始化默认进行。
该向量库同样需要一个 EmbeddingModel 实例来计算文档的嵌入。 你可以从可用的 EmbeddingModel 实现 中选择一个。
例如,要使用 OpenAI EmbeddingModel,把以下依赖添加到你的项目:
xml
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>或添加到你的 Gradle build.gradle 构建文件。
groovy
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}TIP
参见 依赖管理 一节,把 Spring AI BOM 添加到你的构建文件。
参见 制品仓库 一节,把 Maven Central 和/或 Snapshot 仓库添加到你的构建文件。
要连接并配置 PgVectorStore,你需要提供实例的访问详情。 一个简单的配置可以通过 Spring Boot 的 application.yml 提供。
spring:
datasource:
url: jdbc:postgresql://localhost:5432/postgres
username: postgres
password: postgres
ai:
vectorstore:
pgvector:
index-type: HNSW
distance-type: COSINE_DISTANCE
dimensions: 1536
max-document-batch-size: 10000 # Optional: Maximum number of documents per batchTIP
如果你通过 Docker Compose 把 PGvector 作为 Spring Boot dev service 运行
或 Testcontainers, 你就无需配置 URL、用户名和密码,因为它们由 Spring Boot 自动配置。
TIP
请查看配置参数 列表,了解默认值和配置选项。
现在你可以在应用中自动装配并使用 VectorStore
java
@Autowired VectorStore vectorStore;
// ...
List<Document> documents = List.of(
new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
new Document("The World is Big and Salvation Lurks Around the Corner"),
new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));
// Add the documents to PGVector
vectorStore.add(documents);
// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.builder().query("Spring").topK(5).build());配置属性
你可以在 Spring Boot 配置中使用以下属性来定制 PGVector 向量库。
| 属性 | 描述 | 默认值 |
|---|---|---|
spring.ai.vectorstore.pgvector.index-type | 最近邻搜索的索引类型。选项有 NONE - 精确最近邻搜索、IVFFlat - 索引把向量划分成列表,然后搜索那些与查询向量最接近的列表子集。它的构建更快、比 HNSW 占用更少内存,但查询性能较低(在速度-召回权衡上)。HNSW - 创建一个多层图。它比 IVFFlat 构建更慢、占用更多内存,但查询性能更好(在速度-召回权衡上)。它没有像 IVFFlat 那样的训练步骤,因此无需表中有任何数据即可创建索引。 | HNSW |
spring.ai.vectorstore.pgvector.distance-type | 搜索距离类型。默认为 COSINE_DISTANCE。但如果向量被归一化为长度 1,你可以使用 EUCLIDEAN_DISTANCE 或 NEGATIVE_INNER_PRODUCT 以获得最佳性能。 | COSINE_DISTANCE |
spring.ai.vectorstore.pgvector.dimensions | 嵌入的维度。若未显式指定,PgVectorStore 会从所提供的 EmbeddingModel 获取维度。在创建表时,维度会被设到嵌入列上。如果你改变维度,也需要重新创建 vector_store 表。 | - |
spring.ai.vectorstore.pgvector.remove-existing-vector-store-table | 在启动时删除既有的 vector_store 表。 | false |
spring.ai.vectorstore.pgvector.initialize-schema | 是否初始化所需的模式 | false |
spring.ai.vectorstore.pgvector.schema-name | 向量库的模式名 | public |
spring.ai.vectorstore.pgvector.table-name | 向量库的表名 | vector_store |
spring.ai.vectorstore.pgvector.schema-validation | 启用模式与表名校验,以确保它们是有效且存在的对象。 | false |
spring.ai.vectorstore.pgvector.max-document-batch-size | 单个批次中要处理的文档最大数。 | 10000 |
TIP
如果你配置了自定义的模式和/或表名,建议通过设置 spring.ai.vectorstore.pgvector.schema-validation=true 启用模式校验。
这能确保名称的正确性并降低 SQL 注入攻击的风险。
元数据过滤
你可以在 PgVector 向量库上利用通用、可移植的元数据过滤器。
例如,你可以使用文本表达式语言:
java
vectorStore.similaritySearch(
SearchRequest.builder()
.query("The World")
.topK(TOP_K)
.similarityThreshold(SIMILARITY_THRESHOLD)
.filterExpression("author in ['john', 'jill'] && article_type == 'blog'").build());或以编程方式使用 Filter.Expression DSL:
java
FilterExpressionBuilder b = new FilterExpressionBuilder();
vectorStore.similaritySearch(SearchRequest.builder()
.query("The World")
.topK(TOP_K)
.similarityThreshold(SIMILARITY_THRESHOLD)
.filterExpression(b.and(
b.in("author","john", "jill"),
b.eq("article_type", "blog")).build()).build());NOTE
这些过滤表达式会被转换为 PostgreSQL 的 JSON 路径表达式,以实现高效的元数据过滤。
upsert 支持
PgVectorStore 实现了 upsert(List<EmbeddedDocument>),因此你可以连同在别处计算好的嵌入一起写入文档,而不必让向量库去做嵌入。 以相同 id 再次写入会替换既有的行,因此用稳定的 id 重跑不会产生重复。 细节参见写入用户提供的嵌入。
手动配置
与其使用 Spring Boot 自动配置,不如手动配置 PgVectorStore。 为此你需要把 PostgreSQL 连接和 JdbcTemplate 自动配置依赖添加到你的项目:
xml
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
<dependency>
<groupId>org.postgresql</groupId>
<artifactId>postgresql</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-pgvector-store</artifactId>
</dependency>TIP
参见 依赖管理 一节,把 Spring AI BOM 添加到你的构建文件。
要在你的应用中配置 PgVector,可以使用以下设置:
java
@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingModel embeddingModel) {
return PgVectorStore.builder(jdbcTemplate, embeddingModel)
.dimensions(1536) // Optional: defaults to model dimensions or 1536
.distanceType(COSINE_DISTANCE) // Optional: defaults to COSINE_DISTANCE
.indexType(HNSW) // Optional: defaults to HNSW
.initializeSchema(true) // Optional: defaults to false
.schemaName("public") // Optional: defaults to "public"
.vectorTableName("vector_store") // Optional: defaults to "vector_store"
.maxDocumentBatchSize(10000) // Optional: defaults to 10000
.build();
}在本地运行 Postgres 与 PGVector 数据库
docker run -it --rm --name postgres -p 5432:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres pgvector/pgvector你可以像这样连接到该服务器:
psql -U postgres -h localhost -p 5432访问原生客户端
PGVector 存储实现通过 getNativeClient() 方法提供对底层原生 JDBC 客户端(JdbcTemplate)的访问:
java
PgVectorStore vectorStore = context.getBean(PgVectorStore.class);
Optional<JdbcTemplate> nativeClient = vectorStore.getNativeClient();
if (nativeClient.isPresent()) {
JdbcTemplate jdbc = nativeClient.get();
// Use the native client for PostgreSQL-specific operations
}原生客户端让你得以访问那些可能未通过 VectorStore 接口暴露的 PostgreSQL 特定功能与操作。