主题
Milvus
Milvus 是一个开源向量数据库,在数据科学与机器学习领域备受关注。它的一个突出之处在于对向量索引与查询的有力支持。Milvus 采用最先进的尖端算法来加速搜索过程,使其即便在处理海量数据集时也能极其高效地检索相似向量。
前置条件
- 一个正在运行的 Milvus 实例。有以下可选方案:
- Milvus 单机版:Docker、Operator、Helm、DEB/RPM、Docker Compose。
- Milvus 集群版:Operator、Helm。
- 如有需要,为 EmbeddingModel 配置一个 API 密钥,以生成
MilvusVectorStore所存储的嵌入。
依赖
NOTE
Spring AI 的自动配置、starter 模块的制品名称发生了重大变更。 更多信息请参阅 升级说明。
然后把 Milvus VectorStore 的 boot starter 依赖添加到你的项目:
xml
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-vector-store-milvus</artifactId>
</dependency>或添加到你的 Gradle build.gradle 构建文件。
groovy
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-vector-store-milvus'
}TIP
参见 依赖管理 一节,把 Spring AI BOM 添加到你的构建文件。
参见 制品仓库 一节,把 Maven Central 和/或 Snapshot 仓库添加到你的构建文件。
向量库实现可以为你初始化所需的模式,但你必须显式开启——在相应的构造器中指定 initializeSchema 布尔值,或在 application.properties 文件中设置 ...initialize-schema=true。
NOTE
这是一处破坏性变更!在较早的 Spring AI 版本中,此模式初始化默认进行。
该向量库还需要一个 EmbeddingModel 实例来计算文档的嵌入。 你可以从可用的 EmbeddingModel 实现 中选择一个。
要连接并配置 MilvusVectorStore,你需要提供实例的访问详情。 一个简单的配置可以通过 Spring Boot 的 application.yml 提供
spring:
ai:
vectorstore:
milvus:
client:
host: "localhost"
port: 19530
username: "root"
password: "milvus"
databaseName: "default"
collectionName: "vector_store"
embeddingDimension: 1536
indexType: IVF_FLAT
metricType: COSINETIP
请查看配置参数 列表,了解默认值和配置选项。
现在你可以在应用中自动装配并使用 Milvus 向量库
java
@Autowired VectorStore vectorStore;
// ...
List <Document> documents = List.of(
new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
new Document("The World is Big and Salvation Lurks Around the Corner"),
new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));
// Add the documents to Milvus Vector Store
vectorStore.add(documents);
// Retrieve documents similar to a query
List<Document> results = this.vectorStore.similaritySearch(SearchRequest.builder().query("Spring").topK(5).build());手动配置
与其使用 Spring Boot 自动配置,不如手动配置 MilvusVectorStore。 把以下依赖添加到你的项目:
xml
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-milvus-store</artifactId>
</dependency>TIP
参见 依赖管理 一节,把 Spring AI BOM 添加到你的构建文件。
要在你的应用中配置 MilvusVectorStore,可以使用以下设置:
java
@Bean
public VectorStore vectorStore(MilvusServiceClient milvusClient, EmbeddingModel embeddingModel) {
return MilvusVectorStore.builder(milvusClient, embeddingModel)
.collectionName("test_vector_store")
.databaseName("default")
.indexType(IndexType.IVF_FLAT)
.metricType(MetricType.COSINE)
.batchingStrategy(new TokenCountBatchingStrategy())
.initializeSchema(true)
.build();
}
@Bean
public MilvusServiceClient milvusClient() {
return new MilvusServiceClient(ConnectParam.newBuilder()
.withAuthorization("minioadmin", "minioadmin")
.withUri(milvusContainer.getEndpoint())
.build());
}元数据过滤
你可以在 Milvus 向量库上利用通用、可移植的元数据过滤器。
例如,你可以使用文本表达式语言:
java
vectorStore.similaritySearch(
SearchRequest.builder()
.query("The World")
.topK(TOP_K)
.similarityThreshold(SIMILARITY_THRESHOLD)
.filterExpression("author in ['john', 'jill'] && article_type == 'blog'").build());或以编程方式使用 Filter.Expression DSL:
java
FilterExpressionBuilder b = new FilterExpressionBuilder();
vectorStore.similaritySearch(SearchRequest.builder()
.query("The World")
.topK(TOP_K)
.similarityThreshold(SIMILARITY_THRESHOLD)
.filterExpression(b.and(
b.in("author","john", "jill"),
b.eq("article_type", "blog")).build()).build());NOTE
这些过滤表达式会被转换为等价的 Milvus 过滤器。
NOTE
从搜索结果读回元数据时,数值会
用 Gson 反序列化。 整数值会作为 Long 返回,小数值作为 Double 返回。 直接把整数元数据字段强制转换为 Double 的代码,应改为使用 Long 或其父类型 Number。
使用 MilvusSearchRequest
MilvusSearchRequest 继承自 SearchRequest,让你得以使用 Milvus 特定的搜索参数,例如原生表达式和搜索参数 JSON。
java
MilvusSearchRequest request = MilvusSearchRequest.milvusBuilder()
.query("sample query")
.topK(5)
.similarityThreshold(0.7)
.nativeExpression("metadata[\"age\"] > 30") // Overrides filterExpression if both are set
.filterExpression("age <= 30") // Ignored if nativeExpression is set
.searchParamsJson("{\"nprobe\":128}")
.build();
List results = vectorStore.similaritySearch(request);这在使用 Milvus 特定的搜索特性时提供了更大的灵活性。
MilvusSearchRequest 中 nativeExpression 与 searchParamsJson 的重要性
这两个参数提升了 Milvus 的搜索精度并确保查询性能达到最优:
nativeExpression:使用 Milvus 的原生过滤表达式实现额外的过滤能力。 Milvus 过滤
示例:
java
MilvusSearchRequest request = MilvusSearchRequest.milvusBuilder()
.query("sample query")
.topK(5)
.nativeExpression("metadata['category'] == 'science'")
.build();searchParamsJson:在使用 IVF_FLAT(Milvus 的默认索引)时,对调优搜索行为至关重要。 Milvus 向量索引
默认情况下,IVF_FLAT 需要设置 nprobe 才能获得准确结果。若未指定,nprobe 默认为 1,这可能导致召回率低甚至搜索结果为空。
示例:
java
MilvusSearchRequest request = MilvusSearchRequest.milvusBuilder()
.query("sample query")
.topK(5)
.searchParamsJson("{\"nprobe\":128}")
.build();使用 nativeExpression 可确保高级过滤,而 searchParamsJson 则避免因默认 nprobe 值过低而导致的无效搜索。
Milvus VectorStore 属性
你可以在 Spring Boot 配置中使用以下属性来定制 Milvus 向量库。
| 属性 | 描述 | 默认值 |
|---|---|---|
| spring.ai.vectorstore.milvus.database-name | 要使用的 Milvus 数据库名。 | default |
| spring.ai.vectorstore.milvus.collection-name | 存储向量的 Milvus 集合名 | vector_store |
| spring.ai.vectorstore.milvus.partition-name | 用于限定插入、删除和搜索操作的既有 Milvus 分区名。未设置或为空时,使用 Milvus 默认行为。 | - |
| spring.ai.vectorstore.milvus.initialize-schema | 是否初始化 Milvus 后端 | false |
| spring.ai.vectorstore.milvus.embedding-dimension | 要存储在 Milvus 集合中的向量维度。 | 1536 |
| spring.ai.vectorstore.milvus.index-type | 要为 Milvus 集合创建的索引类型。 | IVF_FLAT |
| spring.ai.vectorstore.milvus.metric-type | Milvus 集合所使用的度量类型。 | COSINE |
| spring.ai.vectorstore.milvus.index-parameters | Milvus 集合所使用的索引参数。 | |
| spring.ai.vectorstore.milvus.id-field-name | 集合的 ID 字段名 | doc_id |
| spring.ai.vectorstore.milvus.auto-id | 指示 ID 字段是否使用自动 id 的布尔标志 | false |
| spring.ai.vectorstore.milvus.content-field-name | 集合的内容字段名 | content |
| spring.ai.vectorstore.milvus.metadata-field-name | 集合的元数据字段名 | metadata |
| spring.ai.vectorstore.milvus.embedding-field-name | 集合的嵌入字段名 | embedding |
| spring.ai.vectorstore.milvus.client.host | 主机的名称或地址。 | localhost |
| spring.ai.vectorstore.milvus.client.port | 连接端口。 | 19530 |
| spring.ai.vectorstore.milvus.client.uri | Milvus 实例的 uri | - |
| spring.ai.vectorstore.milvus.client.token | 用作身份识别与认证密钥的令牌。 | - |
| spring.ai.vectorstore.milvus.client.connect-timeout-ms | 客户端通道的连接超时值。超时值必须大于零。 | 10000 |
| spring.ai.vectorstore.milvus.client.keep-alive-time-ms | 客户端通道的保活时间值。保活值必须大于零。 | 55000 |
| spring.ai.vectorstore.milvus.client.keep-alive-timeout-ms | 客户端通道的保活超时值。超时值必须大于零。 | 20000 |
| spring.ai.vectorstore.milvus.client.rpc-deadline-ms | 你愿意等待服务器回复的时长截止。设置截止后,当遇到由网络波动引起的快速 RPC 失败时,客户端会等待。截止值必须大于或等于零。 | 0 |
| spring.ai.vectorstore.milvus.client.client-key-path | 用于 TLS 双向认证的 client.key 路径,仅在 "secure" 为 true 时生效 | - |
| spring.ai.vectorstore.milvus.client.client-pem-path | 用于 TLS 双向认证的 client.pem 路径,仅在 "secure" 为 true 时生效 | - |
| spring.ai.vectorstore.milvus.client.ca-pem-path | 用于 TLS 双向认证的 ca.pem 路径,仅在 "secure" 为 true 时生效 | - |
| spring.ai.vectorstore.milvus.client.server-pem-path | 用于 TLS 单向认证的 server.pem 路径,仅在 "secure" 为 true 时生效。 | - |
| spring.ai.vectorstore.milvus.client.server-name | 为 SSL 主机名检查设置目标名覆盖,仅在 "secure" 为 True 时生效。注意:该值传给 grpc.ssltargetname_override | - |
| spring.ai.vectorstore.milvus.client.secure | 为此连接启用安全认证,设为 True 以启用 TLS。 | false |
| spring.ai.vectorstore.milvus.client.idle-timeout-ms | 客户端通道的空闲超时值。超时值必须大于零。 | 24h |
| spring.ai.vectorstore.milvus.client.username | 此连接的用户名和密码。 | root |
| spring.ai.vectorstore.milvus.client.password | 此连接的密码。 | milvus |
启动 Milvus 存储
在 src/test/resources/ 目录内运行:
bash
docker-compose up清理环境:
bash
docker-compose down; rm -Rf ./volumes然后连接到位于 http://localhost:19530 的向量库,或连接到用于管理的 http://localhost:9001(用户:minioadmin,密码:minioadmin)
故障排查
如果 Docker 报资源不足,则执行:
bash
docker system prune --all --force --volumes访问原生客户端
Milvus 向量库实现通过 getNativeClient() 方法提供对底层原生 Milvus 客户端(MilvusServiceClient)的访问:
java
MilvusVectorStore vectorStore = context.getBean(MilvusVectorStore.class);
Optional<MilvusServiceClient> nativeClient = vectorStore.getNativeClient();
if (nativeClient.isPresent()) {
MilvusServiceClient client = nativeClient.get();
// Use the native client for Milvus-specific operations
}原生客户端让你得以访问那些可能未通过 VectorStore 接口暴露的 Milvus 特定功能与操作。