WatsonxEmbeddings 是 IBM watsonx.ai 嵌入模型的封装。

本示例展示如何使用 LlamaIndex Embeddings API 与 watsonx.ai 嵌入模型交互。

设置

安装 llama-index-embeddings-ibm 包：

!pip install -qU llama-index-embeddings-ibm

下面的单元格定义了使用 watsonx Embeddings 所需的凭据。

操作： 提供 IBM Cloud 用户 API 密钥。详情请参阅管理用户 API 密钥。

import os
from getpass import getpass

watsonx_api_key = getpass()
os.environ["WATSONX_APIKEY"] = watsonx_api_key

此外，你还可以通过环境变量传入额外的密钥：

import os

os.environ["WATSONX_URL"] = "your service instance url"
os.environ["WATSONX_TOKEN"] = "your token for accessing the CPD cluster"
os.environ["WATSONX_PASSWORD"] = "your password for accessing the CPD cluster"
os.environ["WATSONX_USERNAME"] = "your username for accessing the CPD cluster"
os.environ[
    "WATSONX_INSTANCE_ID"
] = "your instance_id for accessing the CPD cluster"

加载模型

你可能需要针对不同任务调整嵌入参数：

truncate_input_tokens = 3

使用前面设置的参数初始化 WatsonxEmbeddings 类。

注意：

• 为 API 调用提供上下文时，必须传入 project_id 或 space_id。要获取项目或空间 ID，请打开你的项目或空间，转到 Manage 标签页，然后点击 General。更多信息请参阅：项目文档 或 部署空间文档。
• 根据已配置服务实例所在的区域，使用 watsonx.ai API Authentication 中列出的某个 URL。

在本示例中，我们将使用 project_id 和 Dallas URL。

你需要指定用于推理的 model_id。可以在受支持的基础模型 中找到所有可用模型的列表。

from llama_index.embeddings.ibm import WatsonxEmbeddings

watsonx_embedding = WatsonxEmbeddings(
    model_id="ibm/slate-125m-english-rtrvr",
    url="https://us-south.ml.cloud.ibm.com",
    project_id="PASTE YOUR PROJECT_ID HERE",
    truncate_input_tokens=truncate_input_tokens,
)

或者，你也可以使用 Cloud Pak for Data 凭据。详情请参阅 watsonx.ai 软件设置。

watsonx_embedding = WatsonxEmbeddings(
    model_id="ibm/slate-125m-english-rtrvr",
    url="PASTE YOUR URL HERE",
    username="PASTE YOUR USERNAME HERE",
    password="PASTE YOUR PASSWORD HERE",
    instance_id="openshift",
    version="4.8",
    project_id="PASTE YOUR PROJECT_ID HERE",
    truncate_input_tokens=truncate_input_tokens,
)

用量

嵌入查询

query = "Example query."

query_result = watsonx_embedding.get_query_embedding(query)
print(query_result[:5])

[-0.05538924, 0.05161056, 0.01207759, 0.0017501727, -0.017691258]

嵌入文本列表

texts = ["This is a content of one document", "This is another document"]

doc_result = watsonx_embedding.get_text_embedding_batch(texts)
print(doc_result[0][:5])

[0.009447167, -0.024981938, -0.02601326, -0.04048393, -0.05780444]