本 Notebook 演示如何配置 TextEmbeddingInference embeddings。

第一步是部署嵌入服务器。详细说明请参阅 Text Embeddings Inference 官方仓库。如果你部署在 Habana Gaudi/Gaudi 2 上，请参阅 tei-gaudi 仓库。

部署完成后，下面的代码将连接到服务器并提交嵌入进行推理。

如果你在 Colab 中打开这个 Notebook，可能需要先安装 LlamaIndex 🦙。

%pip install llama-index-embeddings-text-embeddings-inference

!pip install llama-index

from llama_index.embeddings.text_embeddings_inference import (
    TextEmbeddingsInference,
)

embed_model = TextEmbeddingsInference(
    model_name="BAAI/bge-large-en-v1.5",  # required for formatting inference text,
    timeout=60,  # timeout in seconds
    embed_batch_size=10,  # batch size for embedding
)

embeddings = embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

1024
[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]

embeddings = await embed_model.aget_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

1024
[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]