llama-index-llms-heroku 包包含 LlamaIndex 集成，用于在 Heroku 的 Managed Inference 平台上使用模型构建应用。此集成让你可以轻松连接并使用部署在 Heroku 基础设施上的 AI 模型。

安装

%pip install llama-index-llms-heroku

设置

1. 创建 Heroku 应用

首先，在 Heroku 中创建一个应用：

终端窗口

heroku create $APP_NAME

2. 创建并附加 AI 模型

创建聊天模型并将其附加到你的应用：

终端窗口

heroku ai:models:create -a $APP_NAME claude-3-5-haiku

3. 导出配置变量

导出所需的配置变量：

终端窗口

export INFERENCE_KEY=$(heroku config:get INFERENCE_KEY -a $APP_NAME)
export INFERENCE_MODEL_ID=$(heroku config:get INFERENCE_MODEL_ID -a $APP_NAME)
export INFERENCE_URL=$(heroku config:get INFERENCE_URL -a $APP_NAME)

用量

基本用法

from llama_index.llms.heroku import Heroku
from llama_index.core.llms import ChatMessage, MessageRole

# Initialize the Heroku LLM
llm = Heroku()

# Create chat messages
messages = [
    ChatMessage(
        role=MessageRole.SYSTEM, content="You are a helpful assistant."
    ),
    ChatMessage(
        role=MessageRole.USER,
        content="What are the most popular house pets in North America?",
    ),
]

# Get response
response = llm.chat(messages)
print(response)

使用环境变量

该集成会自动从环境变量中读取：

import os

# Set environment variables
os.environ["INFERENCE_KEY"] = "your-inference-key"
os.environ["INFERENCE_URL"] = "https://us.inference.heroku.com"
os.environ["INFERENCE_MODEL_ID"] = "claude-3-5-haiku"

# Initialize without parameters
llm = Heroku()

使用参数

你也可以直接传入参数：

import os

llm = Heroku(
    model=os.getenv("INFERENCE_MODEL_ID", "claude-3-5-haiku"),
    api_key=os.getenv("INFERENCE_KEY", "your-inference-key"),
    inference_url=os.getenv(
        "INFERENCE_URL", "https://us.inference.heroku.com"
    ),
    max_tokens=1024,
)

可用模型

如需查看可用模型的完整列表，请参阅 Heroku Managed Inference 文档。

错误处理

该集成针对常见问题提供了完善的错误处理：

• 缺少 API 密钥
• 推理 URL 无效
• 缺少模型配置

更多信息

如需了解有关 Heroku Managed Inference 的更多信息，请访问官方文档。