主题
LlamaCloud 通过多种提供方接入方式支持多个 LLM 模型,为文档解析、抽取与 AI 能力供能。本节指导你为自己的自托管部署选择并配置不同的模型提供方。
支持的模型与提供方
| 模型家族 | 开发者直连 (配置最简单) | 企业云 (能力更全) |
|---|---|---|
| OpenAI GPT GPT-4o, GPT-4.1, GPT-5, GPT-5 | OpenAI API | Azure OpenAI |
| Anthropic Claude Claude Sonnet 4.6, Claude Sonnet 4.5, Claude Haiku 4.5 | Anthropic API | AWS Bedrock |
| Google Gemini Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 2.0 Flash | Google Gemini API | Google Vertex AI |
配置方式
集中式的提供方配置
集中式的提供方配置带来的是:
- 用不同凭据注册多个提供方实例
- 自定义 API 端点(例如对接 Bifrost、Portkey 这类 API 网关)
- 每个提供方实例各自的自定义 HTTP 请求头
- 自定义各提供方专有的模型名
当简单的提供方设置不够具体时,改用 config.llms.providerConfigs。它能为网关、自定义端点、多套凭据、自定义请求头以及按能力分流注册明确的模型端点。解析档位也能借它控制模型的先后顺序。
config:
llms:
providerConfigs:
- id: "my-openai-config"
provider: "openai"
model_id: "openai-gpt-4o"
provider_model_name: "@openai/gpt-4o" # Optional: custom model name for gateway
credentials:
api_key: "sk-..."
base_url: "https://api.gateway.com/v1" # Optional: custom endpoint
headers: # Optional: custom headers
x-api-key: "your-gateway-key"
- id: "my-anthropic-config"
provider: "anthropic"
model_id: "anthropic-sonnet-4.5"
provider_model_name: "@anthropic/claude-sonnet-4-5" # Optional: custom model name for gateway
credentials:
api_key: "sk-ant-..."
base_url: "https://api.gateway.com" # Optional: custom endpoint
headers: # Optional: custom headers
x-api-key: "your-gateway-key"参见:集中式提供方配置指南,其中有完整 schema、提供方清单与解析档位排序的控件。
按提供方的配置
做基础的直连提供方配置时,用配合 Kubernetes Secret 的按提供方设置:
config:
llms:
openai:
secret: <your-openai-secret>
anthropic:
secret: <your-anthropic-secret>
gemini:
secret: <your-gemini-secret>
azureOpenAi:
secret: <your-azureOpenAi-secret>
awsBedrock:
secret: <your-bedrock-secret>
googleVertexAi:
secret: <your-vertex-secret>Helm Values 配置(已过时)
某些提供方支持直接在 Helm values 里配置(正在弃用):
backend:
config:
openAiApiKey: "your-api-key"下一步
配置指南
- 集中式提供方配置 —— 用于自定义 API 网关、多套凭据与解析档位排序
按提供方的准备步骤
选定你的 LLM 提供方,再照其中的详细配置说明操作:
故障排查
验证步骤
配置完成后,用下面两步验证:
- 在 LlamaCloud 管理界面里确认可用的模型
- 用一个简单的解析或抽取任务试一次
常见问题
- 模型不可用:查提供方文档,确认该模型在你所在地域是否可用
- 认证失败:核对 API key 与权限
- 被限流:盯住用量并设置合适的配额