Skip to content
LlamaParse 文档版本 跟随上游 源快照 c423d1f3 更新于 2026-10-17

LlamaCloud 通过多种提供方接入方式支持多个 LLM 模型,为文档解析、抽取与 AI 能力供能。本节指导你为自己的自托管部署选择并配置不同的模型提供方。

支持的模型与提供方

模型家族开发者直连 (配置最简单)企业云 (能力更全)
OpenAI GPT GPT-4o, GPT-4.1, GPT-5, GPT-5OpenAI APIAzure OpenAI
Anthropic Claude Claude Sonnet 4.6, Claude Sonnet 4.5, Claude Haiku 4.5Anthropic APIAWS Bedrock
Google Gemini Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 2.0 FlashGoogle Gemini APIGoogle Vertex AI

配置方式

集中式的提供方配置

集中式的提供方配置带来的是:

  • 用不同凭据注册多个提供方实例
  • 自定义 API 端点(例如对接 Bifrost、Portkey 这类 API 网关)
  • 每个提供方实例各自的自定义 HTTP 请求头
  • 自定义各提供方专有的模型名

当简单的提供方设置不够具体时,改用 config.llms.providerConfigs。它能为网关、自定义端点、多套凭据、自定义请求头以及按能力分流注册明确的模型端点。解析档位也能借它控制模型的先后顺序。

config:
  llms:
    providerConfigs:
      - id: "my-openai-config"
        provider: "openai"
        model_id: "openai-gpt-4o"
        provider_model_name: "@openai/gpt-4o"  # Optional: custom model name for gateway
        credentials:
          api_key: "sk-..."
          base_url: "https://api.gateway.com/v1"  # Optional: custom endpoint
        headers:  # Optional: custom headers
          x-api-key: "your-gateway-key"
      - id: "my-anthropic-config"
        provider: "anthropic"
        model_id: "anthropic-sonnet-4.5"
        provider_model_name: "@anthropic/claude-sonnet-4-5"  # Optional: custom model name for gateway
        credentials:
          api_key: "sk-ant-..."
          base_url: "https://api.gateway.com"  # Optional: custom endpoint
        headers:  # Optional: custom headers
          x-api-key: "your-gateway-key"

参见:集中式提供方配置指南,其中有完整 schema、提供方清单与解析档位排序的控件。

按提供方的配置

做基础的直连提供方配置时,用配合 Kubernetes Secret 的按提供方设置:

config:
  llms:
    openai:
      secret: <your-openai-secret>
    anthropic:
      secret: <your-anthropic-secret>
    gemini:
      secret: <your-gemini-secret>
    azureOpenAi:
      secret: <your-azureOpenAi-secret>
    awsBedrock:
      secret: <your-bedrock-secret>
    googleVertexAi:
      secret: <your-vertex-secret>

Helm Values 配置(已过时)

某些提供方支持直接在 Helm values 里配置(正在弃用):

backend:
  config:
    openAiApiKey: "your-api-key"

下一步

配置指南

按提供方的准备步骤

选定你的 LLM 提供方,再照其中的详细配置说明操作:

故障排查

验证步骤

配置完成后,用下面两步验证:

  1. 在 LlamaCloud 管理界面里确认可用的模型
  2. 用一个简单的解析或抽取任务试一次

常见问题

  1. 模型不可用:查提供方文档,确认该模型在你所在地域是否可用
  2. 认证失败:核对 API key 与权限
  3. 被限流:盯住用量并设置合适的配额

BytesRouter 是社区翻译站点,所有译文仅供参考,一切以官方英文原文为准。