LLM 网关

使用一个 LangSmith API key 访问各提供商的模型，同时追踪调用并执行支出和数据保护策略。

使用一个 LangSmith API key 调用已配置各提供商的模型。只需更改模型 ID 即可切换提供商，同时 LLM 网关会追踪每次模型调用并应用集中治理策略。

NOTE

Beta： LLM Gateway 处于 beta 阶段。

网关也可在 BYOC 上使用，它在你的数据平面内运行。将请求发送到位于 /gateway 路径前缀后的数据平面端点，并使用作用域限定为该数据平面中某个工作区的 API key 进行身份验证。更多信息请参阅使用 BYOC 数据平面。

NOTE

自托管可用性： LLM Gateway 未包含在 LangSmith v0.16.0 自托管稳定版中。它将在未来的稳定版本中提供。如需表达兴趣，请提交 LLM Gateway 自托管访问请求。你也可以在稳定版发布前，在 v17 RC 版本或 BYOC（自带云）上试用 LLM Gateway。

发出你的第一个请求

INFO

管理员必须为你的工作区执行一次启用网关、添加提供商密钥并授予访问权限。完成设置后，开发者只需要一个作用域限定到工作区的 LangSmith API key。

设置你的密钥，并发出标准的 Chat Completions 请求。此示例假设该工作区已有 Anthropic 提供商密钥：

Cloud

export LANGSMITH_API_KEY="lsv2_..._....cbed3e"

curl https://gateway.smith.langchain.com/v1/chat/completions \
    -H "Authorization: Bearer $LANGSMITH_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{"model":"anthropic/claude-sonnet-4-6","messages":[{"role":"user","content":"Hello!"}]}'

BYOC

export LANGSMITH_API_KEY="lsv2_..._....cbed3e"

curl https://<data_plane_host>/gateway/v1/chat/completions \
    -H "Authorization: Bearer $LANGSMITH_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{"model":"anthropic/claude-sonnet-4-6","messages":[{"role":"user","content":"Hello!"}]}'

200 响应表明网关、你的 LangSmith API key、权限以及所选提供商密钥均已正确配置。有关 Python、TypeScript、其他 API 格式和故障排除，请参阅快速开始。

网关提供什么

• 一个密钥，多个提供商： 开发者使用 LangSmith API key 进行身份验证，而无需在本地存储提供商密钥。
• 一种请求格式，多个模型： 对已配置提供商的模型使用 Chat Completions、Messages 或 Responses。
• 内置可观测性： 每次网关调用都会显示为一条 LangSmith 追踪。
• 集中治理： 应用支出限额、速率限制和数据策略。

使用标准 API

选择你的应用已经在使用的请求格式。该格式不会限制你可以调用哪个已配置的提供商。

API 格式	端点
OpenAI Chat Completions	POST /v1/chat/completions
Anthropic Messages	POST /v1/messages
OpenAI Responses	POST /v1/responses

将 model 设置为带有提供商前缀的自带密钥 ID（例如 openai/gpt-5.4-mini、anthropic/claude-opus-5 或 azure/<deployment-name>），或使用 Gateway Credits 的模型 slug（例如 moonshotai/kimi-k3）。模型 ID 决定上游路由。当所选提供商使用不同的原生格式时，网关会转换请求和响应。

在 BYOC 上，相同的路径位于 /gateway 前缀之后，例如 POST /gateway/v1/chat/completions。

有关基础 URL、示例、转换行为、区域端点和 BYOC 数据平面端点，请参阅 API 格式。

选择凭证的管理方式

选项	上游凭证	设置与计费
自带提供商账户	管理员将提供商密钥存储在工作区的 Provider Secrets 中。	提供商将用量计入你的提供商账户。
Gateway Credits	由 LangChain 拥有上游凭证。	无需提供商密钥。调用会计入你的 LangSmith 账户。

进一步探索

•Quickstart

使用 cURL、Python 或 TypeScript 发出请求，然后查看其追踪。

•Administrator setup

启用网关、添加提供商凭证，并授予开发者访问权限。

TIP

需要在 Prompt Hub 中存储的提示词配合网关使用？请参阅在网关中使用 Prompt Hub，了解如何使用两个环境变量将 Prompt Hub 的模型调用路由到网关。

需要提供商原生的请求和响应行为？使用直接模型访问绕过标准化层。这是标准 API 之外的高级替代方案。

如有其他问题，请联系 LangChain 支持。

---