主题
网关如何工作
了解 LLM 网关对每个请求做了什么、上游凭证如何解析，以及网关在哪里可用。
NOTE
LLM Gateway 处于 beta 阶段。
LLM 网关位于你的应用与工作区已配置的模型提供商之间。它会验证调用方身份、选择上游路由、应用治理策略、在 API 格式之间转换，并追踪结果。
网关提供什么
- 一个密钥，多个提供商： 开发者使用 LangSmith API key 进行身份验证，而无需在本地存储提供商密钥。
- 一种请求格式，多个模型： 对已配置提供商的模型使用 Chat Completions、Messages 或 Responses。
- 内置可观测性： 每次网关调用都会出现在网关追踪项目中，可见性由追踪与访问控制控制。
- 集中治理： 应用支出限额、速率限制和数据策略。
跟踪一个请求经过网关的过程
对于发往标准端点的每个请求，网关都会执行以下步骤：
- 验证并授权调用方（基于 LangSmith API key），包括
gateway:invoke权限检查。 - 解析路由（基于端点和模型 ID），包括任何已配置的回退候选。
- 加载上游凭证，可以是工作区的 Provider Secret，也可以是 Gateway Credits 凭证。
- 评估请求前策略。支出、速率和模型访问限制可以阻止请求。数据保护策略会针对请求体运行，并在配置后对其进行脱敏。
- 转换请求（当所选提供商使用不同的 API 格式时）。详情请参阅了解转换行为。
- 将请求发送到上游，并接收或流式传输提供商响应。
- 转换响应，使其恢复为客户端请求的 API 格式，并在适用时恢复脱敏占位符。
- 将响应返回给调用方，同时记录用量、成本、路由和策略元数据，以及 LangSmith 追踪。
直接模型访问会跳过步骤 5 和 7。网关仍会执行身份验证、解析凭证、评估策略并追踪调用，但会以提供商的原始格式透传请求和响应。
选择凭证的管理方式
网关会为每次调用解析上游凭证。工作区可以使用自己的提供商账户、Gateway Credits，或两者兼用：
| 选项 | 上游凭证 | 设置与计费 |
|---|---|---|
| 自带提供商账户 | 管理员将提供商密钥存储在工作区的 Provider Secrets 中。 | 提供商将用量计入你的提供商账户。 |
| Gateway Credits | 由 LangChain 拥有上游凭证。 | 无需提供商密钥。调用会计入你的 LangSmith 账户。 |
检查可用性
网关在 LangSmith Cloud 的所有 LangSmith 区域中运行，也运行在 BYOC 上；在 BYOC 中，它运行在你的数据平面内，因此模型请求及其追踪会留在你的 VPC 中。两者使用相同的 API 格式、模型 ID、策略和追踪；只有主机名和路径前缀不同。
使用区域网关
将 gateway.smith.langchain.com 替换为你所在 LangSmith 区域的主机名，并为你使用的 API 格式保留相同的路径：
| 区域 | 网关主机名 |
|---|---|
| GCP US | gateway.smith.langchain.com |
| GCP EU | eu.gateway.smith.langchain.com |
| GCP APAC | apac.gateway.smith.langchain.com |
| AWS US | aws.gateway.smith.langchain.com |
使用 BYOC 数据平面
在 BYOC 上，将网关主机名替换为你的数据平面端点，并在路径前加上 /gateway：
| API 格式 | 基础 URL | 提示词端点 |
|---|---|---|
| OpenAI Chat Completions | https://<data_plane_host>/gateway/v1 | POST /chat/completions |
| Anthropic Messages | https://<data_plane_host>/gateway | POST /v1/messages |
| OpenAI Responses | https://<data_plane_host>/gateway/v1 | POST /responses |
使用作用域限定为该数据平面中某个工作区的 API key 进行身份验证，可通过 Authorization: Bearer 令牌或提供商 API key 传递。提供商密钥、模型 ID、策略和追踪的行为与 Cloud 上相同。
WARNING
数据平面默认以私有端点预置，因此你需要私有连接才能访问基础 URL，例如 Tailscale、AWS PrivateLink 或 VPC 对等连接。
NOTE
自托管可用性： LLM Gateway 未包含在 LangSmith v0.16.0 自托管稳定版中。它将在未来的稳定版本中提供。如需表达兴趣，请提交 LLM Gateway 自托管访问请求。你也可以在稳定版发布前，在 v17 RC 版本或 BYOC 上试用 LLM Gateway。
另请参阅
- 快速开始：发出你的第一个请求、查看其追踪，并设置支出限额。
- 管理员设置：启用网关、添加提供商凭证，并授予开发者访问权限。
- API 格式：通过标准端点使用 Chat Completions、Messages 或 Responses。
- 追踪、Engine 与访问控制：了解网关追踪出现的位置以及谁可以查看它们。