LLM Gateway 快速入门

使用一个 LangSmith API key 调用各提供商的模型，然后查看追踪并设置支出限额。

NOTE

LLM Gateway 处于 beta 阶段。

LLM Gateway 通过一个端点和一个 LangSmith API key 调用各已配置提供商的模型。发送请求、查看其追踪，然后设置支出限额。

INFO

管理员必须为你的工作区执行一次启用网关、添加提供商密钥并授予访问权限。之后，你只需要一个属于工作区范围、且所关联角色具有 gateway:invoke 和 workspaces:read 权限的 LangSmith API key。

•Send a request

网关调用就是普通的模型请求，只需将请求指向网关基础 URL，并使用你的 LangSmith API key 进行身份验证。你可以使用 Chat completions 从现有应用调用网关，或使用 Deep Agents 构建一个经由网关路由的代理。

将任何兼容 OpenAI 的客户端指向 https://gateway.smith.langchain.com/v1，并将 model 设置为带提供商前缀的 ID。

cURL

export LANGSMITH_API_KEY="lsv2_..."

curl https://gateway.smith.langchain.com/v1/chat/completions \
    -H "Authorization: Bearer $LANGSMITH_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{"model":"anthropic/claude-opus-5","messages":[{"role":"user","content":"Explain what an LLM gateway does in one sentence."}]}'

Python

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://gateway.smith.langchain.com/v1",
    api_key=os.environ["LANGSMITH_API_KEY"],
)
response = client.chat.completions.create(
    model="anthropic/claude-opus-5",
    messages=[{"role": "user", "content": "Explain what an LLM gateway does in one sentence."}],
)
print(response.choices[0].message.content)

TypeScript

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://gateway.smith.langchain.com/v1",
  apiKey: process.env.LANGSMITH_API_KEY,
});
const response = await client.chat.completions.create({
  model: "anthropic/claude-opus-5",
  messages: [{ role: "user", content: "Explain what an LLM gateway does in one sentence." }],
});
console.log(response.choices[0].message.content);

同一端点也接受 Anthropic Messages 和 OpenAI Responses 请求。请参阅 API 格式。

•View the trace

打开 LangSmith 并转到工作区中名为 gateway 或 gateway-<short_api_key>-<api_key_id> 的追踪项目。你的请求会显示在那里，并附带 token 数、成本和延迟。

⛨Set a spend limit

转到 LangSmith 中的 LLM Gateway，创建一个支出策略，例如为你的 API key 设置每天 $10 的上限。达到上限后，网关会返回 402，并在消息中指明阻止该请求的策略：

{"error": "Request blocked by gateway policies: R&D Spend Cap"}

完整指南请参阅支出策略。

这些示例使用美国网关。有关 EU、APAC 和 AWS 主机名，请参阅使用区域网关。对于 BYOC，请参阅使用 BYOC 数据平面。

后续步骤

• 概览：网关提供哪些能力、凭据如何管理，以及何时使用标准 API。
• 网关的工作原理：每个请求会经历什么、凭据如何解析，以及网关在哪些区域可用。
• API 格式：通过标准端点使用 Chat Completions、Messages 或 Responses。
• 设置编码代理：将 Claude Code、Codex、Gemini CLI 或 Deep Agents Code 经由网关路由。
• 直接访问模型：使用提供商原生的请求和响应格式。
• 将 Prompt Hub 与网关配合使用：将 Prompt Hub 的模型调用经由网关路由。
• 数据策略：防止敏感数据发送到提供商。

---