决策模型

通过 LangSmith LLM Gateway 使用 SemIf，配合 System One API 进行结构化分类和评分。

决策模型对文本进行分类或评分，返回结构化答案，而不是生成的聊天消息。通过 LLM Gateway 使用 System One API 调用它们。

LangSmith 通过网关免费提供开源决策模型 SemIf（semif-qwen3.5-4b），免费期至 2026 年 9 月 28 日。

NOTE

SemIf 面向美国地区、处于 Free、Developer 和 Plus 套餐的组织启用。

快速开始

设置你的 LangSmith API 密钥：

export LANGSMITH_API_KEY="<your-api-key>"

然后运行一个请求：

安装 TypeSafe SDK：

pip install typesafe-sdk

import os

from typesafe_sdk import Noul, TypeSafeClient

client = TypeSafeClient(
    api_key=os.environ["LANGSMITH_API_KEY"],
    base_url="https://gateway.smith.langchain.com",
)

response = client.system_one(
    state="Hello!",
    model="semif-qwen3.5-4b",
    questions={
        "is_helpful": Noul(
            instructions="Does this explain what an LLM gateway does?"
        ),
    },
)

了解决策模型

在 state 中传入要评估的文本，并在 questions 中传入 1 到 32 个命名问题。决策模型支持三种问题类型：

• noul：返回答案为真的概率。
• choice：将 state 分类为所提供选项之一。
• score：按评分标准对 state 评分。

响应包含以问题名称为键的 answers，而不是聊天消息。不支持流式传输。

SemIf

你可以在网关首页的托管模型中选择 SemIf，以获取请求示例。区域化 base URL 请参见区域网关。

SemIf 调用不消耗 Gateway Credits。网关的访问、速率限制和预算策略仍然适用。

TypeSafe (Jev)

网关还支持自带密钥（BYOK）的 TypeSafe 决策模型。将 TYPESAFE_API_KEY 配置为工作区的提供商密钥。查看 TypeSafe 设置 以创建密钥并安装 LangChain 集成。

将 LANGSMITH_API_KEY 设置为工作区范围的 LangSmith API key。typesafe/ 前缀会让请求经由你工作区的 TypeSafe 提供商密钥路由，而不是托管 SemIf 模型。调用网关时，不要将你的 TypeSafe API key 作为 SDK 的 api_key 或 apiKey 传入。对 SDK 使用不带 /v1 的网关 base URL：

安装 TypeSafe SDK：

pip install typesafe-sdk

import os

from typesafe_sdk import Noul, TypeSafeClient

client = TypeSafeClient(
    api_key=os.environ["LANGSMITH_API_KEY"],
    base_url="https://gateway.smith.langchain.com",
)

response = client.system_one(
    state="Hello!",
    model="typesafe/jev-1.13.0",
    questions={
        "is_helpful": Noul(
            instructions="Does this explain what an LLM gateway does?"
        ),
    },
)

另请参阅

• 管理员设置：无需为 SemIf 配置提供商密钥即可授予网关访问权限。
• TypeSafe 集成：通过 LangChain 使用 TypeSafe 决策模型。

---