主题
设置决策模型在线评估器
使用 SemIf 或 Jev 作为评判者评估 LangSmith 中的生产追踪，并将每个问题的类型化答案记录为独立的反馈键。
在线评估为生产追踪提供实时反馈。在线评估器可以使用决策模型（例如 SemIf 或 Jev）代替 LLM 作为评判者。要使用 LLM 作为评判者，请参阅设置 LLM-as-a-judge 在线评估器。
NOTE
当在线评估器对追踪中的任何 run 运行时，LangSmith 会将该追踪升级为扩展数据保留。此升级会影响追踪计费。
决策模型
决策模型回答关于文本的结构化问题，并返回类型化答案（例如概率、所选选项或分数），而不是自由文本。其工作原理请参阅 LLM 网关中的决策模型。当你使用决策模型作为评判者时，LangSmith 会将你定义的每个问题的答案记录在其独立的反馈键下。你无需编写输出 schema 或解析自由文本推理。
支持的模型
LangSmith 为评估器支持两种决策模型，在追踪项目和数据集上均可使用。两者的配置和行为方式相同，仅在提供商和设置上不同。要通过其他提供商或在自有服务器上调用决策模型，请使用 TypeSafe 兼容端点。
| 模型 | 提供商 | 设置 |
|---|---|---|
| SemIf | LangSmith Gateway | 无需提供商密钥。SemIf 通过 LLM 网关运行。 |
| Jev | TypeSafe | 需要将 TypeSafe API key 存储为工作区密钥。默认为 TYPESAFE_API_KEY。 |
NOTE
SemIf 面向美国地区、处于 Free、Developer 和 Plus 套餐的组织启用。
WARNING
TypeSafe 不提供零数据保留。提供商可能会保留发送给 Jev 用于评估的提示词和输出。
NOTE
你只能在 LangSmith UI 中创建决策模型评估器。LangSmith SDK 尚不支持创建它们。要直接从代码调用决策模型，请参阅 LLM 网关中的决策模型。
问题类型
添加到决策模型评估器的每个问题都属于三种类型之一。完整定义请参阅 TypeSafe 原语文档。
- Noul：连续布尔值。返回陈述为真的概率（0 到 1）。接近 1 的值表示是，接近 0 的值表示否，接近 0.5 的值表示模型不确定。用于是/否检查，例如输出是否包含个人身份信息。将指令表述为是/否问题，并可选择描述 true 和 false 的含义。
- Choice：从固定的无序列表中选择一个选项，例如对用户是在提出
question、发出request，还是两者都不是（other）进行分类。为每个选项命名；除非名称本身已不言自明，否则还应提供说明。 - Score：按有序等级评估状态，例如用户有多沮丧，从平静到非常愤怒。按顺序定义等级，从等级 0 开始。分数可以落在两个等级之间。
每个模型对问题有自己的限制。SemIf 评估器最多接受 32 个问题。
| 限制 | Jev | SemIf |
|---|---|---|
| 每个 choice 问题的选项数 | 2 到 255 | 2 到 16 |
| 每个 score 问题的等级数 | 2 到 10 | 2 到 10 |
将答案映射到反馈键
每个问题的名称会成为被评估 run 或线程上的反馈键。LangSmith 按以下方式将每个类型化答案转换为反馈：
| 问题类型 | 反馈字段 | 值 |
|---|---|---|
| Noul | score | 0 到 1 的数字 |
| Choice | value | 所选选项的名称 |
| Score | score | 从 0 到最高等级索引的数字。例如，包含四个等级的问题返回 0 到 3 的分数。 |
LangSmith 还会在每个反馈条目的反馈源元数据中的 typesafe 下存储模型的完整答案。对于 choice 和 score 问题，答案包含 probabilities 和 confidence。由于每个答案都是标准反馈，你可以像对待任何其他评估器的反馈一样，对其筛选、绘制图表、设置告警，并从中触发自动化。
问题名称遵循与其他反馈键相同的限制，并且每个名称在评估器内必须唯一。
添加决策模型在线评估器
要添加决策模型在线评估器：
- 在 LangSmith UI 中，前往 Tracing 页面并选择一个追踪项目。
- 点击 Evaluators 标签页。
- 点击 + Evaluator 打开 Configure Evaluator 面板。
- 在 Create from scratch 下，选择 LLM-as-a-Judge Evaluator，然后为评估器命名。
- 选择决策模型，将 run 或线程变量映射到 State 中，并添加问题。各项设置请参阅如何定义决策模型评估器。
- （可选）应用过滤器、设置采样率，或将该规则应用到过去的 run 或线程。这些设置的工作方式与 LLM-as-a-judge 在线评估器相同。
- 要保存评估器，请点击 Create 或 Save。
评估器会检查每个符合其过滤器的新 run 或线程。每个问题的答案会显示在其独立的反馈键下。
另请参阅
- 如何定义决策模型评估器：配置模型、state 和问题。
- 连接到 TypeSafe 兼容的模型提供商：基础 URL 格式和示例端点。
- LLM 网关中的决策模型：直接从代码调用 SemIf 和 Jev。