如何定义决策模型评估器

设置使用 SemIf 或 Jev 作为评判者的 LangSmith 评估器，包含 noul、choice 和 score 问题，每个问题都返回类型化反馈。

决策模型评估器使用决策模型（例如 SemIf 或 Jev）作为评判者。你定义的每个问题都会返回类型化答案，LangSmith 将其记录在独立的反馈键下。

本指南展示如何在 LangSmith UI 中定义决策模型评估器。你可以在数据集上使用它自动对实验运行评估，或在追踪项目上将其作为在线评估器使用。如需改用 LLM 作为评判者，请参阅如何定义 LLM-as-a-judge 评估器。

NOTE

你只能在 LangSmith UI 中创建决策模型评估器。LangSmith SDK 尚不支持创建它们。

NOTE

SemIf 面向美国地区、处于 Free、Developer 和 Plus 套餐的组织启用。

步骤 1. 创建评估器

1. （仅 Jev）添加 TypeSafe API key。从你的 TypeSafe 账户生成 API key。在 LangSmith 中，前往 Settings > Integrations > Provider secrets 并点击 + Secret。选择 TypeSafe 作为提供商并粘贴你的密钥。LangSmith 会将其存储为工作区密钥 TYPESAFE_API_KEY。要以其他名称存储，请选择 Custom 并输入你自己的密钥名称。更多信息请参阅添加提供商密钥。
2. 在 LangSmith UI 中，打开数据集或追踪项目的 Evaluators 标签页，然后点击 + Evaluator。
3. 在 Configure Evaluator 面板中，于 Create from scratch 下选择 LLM-as-a-Judge Evaluator。
4. 为你的评估器命名。

步骤 2. 配置评估器

决策模型评估器支持 TypeSafe 模型（例如 Jev，使用自带密钥 BYOK），以及通过 LLM 网关使用 SemIf。你在评估器本身中定义 state 和问题。决策模型评估器无法从 Prompt Hub 加载提示词，也无法使用自定义输出 schema。它们也不支持 few-shot 示例。要在另一个数据集或追踪项目上复用决策模型评估器，请在 Configure Evaluator 面板中选择 Attach an existing evaluator。

模型

在 Prompt & Model 下，打开 Model Configuration 并选择提供商和模型：

• 对于 SemIf，选择 LangSmith Gateway 作为提供商，然后选择一个 SemIf 模型。点击 Apply。
• 对于 Jev，选择 TypeSafe 作为提供商，然后选择一个 Jev 模型。如果你将密钥存储在 TYPESAFE_API_KEY 以外的名称下，请在 API Key Name 中输入该名称。点击 Apply。
• 对于 TypeSafe 兼容端点，选择其保存的配置。请参阅使用 TypeSafe 兼容端点。

支持的模型对比请参阅支持的模型。

使用 TypeSafe 兼容端点

TypeSafe 兼容端点会将评估器指向任何实现 TypeSafe System One API 的服务器。示例包括 OpenRouter 或你自行托管的决策模型。只有在将其保存为模型配置后，评估器才能使用它。有关设置、配置步骤和示例基础 URL，请参阅连接到 TypeSafe 兼容的模型提供商。

State

State 是决策模型评估的上下文。将 run 或示例中的变量映射到其中：

• 在数据集上，映射输入、输出或参考输出。
• 在追踪项目上，映射 run 或线程变量，例如 run 的输入和输出。

与 LLM 评判者的提示词不同，state 不应包含评分说明。请将评分标准放在问题中。

问题

问题是决策模型评估器使用的评分标准。每个问题的名称会成为被评估 run 或线程上的反馈键。要定义问题：

1. 在 Feedback Configuration 下，为你想要评估的每个标准添加一个问题。
2. 对每个问题，输入 Name、选择 Type，并编写 Instructions。
3. 为该问题类型定义 true 和 false 的含义、选项或等级。

要将问题作为 JSON 编辑，请点击 Advanced。

关于每种问题类型返回什么以及答案如何映射到反馈，请参阅问题类型和将答案映射到反馈键。

步骤 3. 保存评估器

要保存评估器，请点击 Create 或 Save。

在数据集上，评估器会在每个新实验上运行。在追踪项目上，它会评估符合其过滤器的传入 run 或线程。关于过滤器、采样率和回填，请参阅设置决策模型在线评估器。

另请参阅

• 决策模型：支持的模型、问题类型和反馈键。
• 连接到 TypeSafe 兼容的模型提供商：基础 URL 格式和示例端点。
• LLM 网关中的决策模型：直接从代码调用 SemIf 和 Jev。

---