设置 LLM-as-a-judge 在线评估器

在线评估为你的生产追踪提供实时反馈。这对于持续监控应用性能很有用——发现问题、衡量改进并确保长期质量一致。

LLM-as-a-judge 评估器使用 LLM 评估追踪，作为类人判断的可扩展替代方案。本指南涵盖评估单次运行的运行级评估器。要评估整个对话线程，请参阅多轮在线评估器。

NOTE

当在线评估器对追踪中的任意运行执行评估时，该追踪会自动升级为扩展数据保留期。此升级会影响追踪计费，但可确保符合评估条件的追踪（通常是最有分析价值的追踪）被保留下来以供调查。

查看在线评估器

在 LangSmith UI 中，前往 Tracing Projects 选项卡并选择一个追踪项目。要查看该项目的现有在线评估器，请点击 Evaluators 选项卡。

添加在线评估器

1. 在 LangSmith UI 中，导航到 Tracing 页面并选择一个追踪项目。
2. 点击 Evaluators 选项卡。
3. 点击 + Evaluator 打开 Add Evaluator 面板。
4. 选择以下选项之一：
   • Create from scratch：选择 LLM-as-a-Judge Evaluator。
   • Attach an existing evaluator：选择工作区中已有的评估器以复用它。
   • Create from a template：从现成模板开始。
5. 为你的评估器命名。

对触发评估器的运行应用过滤器

你可以对触发评估器的运行应用过滤器。你可能希望基于以下条件应用评估器：

• 用户留下反馈表明响应不令人满意的运行。
• 调用特定工具调用的运行。有关更多信息，请参阅过滤工具调用。
• 匹配特定元数据的运行（例如，如果你使用 plan_type 记录追踪，并且只想对企业客户的追踪运行评估）。有关更多信息，请参阅向追踪添加元数据。

评估器使用过滤器构建器，其字段和运算符与过滤追踪 (ClickHouse) 中所述相同。

TIP

在为评估器创建过滤器时，检查运行通常很有帮助。打开评估器配置面板后，你可以检查运行并对其应用过滤器。你对运行表应用的任何过滤器都会自动反映在评估器的过滤器中。

TIP

如果你还在该项目上配置了 webhook 自动化规则，并且希望 webhook 负载包含此评估器的分数，请在 webhook 规则中添加反馈过滤器，而不是依赖规则顺序。例如，按 has(feedback_key, "answer_usefulness") 过滤，使 webhook 仅在分数存在后触发。有关详情，请参阅确保评估在 webhook 触发前完成。

配置采样率

配置采样率以控制触发自动化操作的已过滤运行百分比。例如，为了控制成本，你可能希望设置过滤器，仅将评估器应用于 10% 的追踪。为此，你可以将采样率设置为 0.1。

将规则应用于过去的运行或线程

要将规则应用于过去的运行或线程，请在 Configure Evaluator 面板中：

1. 在 Source 中，选择 Runs 或 Threads。
2. 展开 Advanced。
3. 打开 Apply to past runs from date 或 Apply to past threads from date，然后输入日期。

你只能在创建规则时进行回填。

当你回填线程级评估规则时，LangSmith 会查找在你选择的开始日期与创建规则之间具有匹配追踪活动的线程，然后应用规则的过滤器。每个选中的线程空闲后，LangSmith 会评估其根运行历史，并将反馈附加到该线程中的代表性追踪上。回填完成后，规则保持活动状态，并通过正常的实时流程继续评估新的匹配线程。

NOTE

回填作为后台作业处理，因此你不会立即看到结果。

要跟踪回填进度，你可以前往追踪项目中的 Evaluators 选项卡，并点击你创建的评估器的 Logs 按钮来查看日志。在线评估器日志类似于自动化规则日志。

1. 添加评估器名称。
2. （可选）过滤你希望应用评估器的运行，或配置采样率。
3. 选择 Apply Evaluator。

设置支出限额

你可以按周限制此评估器所关联项目和数据集上的 LLM 成本。默认情况下，适用组织范围的评估器限额。组织管理员可以通过在 Advanced 下的 Spend limit 字段中设置自定义值，为特定评估器覆盖此限额。要移除覆盖并再次继承组织默认值，请点击 Reset to organization default。当每周支出达到有效限额时，LangSmith 会在该项目或数据集上暂停评估器，直到限额在 UTC 周一 12AM 重置或手动提高限额。

有关详情，请参阅跟踪和限制评估器支出。

配置 LLM-as-a-judge 评估器

查看 LLM-as-a-judge 评估器了解更多信息。

使用决策模型作为评判者

你可以使用决策模型（例如 SemIf 或 Jev）代替 LLM 作为评判者。你定义的每个问题都会返回类型化答案，例如概率、选定选项或分数，LangSmith 会将每个答案记录在其各自的反馈键下。请参阅设置决策模型在线评估器。

将多模态内容映射到评估器

如果你的追踪包含图像、音频或文档等多模态内容，你可以将此内容包含在评估器提示中。有两种方法：

• 使用追踪中的 base64 编码内容：如果你的应用将多模态内容作为 base64 编码数据记录在追踪中（例如在运行的输入或输出中），你可以使用模板变量在评估器提示中直接引用此内容。评估器将从追踪中提取 base64 数据并将其传递给 LLM。

• 使用追踪中的附件：与带附件的离线评估类似，你可以在在线评估中使用追踪中的附件。由于你的追踪已包含通过 SDK 记录的附件，你可以直接在评估器中引用它们。

  1. 从数据集页面选择 + Evaluator。
  2. 在 Template variables 编辑器中，为要包含的附件添加变量：
     • 如果要包含特定附件，你可以使用建议的变量名，例如 {attachment.file_name}，这会将附件列表中名为 file_name 的文件映射并传递给评估器。
     • 如果要包含所有附件，请使用 {attachments}}` 变量。
  

评估器随后可以在评估追踪时访问这些附件。这对于需要以下操作的评估器很有用：

• 验证图像描述是否与追踪中的实际图像匹配。
• 检查转录是否准确反映了音频输入。
• 验证从文档中提取的文本是否正确。

---