如何创建复合评估器

复合评估器是一种将多个评估器的得分合并为单个得分的方式。当你希望评估应用的多个方面，并将结果合并为一个结果时，这非常有用。

本指南介绍如何使用 LangSmith UI 定义复合评估器。

NOTE

若要以编程方式使用 SDK 创建复合评估器，请参阅如何创建复合评估器（SDK）。

创建复合评估器

你可以在追踪项目（用于在线评估）或数据集（用于离线评估）上创建复合评估器。在 UI 中使用复合评估器时，你可以计算多个评估器得分的加权平均值或加权和，权重均可配置。

1. 前往追踪项目或数据集

要开始配置复合评估器，请前往 Tracing Projects 或 Dataset & Experiments 标签页，并选择一个项目或数据集。

• 在追踪项目中：+ New > Evaluator > Composite score
• 在数据集中：+ Evaluator > Composite score

2. 配置复合评估器

1. 为你的评估器命名。
2. 选择聚合方式，可以是 Average 或 Sum。
   • Average：∑(weight*score) / ∑(weight)。
   • Sum：∑(weight*score)。
3. 添加你希望包含在复合得分中的反馈键。
4. 为这些反馈键添加权重。默认情况下，每个反馈键的权重相等。调整权重可以提高或降低特定反馈键在最终得分中的重要性。
5. 点击 Create 保存该评估器。

TIP

如果你需要调整复合得分的权重，可以在评估器创建之后再进行更新。所有配置了该评估器的运行，其结果得分都会相应更新。

3. 查看复合评估器结果

复合得分会作为反馈附加到运行上，与单个评估器产生的反馈类似。如何查看它们取决于评估是在哪里运行的：

在追踪项目上：

• 复合得分会作为运行的反馈显示。
• 过滤出具有复合得分、或复合得分满足特定阈值的运行。
• 创建图表以可视化复合得分随时间的变化趋势。

在数据集上：

• 在实验标签页中查看复合得分。你还可以根据各次运行的平均复合得分对实验进行过滤和排序。
• 点击进入某个实验，查看每次运行的复合得分。

NOTE

如果某个运行上没有配置其中任一组成评估器，则不会为该运行计算复合得分。

---