Skip to content
LangSmith 文档版本 跟随上游 源快照 60232e2a 更新于 2026-10-18

设置复合在线评估器

在线评估为生产环境的追踪提供实时反馈。这有助于持续监控应用性能:发现问题、衡量改进并确保长期稳定的质量。

复合评估器可将多个评估器分数合并为一个分数。当你希望评估应用的多个方面并将结果合并为单一结果时,这很有用。

NOTE

当在线评估器对追踪中的任意运行执行评估时,该追踪会自动升级为扩展数据保留期。此升级会影响追踪计费,但可确保符合评估条件的追踪(通常是最有分析价值的追踪)被保留下来以供调查。

查看在线评估器

转到 Tracing Projects 标签页并选择一个追踪项目。要查看该项目现有的在线评估器,请点击 Evaluators 标签页。

配置复合在线评估器

你可以在追踪项目上为在线评估创建复合评估器。通过 UI 中的复合评估器,你可以计算多个评估器分数的加权平均值或加权和,并配置各项权重。

1. 导航到追踪项目

要开始配置复合评估器,请转到 Tracing 页面并选择一个追踪项目。

在追踪项目视图中,转到 Evaluators 标签页。点击 + Evaluator 打开 Add Evaluator 面板。在 Create from scratch 下点击 Composite Score。

2. 配置复合评估器

  1. 为你的评估器命名。
  2. 选择聚合方式,可以是 Average 或 Sum。
    • Average:∑(weight*score) / ∑(weight)。
    • Sum:∑(weight*score)。
  3. 添加你希望包含在复合得分中的反馈键。
  4. 为这些反馈键添加权重。默认情况下,每个反馈键的权重相等。调整权重可以提高或降低特定反馈键在最终得分中的重要性。
  5. 点击 Create 保存该评估器。

TIP

如果你需要调整复合得分的权重,可以在评估器创建之后再进行更新。所有配置了该评估器的运行,其结果得分都会相应更新。

3. 查看复合评估器结果

复合分数会作为 feedback 附加到运行上,与单个评估器产生的反馈类似。

在追踪项目上:

  • 复合得分会作为运行的反馈显示。
  • 过滤出具有复合得分、或复合得分满足特定阈值的运行。
  • 创建图表以可视化复合得分随时间的变化趋势。

NOTE

如果某个运行上没有配置其中任一组成评估器,则不会为该运行计算复合得分。


BytesRouter 是社区翻译站点,所有译文仅供参考,一切以官方英文原文为准。