如何带重复次数进行评估

由于 LLM 输出不是确定性的、不同重复之间的结果可能有差异，多次重复能得到对系统表现更准确的估计。对于那些波动性很大的系统（例如智能体），重复次数是降低噪声的一种手段。

为实验配置重复次数

在 evaluate / aevaluate 函数上加可选的 num_repetitions 参数（Python、TypeScript），用来指定数据集中每个示例要评估多少次。例如数据集里有 5 个示例、设置 num_repetitions=5，那么每个示例会跑 5 次，合计 25 次运行。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=dataset_name,
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
    num_repetitions=3,
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: datasetName,
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
  numRepetitions: 3,
});

查看带重复次数的实验结果

如果你的实验使用了重复次数，输出结果列中会出现箭头，方便你在表格里查看输出。要看某一次重复的运行结果，把鼠标悬停在输出单元格上并点击展开视图。带重复次数运行实验时，LangSmith 会在表格中展示每个反馈得分的平均值；点击该反馈得分，即可查看各次运行的分数，或查看重复之间的标准差。

---