如何使用 few-shot 示例改进评估器

当你无法以编程方式评估系统时，使用 LLM-as-a-judge 评估器会非常有帮助。然而，其有效性取决于评估器的质量及其与人工评审反馈的一致程度。LangSmith 提供了使用 few-shot 示例提高 LLM-as-a-judge 评估器与人类偏好一致性的能力。

人工修正会通过 few-shot 示例自动插入到你的评估器提示词中。Few-shot 示例是一种受 few-shot prompting 启发的技术，用少量高质量示例引导模型输出。

本指南介绍如何设置 few-shot 示例作为 LLM-as-a-judge 评估器的一部分，以及对反馈分数应用修正。

few-shot 示例如何工作

• Few-shot 示例通过 {Few-shot examples} 变量添加到你的评估器提示词中。
• 创建带有 few-shot 示例的评估器会自动为你创建一个数据集，当你开始进行修正后，该数据集会自动填充 few-shot 示例。
• 在运行时，这些示例会被插入评估器，作为其输出的指导。这有助于评估器更好地与人类偏好保持一致。

配置评估器

NOTE

使用 prompt hub 的 LLM-as-a-judge 评估器目前不支持 few-shot 示例，并且只兼容使用 mustache 格式化的提示词。

Few-shot 示例仅支持 run 级评估器，不支持线程级。请在 Configure Evaluator 面板中开启 Runs。

决策模型评估器不支持 few-shot 示例。

在启用 few-shot 示例之前，请先设置 LLM-as-a-judge 评估器。如果尚未设置，请遵循 LLM-as-a-judge 评估器指南中的步骤。

1. 配置变量映射

每个 few-shot 示例都会按照配置中指定的变量映射进行格式化。few-shot 示例的变量映射应包含与主提示词相同的变量，外加一个 few_shot_explanation 和一个 score 变量，后者应与你的反馈键同名。

例如，如果你的主提示词包含变量 question 和 response，评估器输出 correctness 分数，那么你的 few-shot 提示词应包含变量 question、response、few_shot_explanation 和 correctness。

2. 指定要使用的 few-shot 示例数量

你还可以指定要使用的 few-shot 示例数量。默认值为 5。如果你的示例很长，可能希望将该数字调低以节省 token；而如果你的示例通常较短，可以设置更高的数字，为评估器提供更多可学习的示例。如果数据集中的示例多于该数字，我们会为你随机选择。

进行修正

INFO

审计评估器分数

当你开始记录追踪或运行实验时，可能会不同意评估器给出的某些分数。当你对这些分数进行修正时，会看到修正数据集中开始填充示例。修正时请务必附上说明——这些说明会填充到评估器提示词中 few_shot_explanation 变量的位置。

few-shot 示例的输入将是你链/数据集中的 inputs、outputs 和 reference（如果这是离线评估器）的相关字段。输出将是修正后的评估器分数以及你在留下修正时创建的说明。你可以随意按需编辑。以下是修正数据集中 few-shot 示例的示例：

请注意，修正可能需要一两分钟才能填充到 few-shot 数据集。一旦填充完成，评估器未来的运行会在提示词中包含它们！

查看修正数据集

要查看修正数据集：

• 在线评估器：选择你的 run 规则并点击 Edit Rule
• 离线评估器：选择你的评估器并点击 Edit Evaluator

前往 Improve evaluator accuracy using few-shot examples 部分链接的修正数据集。你可以在该数据集中查看和更新 few-shot 示例。

---