主题
使用人工反馈改进 LLM 作为评判者的评估器
可靠的LLM 作为评判者的评估器对于就 AI 应用程序（例如提示、模型、架构变更）做出明智决策至关重要。正确定义评估器提示可能很困难，但它直接影响评估的可信度。
本指南介绍如何使用人工反馈对齐 LLM 作为评判者的评估器，以提高评估器质量并帮助你构建可靠的 AI 应用程序。
工作原理
LangSmith 的 Align Evaluator 功能包含一系列步骤，可帮助你将 LLM 作为评判者的评估器与人类专家反馈对齐。你可以使用此功能对齐在数据集上运行的评估器，用于离线评估或在线评估。无论哪种情况，步骤都类似：
- 选择实验或运行，其中包含你的应用程序的输出。
- 将选定的实验或运行添加到标注队列，由人类专家标注数据。
- 根据标注示例测试你的 LLM 作为评判者的评估器提示。检查评估器结果与标注数据不一致的情况。这表明你的评估器提示需要改进。
- 改进并重复以提高评估器对齐度。更新 LLM 作为评判者的评估器提示并再次测试。
前置条件
离线评估
在线评估
- 一个已向 LangSmith 发送追踪的应用程序。
- 通过其中一个追踪集成进行配置即可开始。
入门
你可以在数据集和追踪项目中为新评估器和现有评估器进入对齐流程。
| 数据集评估器 | 追踪项目评估器 | |
|---|---|---|
| 从头创建对齐的评估器 | 1. Datasets & Experiments 并选择你的数据集 2. 点击 + Evaluator > Create from labeled data 3. 输入描述性的反馈键名称（例如 correctness、hallucination） | 1. Projects 并选择你的项目 2. 点击 + New > Evaluator > Create from labeled data 3. 输入描述性的反馈键名称（例如 correctness、hallucination） |
| 对齐现有评估器 | 1. Datasets & Experiments > 选择你的数据集 > Evaluators 选项卡 2. 在 Align Evaluator with experiment data 框中，点击 Select Experiments | 1. Projects > 选择你的项目 > Evaluators 选项卡 2. 在 Align Evaluator with experiment data 框中，点击 Select Experiments |
1. 选择实验或运行
选择一个或多个实验（或运行）发送进行人工标注。这会将运行添加到标注队列。
要将任何新的实验/运行添加到现有标注队列，请前往 Evaluators 选项卡，选择你正在对齐的评估器，然后点击 Add to Queue。
TIP
数据集应能代表你期望在生产环境中看到的输入和输出。
虽然你不需要覆盖所有可能的场景，但重要的是包含涵盖完整预期用例范围的示例。例如，如果你正在构建一个回答棒球、篮球和橄榄球问题的体育机器人，你的数据集应至少包含每种运动的一个标注示例。
2. 标注示例
通过添加反馈分数在标注队列中标注示例。标注示例后，点击 Add to Reference Dataset。
TIP
如果你的实验中有大量示例，开始时不需标注每个示例。我们建议至少从 20 个示例开始，之后可以随时添加更多。我们建议你标注的示例具有多样性（0 和 1 标签均衡），以确保构建出全面的评估器提示。
3. 根据标注示例测试评估器提示
获得标注示例后，下一步是迭代评估器提示，尽可能模仿标注数据。此迭代在 Evaluator Playground 中进行。
要进入评估器 Playground：点击评估器队列右上角的 View evaluator 按钮。这会带你进入正在对齐的评估器详情页。点击 Evaluator Playground 按钮以访问 Playground。
在评估器 Playground 中，你可以创建或编辑评估器提示，并点击 Start Alignment 在步骤 2 中创建的标注示例集上运行它。运行评估器后，你将看到其生成的分数与人工标签的比较。对齐分数是评估器判断与人类专家判断匹配的示例百分比。
4. 重复以提高评估器对齐度
通过更新提示并再次测试来迭代，以提高评估器对齐度。
TIP
评估器提示的更新默认不会保存。我们建议定期保存评估器提示，尤其是在看到对齐分数提高之后。
评估器 Playground 会显示最近保存的评估器提示版本的对齐分数，供你在迭代提示时进行比较。
提高评估器的对齐分数并非精确科学，但有一些策略有助于提高对齐分数。
提高评估器对齐度的技巧
1. 调查未对齐的示例
深入研究未对齐的示例，并尝试将它们归类为常见失败模式，是提高评估器对齐度的良好第一步。
确定常见失败模式后，在评估器提示中添加说明，让 LLM 了解这些模式。例如，如果你注意到它不理解特定缩写，可以解释“MFA 代表‘multi-factor authentication’”。或者，如果它对你评估器上下文中好/坏的含义感到困惑，可以告诉它“好的回复始终应包含至少 3 家可预订的潜在酒店”。
2. 检查 LLM 分数背后的推理
要了解 LLM 为何给某个示例打出该分数，你可以为 LLM 作为评判者的评估器启用推理。推理有助于理解 LLM 的思考过程，并可以帮助你识别常见失败模式，以便将其纳入评估器提示中。
要在评估器 Playground 中查看推理，请将鼠标悬停在 LLM 分数上。
这将在评估器 Playground 中显示 LLM 分数背后的推理。
3. 添加更多标注示例并验证性能
为避免对标注示例过拟合，重要的是添加更多标注示例并测试性能，尤其是当你从少量示例开始时。