主题
设置 LangChain Tuned Evaluators
使用由 LangChain 托管的专门评判者，为追踪附加质量反馈。
NOTE
LangChain Tuned Evaluators 处于 beta 阶段。其接口和行为可能在正式发布前发生变化。
LangChain Tuned Evaluators 会将反馈附加到你的追踪上。每个评估器都使用一个为特定评估任务训练的专门评判者。LangChain 负责编写、测试、版本化并维护提示和评判模型，让你能够专注于使用反馈来发现和修复 agent 中的问题。
Perceived Error (Tuned) 会检测那些有证据表明 agent 犯了错、误解了请求或使交互偏离正确方向的对话。当用户似乎察觉到错误时它返回 true，否则返回 false。证据可以包括用户的纠正、重复的请求、被拒绝的动作、自相矛盾的响应、被承认的错误、持续存在的误解或未解决的结果。
使用 Perceived Error 反馈来：
- 找出那些既未产生系统错误、也未获得用户明确评分的失败。
- 筛选出需要调查的对话，并结合原始交互查看评估器的解释。
- 比较被标记的线程，以识别反复出现的失败模式。
- 将有用的线程添加到评估数据集中，或将含糊的情况送去人工复核。
- 针对从已追踪失败中抽取的示例来测试 agent 的变更。
了解 LangChain Tuned Evaluators 的工作方式
Add an evaluator
将一个 LangChain Tuned Evaluator 添加到兼容的追踪项目。
Identify an eligible thread
LangSmith 识别出一个满足评估器要求以及项目过滤器和采样配置的线程。
Evaluate the thread
由 LangChain 托管的专门评判者评估符合条件的线程。
Attach feedback
LangSmith 将结果及其解释作为反馈附加到线程上。
开始之前
在你添加 Perceived Error (Tuned) 之前：
- 必须由组织管理员为该组织启用 LangChain Tuned Evaluators。
- 来源必须是使用线程的追踪项目。Perceived Error (Tuned) 评估器无法在单个运行上运行。
- 线程追踪必须包含受支持的消息列表。至少一条非空的用户消息之后必须跟一条非空的 assistant 消息。
- 每个线程必须至少包含两条追踪，评估器才能运行。
启用 LangChain Tuned Evaluators
启用 LangChain Tuned Evaluators 后，成员可以将它们附加到整个组织的追踪项目上。评估数据使用 LangChain 托管的 API 密钥进行处理。
作为组织管理员启用 LangChain Tuned Evaluators：
- 在 LangSmith UI中，打开 Settings。
- 选择 Tuned evaluators。
- 打开 Enable LangChain Tuned evaluators 并接受条款。
组织管理员也可以在首次从评估器图库保存某个评估器时接受并启用 LangChain Tuned Evaluators。
将 LangChain Tuned Evaluator 添加到项目
将 Perceived Error (Tuned) 添加到追踪项目：
- 打开一个追踪项目并选择 Evaluators 标签。
- 选择 + Evaluator。
- 在 LangChain Tuned 下，选择 Perceived Error (Tuned)。
- （可选）配置过滤器和采样率。
- 点击 Save。
在创建评估器之前，LangSmith 会检查项目中最近的线程，寻找带有完整用户到 assistant 交换的受支持消息列表。
当项目为空，或没有任何最近的线程具有兼容的消息结构时，LangSmith 会阻止创建。
禁用 LangChain Tuned Evaluators
为该组织禁用 LangChain Tuned Evaluators：
- 打开 Settings 并选择 Tuned evaluators。
- 关闭 Enable LangChain Tuned evaluators。
禁用该功能会暂停已附加的 LangChain Tuned Evaluators。LangSmith 会保留它们的配置，当组织管理员重新启用该功能时它们会恢复。
查看使用费用
可用性和定价因 LangChain Tuned Evaluator 而异。LangSmith 仅对附加了反馈的评估运行收取 LCU。未附加反馈的被跳过和失败的评估尝试不计费。
与其他在线评估器一样，LangChain Tuned Evaluators 会将被评估的追踪升级到延长保留。这可能会增加追踪存储费用。当前费率请参阅 LangSmith 定价。有关保留升级和追踪费用的详情，请参阅数据保留自动升级。
排查 LangChain Tuned Evaluators 问题
项目为空
向追踪项目添加一个线程，然后再次尝试保存评估器。该线程必须包含受支持的消息列表，以及至少一次完整的用户到 assistant 交换。
项目不包含有效的消息列表
检查项目最近线程的输入和输出。它们的顶层 messages 字段必须包含受支持格式的消息列表，并且至少一条用户消息之后要跟一条 assistant 消息。
评估器不产生反馈
检查以下条件：
- 组织仍然启用了 LangChain Tuned Evaluators。
- 线程包含至少两条追踪。
- 项目的线程空闲时间已经过去。
- 线程匹配评估器的过滤器和采样配置。
- 线程以受支持的消息格式包含一次完整的用户到 assistant 交换。
要查看评估器活动，请打开追踪项目的 Evaluators 标签，并为该评估器选择 Logs。
启用该功能不会立即生效
组织设置可能需要几秒才能传播。如果 LangSmith 提示托管评估器设置仍在生效中，请等待几秒后重试。