如何审计评估器得分

LLM-as-a-judge 评估器并非总是判断正确。因此，人工手动审计评估器留下的得分并在必要时进行纠正往往很有用。LangSmith 允许你在 UI 或 SDK 中更正评估器得分。

在对比视图中

在对比视图中，你可以点击任意反馈标签以打开反馈详情。然后，点击右侧的 "编辑" 图标以打开更正视图。接着，你可以在 "进行更正" 下的文本框中输入所需得分。如果你愿意，还可以为更正附加一条说明。如果你使用 few-shot 评估器，这会很有用，它会自动插入到你的 few-shot 示例中，替代 few_shot_explanation 提示词变量。

在运行表中

在运行表中，找到 "反馈" 列并点击反馈标签以打开反馈详情。同样，点击右侧的 "编辑" 图标以打开更正视图。

在 SDK 中

可以通过 SDK 的 update_feedback 函数并使用 correction 字典来进行更正。你必须指定一个 score 键，其值为数字，这样才能在 UI 中渲染。

Python

import langsmith

client = langsmith.Client()

client.update_feedback(
    my_feedback_id,
    correction={
        "score": 1,
    },
)

TypeScript

import { Client } from 'langsmith';

const client = new Client();

await client.updateFeedback(
    myFeedbackId,
    {
        correction: {
            score: 1,
        }
    }
)

---