分析实验

本页介绍在 LangSmith 中使用实验的一些基本任务：

• 分析单个实验：查看并解读实验结果、自定义列、过滤数据以及比较运行。
• 在实验标签页视图中设置基线：为你想要超越的数据集设置基线。
• 在实验标签页视图中按模型、提示词和工具进行过滤和分组：使用模型、提示词和工具列在实验标签页视图中过滤和分组实验。
• 将实验结果下载为 CSV：导出你的实验数据以供外部分析和分享。
• 重命名实验：在 Playground 和实验视图中更新实验名称。

分析单个实验

运行实验后，你可以使用 LangSmith 的实验视图来分析结果，并就实验的表现得出结论。

打开实验视图

要打开实验视图，

1. 在数据集与实验页面选择相关的数据集，该页面会打开实验标签页视图。
2. 点击你想要查看的实验所在的行。

查看实验结果

自定义列

默认情况下，实验视图会显示数据集中每个示例的输入、输出和参考输出，以及来自评估的反馈得分和实验指标，如成本、token 数、延迟和状态。

你可以点击视图右上角的列图标来自定义列，从而更轻松地解读实验结果：

• 将输入、输出和参考输出中的字段拆分为独立的列。当你的输入/输出/参考输出很长、并且想要突出显示重要字段时，这尤其有用。
• 隐藏和重新排列列，以创建专注于分析的视图。
• 控制反馈得分的小数精度。默认情况下，LangSmith 显示数值型反馈得分时保留 2 位小数，但你可以将此设置自定义为最多 6 位小数。
• 设置热力图阈值：为你实验中的数值型反馈得分设置高、中、低阈值，这会影响得分标签渲染为红色或绿色所依据的阈值：

TIP

你可以为整个数据集设置默认配置，或者临时保存仅对自己生效的设置。

排序与过滤

要按反馈得分对行进行排序，请点击列标题中的排序依据图标。

要过滤行，请点击

•

列标题中的图标，并配置你的过滤设置。

表格视图

在实验视图右上角选择三种表格视图图标之一：

• 紧凑：将每次运行显示为单行，便于快速比较得分。
• 完整：显示每次运行的完整输出。
• 差异：显示每次运行的参考输出与输出之间的文本差异。

查看追踪

点击实验视图中的任意一行以打开详情面板，该面板会显示该次运行的追踪以及反馈、输入、输出和属性。

要查看整个追踪项目，请点击实验视图右上角的查看项目图标。

查看评估器运行

将鼠标悬停在评估器得分上，即可查看有关该次评估器运行的更多详情。对于 LLM-as-a-judge 评估器，点击来源链接可查看所用的提示词，或点击评估器追踪在新浏览器标签页中打开追踪。对于带重复的实验，点击聚合平均得分可查看指向所有单次运行的链接。

跟踪实验进度

对于从 Playground 或通过 SDK 运行的实验，实验标题中的进度条会实时跟踪完成情况。相同的进度也会显示在实验表格的进度列中。进度同时反映运行状态和评估状态。将鼠标悬停在进度条上可查看已完成运行数和已评估运行数。

NOTE

通过 SDK 运行的实验的进度跟踪需要：

• Python：langsmith>=0.8.16
• TypeScript：langsmith>=0.7.8

按元数据对结果分组

你可以向示例添加元数据，以便对其进行分类和组织。例如，如果你正在评估问答数据集上的事实准确性，元数据可以包含每个问题所属的学科领域。元数据可以通过界面或通过 SDK添加。

要按元数据分析结果，请使用实验视图右上角的分组依据图标，并选择你想要的元数据键。这会显示每个元数据分组的平均反馈得分、延迟、总 token 数和成本。

INFO

你只能对 2025 年 2 月 20 日之后创建的实验按示例元数据进行分组。该日期之前的实验仍然可以按元数据分组，但前提是元数据位于实验追踪本身之上。

重复

如果你使用重复运行了实验，请点击任意一行以打开详情面板。重复摘要会显示一个指标表格、所有反馈得分，并允许你切换输出或查看带有追踪的单次重复。

与另一个实验比较

在实验视图的右上角，你可以选择另一个实验进行比较。这会打开一个对比视图，你可以在其中查看两个实验的对比情况。要详细了解对比视图，请参阅如何比较实验结果。

在实验标签页视图中设置基线

虽然你可能运行几十个测试，但你通常会有一个想要超越的特定基准。设置基线可以将你的结果锚定到这个参考点上，从而让你在拥挤的实验列表中识别出改进或回退。

通过指定基线，你可以：

• 突出显示一个参考：明确标记表现最好的运行，使其在你迭代时始终显示在实验标签页视图的顶部。
• 查看即时差异：自动查看所有实验之间的性能增量，这意味着你不必手动进行并排选择。
• 加速评估：快速确定新的迭代是否达到或超过你当前的性能标准。

要为数据集设置基线：

1. 在 LangSmith UI 中，导航到左侧菜单中的数据集与实验选项。
2. 从表格中选择你想要操作的数据集。
3. 在实验标签页视图中，将鼠标悬停在某个实验行上，行右端会显示设置基线按钮。点击以选择你的基线实验。

你的基线实验会固定到表格顶部，并在其名称旁带有基线标签。一旦某个实验被设为基线，表格就会为每一列显示每个实验相对于基线的得分。当你选择多个实验进行比较时，基线实验将成为默认被比较的源实验。

在实验标签页视图中按模型、提示词和工具进行过滤和分组

实验表格包含模型、提示词和工具列，用于显示每个实验所使用的模型、提示词和工具，让你一眼就能更轻松地了解各次运行之间发生了什么变化。

当你从 Playground 运行实验时，这些列会自动填充。通过 SDK 运行实验时，请向 evaluate() 传入带 models、prompts 和 tools 键的 metadata 对象：

results = client.evaluate(
    target,
    data="my-dataset",
    evaluators=[...],
    metadata={
        "models": "openai:gpt-5.4-mini",
        "prompts": ["my-org/my-prompt:abc12345"],
        "tools": [{"name": "web_search", "description": "Search the web for information"}],
    },
)

有关使用元数据的示例，请参阅如何评估 LLM 应用。

只有当数据集中至少有一个实验设置了该字段时，这些列才会出现。填充后，点击这些列中的某个值即可过滤或分组实验。

你还可以在实验标签页视图的左上角按模型、模型服务商、提示词、提示词提交、工具以及其他实验元数据进行过滤和分组：

将实验结果下载为 CSV

LangSmith 允许你将实验结果下载为 CSV 文件，以便进行外部分析和分享。点击实验视图右上角的下载为 CSV图标。

NOTE

CSV 导出始终包含所有列，无论你在实验视图中应用了任何列自定义、排序或过滤。列的可见性设置仅影响屏幕上的显示，不会反映在下载的文件中。

NOTE

实验结果的下载限制为 5,000 行。

重命名实验

NOTE

实验名称在每个工作区内必须唯一。

你可以在 LangSmith UI 中的以下位置重命名实验：

• 实验视图：使用实验名称旁边的铅笔图标重命名实验。

  

• Playground：会自动分配一个格式为 pg::prompt-name::model::uuid（例如 pg::gpt-5.4-mini::897ee630）的默认名称。你可以在运行实验后立即在 Playground 表格标题中编辑其名称来重命名实验。

  

---