主题
用仪表盘监控项目
仪表盘为你提供对追踪数据的高层洞察，帮你发现趋势并监控你应用的健康状况。仪表盘在 LangSmith UI 的 Monitoring 中可用。
LangSmith 提供两种仪表盘类型：
- 预构建仪表盘：为每个追踪项目自动生成。
- 自定义仪表盘：你可以按需配置的图表集合。根据你的平台设置，有两种体验可用：
- 自定义仪表盘：对 LangSmith Cloud US 可用。
- 自定义仪表盘（遗留）：对 LangSmith Self-hosted 和 LangSmith Cloud EU/APAC 可用。
预构建仪表盘
预构建仪表盘会为每个项目自动创建，涵盖诸如追踪数、错误率、token 用量等关键指标。默认情况下，你可以用追踪项目页面右上角的 Dashboard 按钮，访问你追踪项目的预构建仪表盘。
仪表盘小节
预构建仪表盘被拆分为以下小节：
| 小节 | 它展示什么 |
|---|---|
| Traces | 追踪数、延迟和错误率。一条追踪是与单次操作相关的运行的集合。例如，若一个用户请求触发了一个 agent，那次 agent 调用的所有运行都会是同一条追踪的一部分。 |
| LLM Calls | LLM 调用数和延迟。包含运行类型为 "llm" 的所有运行。 |
| Cost & Tokens | 总和各追踪的 token 数与成本，按 token 类型细分。成本用 LangSmith 的成本跟踪衡量。 |
| Tools | 按工具名细分的工具运行的运行数、错误率和延迟统计。包含运行类型为 "tool" 的运行。限制为出现最频繁的前 5 个工具。 |
| Run Types | 根运行的直接子项的运行数、错误率和延迟统计。这有助于理解 agent 的高层执行路径。限制为出现最频繁的前 5 个运行名。 |
| Feedback Scores | 对出现最频繁的前 5 类反馈的聚合统计。图表对数值反馈展示平均分，对分类反馈展示类别计数。 |
Group by
你可以用 group by run 标签或元数据，按对你应用重要的属性来拆分数据。全局 group by 设置出现在仪表盘的右上角。注意 Tool 和 Run Type 图表已经应用了 group by，所以全局 group by 对它们不会生效。全局 group by 会应用到所有其他图表。
NOTE
在向运行添加元数据时，我们建议让追踪以及特定运行（例如 LLM 调用）都带上相同的元数据。元数据和标签不会从父运行传播到子运行，反之亦然。如果你想看到追踪图表和 LLM 调用图表都按某个元数据键分组，那么追踪（根运行）和 LLM 运行都需要附加那个元数据。
自定义仪表盘
NOTE
对 LangSmith Cloud US 可用。
创建为你应用最重要的指标做跟踪的定制化图表集合。
创建一个新仪表盘
- 导航到左侧边栏的 Monitoring 标签。
- 点击 + New Dashboard 按钮。
- 给你的仪表盘一个名字和描述。
- 点击 Create。
向你的仪表盘添加图表
- 在仪表盘内，点击 + New Chart 按钮打开图表创建面板。
- 用面板顶部的 Edit 图标给你的图表一个名字和描述。
图表配置
从模板开始（可选）
要从模板开始，选择一个模板，它们包含一些常见的可观测性用例：
- 随时间变化的错误率
- 按模型的平均延迟
- 运行量
- 随时间变化的 token 用量
- 最昂贵的模型
或者，用 Search templates 查找另一个模板。
选择一个追踪项目或数据集
打开 + Select project or dataset 以查找来源。用弹出框顶部的标签在两种来源类型之间切换。
- Tracing projects：按每个图表的需要添加一个或多个。指标是通过把运行跨所有所选项目池化为一个集合来计算的，而非按项目分别展示。要把结果按项目拆开，用 Group by。
- Datasets：每个图表选一个单一数据集。
- 选择第二个数据集会静默替换前一个。
- 一个图表要么以追踪项目为来源，要么以数据集为来源。在项目已被选择时选一个数据集（或反之）会清除现有选择。
选择一个指标
从下拉菜单选择一个指标。选项按你在衡量什么分组：
| 指标 | 描述 | 聚合 |
|---|---|---|
| Count | 运行数。 | — |
| Latency | 对 latency_seconds 聚合。 | Average、Percentile（p50 或 p99） |
| Time to first token | 对 first_token_seconds 聚合。 | Percentile（p50 或 p99）、Average |
| Tokens | 选 Total、Input 或 Output tokens。 | Sum、Average、Percentile |
| Cost | 选 Total、Input 或 Output cost。 | Sum、Average、Percentile |
| Feedback score | 选一个反馈键。 | Average、Minimum、Maximum |
| Ratio | 定义一个分子和分母，各是一个带自身过滤器的指标。对错误率、LLM 运行占比等很有用。 | — |
要用多个指标做过滤，阅读下面的 Filter and group 一节。
过滤与分组
用过滤器精化图表上出现的数据，并用一个分组把它拆成多个系列。
过滤器出现在哪里，取决于你的图表有多少个指标：
- 单指标：Filter & group 面板中有一个 + Filter（
where槽）。它应用于那个指标。 - 多指标或比率：每个指标（或比率）在 Pick a metric 下的卡片内各自有一个行内的 + Filter。没有单独的全图过滤器。
当你添加一个过滤器时，它默认在 运行层过滤。要扩大范围，打开过滤器选择器，然后是底部的 Advanced 子菜单，选择：
- Trace filter：在追踪（根运行）层过滤。
- Tree filter：只要追踪树中任一运行匹配条件，就包含整条追踪树。
活动范围会作为后缀出现在 Advanced 项上（例如 Advanced Tree Filter）。点击它旁边的 X 以重置回普通运行过滤器。
数据集来源不暴露运行/追踪/树过滤器。数据由所选数据集定范围。有关过滤器语法，参阅过滤追踪（ClickHouse）。
分组以两种方式之一在同一图表上创建多个系列：
- Group by：基于一个属性自动把数据拆分为系列。可用属性：Run Name、Run Type、Tag、Project、Metadata（带一个形如
metadata.ls_model_name的路径），以及 Feedback Label。分组按频率排序并封顶在前 20。 - Data series：用 Add another metric 按钮手动添加指标。每个系列可携带自己的过滤器，因此你可以比较，例如，在同一图表上比较"status 为 error 时的 count"与"status 为 success 时的 count"。
NOTE
在一个图表上，Group by 和多指标互斥。只允许一个 group-by 属性。甜甜圈、排序条形图和表格图表不支持多个数据系列（多余的会被丢弃或阻止）。
选择可视化
选择一个可视化类型：
- 折线图
- 堆叠条形图
- KPI
- 排序条形图
- 甜甜圈
- 表格
保存与管理图表
- 点击 Save 把你的图表保存到仪表盘。
- 通过点击图表右上角的三点按钮编辑或删除图表。
- 通过点击图表右上角的三线按钮并选择 + Clone 来克隆一个图表。这会打开一个带与原图相同配置的新图表创建面板。
排列你的仪表盘
- 重排图表：拖动任何图表的标题以在网格中移动它。
- 仪表盘时间范围：在仪表盘顶部设置一次。每个图表都用这个范围，除非它覆盖了自己的 bucket 大小。
- 克隆一个仪表盘：用仪表盘标题中的复制图标。克隆一个预构建仪表盘会把它的图表转换为完全可编辑的自定义图表。
自定义仪表盘（遗留）
NOTE
对 LangSmith Self-hosted 和 LangSmith Cloud EU/APAC 客户可用。
创建为你应用最重要的指标做跟踪的定制化图表集合。
创建一个新仪表盘
- 导航到左侧边栏的 Monitor 标签。
- 点击 + New Dashboard 按钮。
- 给你的仪表盘一个名字和描述。
- 点击 Create。
向你的仪表盘添加图表
- 在仪表盘内，点击 + New Chart 按钮打开图表创建面板。
- 给你的图表一个名字和描述。
- 配置该图表。
图表配置
选择追踪项目并过滤运行
- 选择一个或多个要为其跟踪指标的项目。
- 用 Chart filters 部分精化匹配的运行。这个过滤器应用于图表中所有数据系列。更多信息，查看过滤追踪（ClickHouse）指南。
选择一个指标
- 从下拉菜单选择一个指标来设置你图表的 y 轴。选好一个项目和一个指标后，你会看到图表和匹配运行的预览。
- 对某些指标（如延迟、token 用量、成本），LangSmith 支持用相同单位比较多个指标。例如，你可能想要一张能同时看到 prompt tokens 和 completion tokens 的图表。每个指标作为一条单独的线出现。
拆分数据
有两种方式在一个图表中创建多个系列（即在一张图中创建多条线）：
- Group by：按 run 标签或元数据、运行名或运行类型来对运行分组。Group by 会基于所选字段自动把数据拆分为多个系列。Group by 默认为按频率的前 5 个元素，可配置到 20。
- Data series：用单独的过滤器手动定义多个系列。这对比较单个指标内的细粒度数据很有用。
选择一个图表类型
- 在折线图和条形图之间选择一种用于可视化。
保存与管理图表
- 点击 Save 把你的图表保存到仪表盘。
- 通过点击图表右上角的三点按钮编辑或删除图表。
- 通过点击图表右上角的三线按钮并选择 + Clone 来克隆一个图表。这会打开一个带与原图相同配置的新图表创建面板。
从追踪项目链接到一个仪表盘
你可以从追踪项目直接链接到任何仪表盘。默认情况下，选中你追踪项目的预构建仪表盘。如果你有一个想改链接的自定义仪表盘：
- 在你的追踪项目中，点击 Dashboard 按钮旁边的三个点。
- 选择一个要设为新默认的仪表盘。
示例：用户旅程监控
用监控图表来映射 agent 在某个特定节点做出的决策。
考虑一个邮件助手 agent。在某个特定节点，它对一个邮件做出关于以下事项的决策：
- 回复一封邮件。
- 通知用户。
- 无需响应。
你可以创建一个图表来跟踪并可视化这些决策的细分。
创建图表
- 指标选择：选择指标
Run count。 - 图表过滤器：添加一个树过滤器以包含所有名为
triage_input的追踪。这意味着你只包含命中triage_input节点的追踪。再加一个Is Root为true的图表过滤器，使计数不被追踪中的节点数夸大。 - 数据系列：为
triage_input节点做出的每个决策创建一个数据系列。该决策的输出存储在输出对象的triage.response字段中，决策的值要么是no、email，要么notify。每个这些决策在图表中生成一个单独的数据系列。
现在你可以可视化在 triage_input 节点上随时间做出的决策。