主题
LangSmith 中的告警
NOTE
自托管版本要求：使用告警功能需要 Helm chart 版本为 0.10.3 或更高。
LLM 应用的有效可观测性需要主动检测故障、性能退化和回归。LangSmith 的告警功能有助于识别以下关键问题：
- 来自模型服务商的 API 速率限制违规。
- 应用延迟上升。
- 影响反映终端用户体验的反馈得分的应用变更。
- LLM 使用量带来的意外成本激增。
LangSmith 中的告警以项目为作用域，需要为每个受监控的项目单独配置。
TIP
告警可以路由到 Slack、PagerDuty、Dynatrace，或通过 webhook 发送到任何 HTTP 端点。Webhook 标签页包含面向 Microsoft Teams、电子邮件、自托管部署上的 Slack 以及 Google Chat（需要中间件）的示例配方。
按照以下步骤配置告警。
步骤 1：导航到创建告警
在 UI 中，导航到你想要为其配置告警的 Tracing 项目。点击页面右上角的 Alerts 图标，即可查看该项目的现有告警并设置新的告警。
步骤 2：选择指标类型
LangSmith 针对以下指标提供基于阈值的告警：
| 指标类型 | 描述 | 使用场景 |
|---|---|---|
| 运行数 | 跟踪某个时间窗口内的运行总数。 | 监控流水线是否按预期规模产生运行，并在其意外下降时告警。 |
| 成本 | 跟踪某个时间窗口内的运行总成本。 | 监控 LLM 支出，在成本超过预期阈值时告警。需要先配置成本跟踪。 |
| 错误 | 跟踪处于错误状态的运行。可对错误总数或错误百分比（出错运行占所有运行的比率）告警。 | 监控应用中的故障，或在错误率超过可接受阈值时告警。 |
| 反馈得分 | 衡量平均反馈得分。 | 跟踪来自终端用户的反馈或在线评估结果，以便在出现回归时告警。 |
| 延迟 | 衡量平均运行执行时间。 | 跟踪应用的延迟，以便在出现尖峰和性能瓶颈时告警。 |
此外，对于 错误 和 延迟，你可以使用过滤器构建器在 状态、运行类型、标签 和 错误 等字段上叠加条件。例如，你可以将错误告警限定为满足以下条件的运行：状态 为 error、运行类型 为 llm、标签 为 support_agent，且 错误 匹配 RateLimitExceeded。
步骤 3：定义告警条件
告警条件由若干部分组成：
- 聚合方法：平均值、百分比或计数。
- 比较运算符：
>=、<=或超过阈值。 - 阈值：触发告警的数值。
- 聚合窗口：用于计算指标的时间段（可选 5 或 15 分钟）。
- 反馈键（仅适用于反馈得分告警）：要监控的具体反馈指标。
示例： 截图中的配置会在过去 5 分钟内超过 5% 的运行出现错误时生成告警。
你可以在历史时间窗口内预览告警行为，以了解在选定阈值下（以红色标示）会有多少个数据点、以及哪些数据点会触发告警。例如，为某个项目设置 60 秒的平均延迟阈值，即可可视化潜在的告警，如下方截图所示。
步骤 4：配置通知渠道
使用 LangSmith 原生的 Slack 集成，将告警通知直接发送到 Slack 频道。无需自定义 webhook 或配置 Slack 应用。
NOTE
原生 Slack 通知类型仅在 LangSmith Cloud 上可用。对于自托管部署，请改用 Webhook 标签页中的 webhook Slack 配方。
前置条件
- 一个已连接到你的 LangSmith 组织的 Slack 工作区。如果你还没有连接，LangSmith 会在你配置此通知类型时就地提示你进行连接。
1. 配置 Slack 通知
- 在告警设置的 通知设置 部分，选择 Slack。
- 点击频道选择器。如果尚未链接 Slack 工作区，请点击 连接 Slack 并完成 OAuth 流程以授权 LangSmith。
- 从下拉列表中选择工作区和频道。如果频道没有立即出现，请点击刷新图标。
- 点击 保存 保存通知配置。
LangSmith 会自动加入你选择的公开频道。若要发布到私有频道，请先在 Slack 中把 @LangSmith 应用邀请到该频道。
2. 测试集成
点击 发送测试通知 以验证 LangSmith 能否访问该频道。在频道中查看测试消息。
通知格式
当告警触发时，LangSmith 会发布一条结构化的 Slack 消息，其中包含：
- 标题行：告警名称和你的 LangSmith 工作区名称。
- 详情行：指标属性、触发值、比较运算符、配置的阈值、聚合方法和时间窗口——例如：
Total Cost: $12.50 ≥ $5.00 · avg · 30 min。 - 操作按钮：查看告警（链接到 LangSmith 中的告警预览）和 查看运行（链接到触发该告警的已过滤运行）。
最佳实践
- 根据应用的关键性调整灵敏度
- 从较宽的阈值开始，并根据观察到的模式逐步细化
- 确保告警路由触达相应的值班人员