设置自动化规则

虽然你可以手动筛查并处理 LLM 应用的生产日志，但当应用扩展到更多用户时，这往往会变得困难。LangSmith 提供 Automations，让你能够在追踪数据上触发某些动作。你通过 item type（项目类型）、filter（过滤器）、sampling rate（采样率）和 action（动作）来定义一个自动化。

自动化规则可以触发诸如以下动作：将追踪添加到数据集、添加到标注队列、触发 webhook（例如用于远程评估）或延长数据保留。一条规则会根据你选择的 item type，匹配单个运行或整个线程。你可以设置的一些自动化示例：

• 将所有带有负面反馈的追踪发送到标注队列以进行人工复核。
• 将所有追踪或线程的 10% 发送到标注队列，以进行人工抽查以发现问题。
• 将所有评估器得分低的追踪发布到你的 webhook 端点。
• 对所有带错误的追踪升级为延长数据保留。

INFO

要配置在线评估，请访问在线评估页面。

NOTE

当为某条规则启用保留延长时，自动化规则可以将匹配的追踪升级到延长数据保留。此升级会影响追踪定价，但能确保符合你自动化条件的追踪（通常是那些对分析最有价值的）被保留下来以供调查。每种动作类型都有自己的默认值，详情参阅动作级保留设置。有关完整的保留模型，请参阅数据保留自动升级。

自动化规则如何执行

每条自动化规则都按独立的轮询时间表运行。如果你在同一项目上有多条规则，一条 webhook 规则可能会在某条评估器规则为其打分之前先处理某个运行，反之亦然。

在单条规则内，如果配置了多个动作，它们按以下顺序执行：

1. 添加到标注队列。
2. 添加到数据集。
3. 触发 webhook。
4. 运行在线评估器。
5. 运行自定义代码评估器。
6. 延长数据保留。
7. 触发告警。

如果你的工作流需要在某条规则触发时存在另一条规则所产生的数据——例如，你希望某个 webhook 包含一个评估分数——请在下游规则上使用过滤器来显式建立那种依赖。示例参阅确保评估在 webhook 触发前完成。

将 item type 设为 runs 或 threads

Item Type 控件决定一条规则匹配什么。将其设为 Runs，规则会在每个匹配的运行到达时评估它。将其设为 Threads，规则会等到一次对话完成，然后对整个线程应用一次它的动作。当你想要复核或导出的单元是完整对话而非单个轮次时，选择 Threads。

线程规则需要一个能将追踪归组为线程的追踪项目。更多信息参阅配置线程。

配置线程规则

选择 Threads 会改变规则表单的三个部分：

• Thread Filters：过滤器构建器会向可用字段添加 Trace Count 和 Thread ID。对 Trace Count 进行过滤，可将一条规则限定到给定长度的对话。其他字段是逐个评估线程内的每条追踪，而非把线程当作整体，因此当线程中任一追踪匹配时，该线程即匹配。例如，对 Status 的过滤器会选取每个包含出错追踪的线程，而不仅仅是最后一条追踪出错的线程。
• Action：表单提供 Add to Annotation Queue、Add to Dataset 或 Trigger Webhooks。

三种线程动作的行为如下：

• Add to Annotation Queue：将线程作为一个 thread item 添加到队列。Thread item 显示对话文字记录，且仅支持评分标准反馈。有关 run item 与 thread item 的差异，参阅标注队列能力表。
• Add to Dataset：为每个匹配的线程创建一个数据集示例。每个示例都包含线程的完整对话。
• Trigger Webhooks：发送一个负载，其顶层 threads 数组容纳每个匹配的线程。更多信息参阅读取线程规则负载。

设置线程空闲时间

线程规则只在线程变为空闲后才起作用。一旦线程中的最后一条追踪被摄取，LangSmith 会等待该追踪项目配置的空闲时间过去，这表明对话已完成。空闲时间默认为 10 分钟，且不能设置为低于 2 分钟。

空闲时间是一个项目级设置，与多轮在线评估器共享。在一个项目上创建第一个线程规则会应用默认值，而不覆盖该项目已设置的值，并且更改该值会影响其中每个线程评估器和线程规则。

以下限制约束了线程规则的处理范围：

• 运行必须少于一周龄：当一个线程变为空闲时，只有过去 7 天内的运行符合条件。
• 每次执行最多 500 个线程：单次执行最多处理 500 个匹配的线程，按最近活动排序。

为线程延长数据保留

数据保留是追踪的属性，而非线程的属性。当一条线程规则启用了 Extend Data Retention 时，它会将匹配线程中的每条追踪都升级到延长保留，而不仅仅是最近的那条。

由于每条追踪都是单独升级的，更长的对话保留起来成本更高。作为交换，整个对话会被保留下来以供调查，而不是逐轮过期。

查看自动化规则

在 UI中，导航到侧边栏的 Tracing 并选择一个追踪项目。要查看该追踪项目现有的自动化规则，点击 Automations 标签。

创建规则

1. 在 UI中，导航到侧边栏的 Tracing 并选择一个追踪项目。在追踪项目页面的右上角点击 + New，然后点击 New Automation。

2. 为你的规则命名。

3. 选择一个 Item Type，即 Runs 或 Threads。item type 决定哪些过滤器字段和动作可用，因此在配置任一项之前先设置它。更多信息参阅将 item type 设为 runs 或 threads。

4. 创建一个过滤器。规则使用过滤器构建器，其字段和操作符与过滤追踪 (ClickHouse)中所述相同。

5. 配置一个 Sampling Rate，以控制过滤后项目的多大百分比会触发自动化动作。表单接受 0 到 100 之间的百分比。例如，50% 的采样率会把通过过滤器的一半项目发送到该动作。等效的 API 字段 sampling_rate 接受 0 到 1 之间的小数。

6. （可选）通过切换 Apply to Past Runs 并输入一个 Backfill From 日期，将规则应用到过去的运行。这只能在创建规则时进行。

NOTE

回填是作为后台作业处理的，因此你不会立即看到结果。为了跟踪回填的进度，你可以查看你的自动化的日志。

7. 选择规则执行的动作。item type 为 Runs 的规则支持下面所有动作。item type 为 Threads 的规则仅支持 Add to Annotation Queue、Add to Dataset 和 Trigger Webhooks。

   • Add to Annotation Queue：将匹配的运行或追踪作为一个 run item 添加到标注队列。线程规则则会将整个对话作为一个 thread item 添加。要手动添加线程，参阅分配运行和线程。
   • Add to Dataset：run 规则会将追踪的输入和输出添加到一个数据集。线程规则会为每个匹配的线程创建一个示例。每个示例都包含线程的完整对话。
   • Trigger Webhooks：将匹配的项目发布到规则上配置的每个 webhook URL。
   • Extend Data Retention：延长使用基础保留的匹配追踪的数据保留期（详情参阅数据保留文档）。

NOTE

 每个动作都有一个独立的 **Extend Data Retention** 切换，用于控制匹配的追踪是否被升级到延长保留。两种 item type 的默认值相同：

 * **Add to Dataset**：选择加入（默认：关）。启用切换以升级匹配的追踪。
 * **Add to Annotation Queue**：选择退出（默认：开）。禁用切换以跳过升级匹配的追踪。
 * **Trigger Webhooks**：选择加入（默认：关）。启用切换以升级匹配的追踪。
 * **Extend Data Retention** 动作以及在线/代码评估器：不变；始终升级匹配的追踪。

 对于线程规则，一个启用的切换会升级匹配线程中的每条追踪。更多信息参阅[为线程延长数据保留](#为线程延长数据保留)。

 每个动作的保留切换是一个仅限管理员的控制项，受 [`rules:configure-retention`](/langsmith/organization-workspace-operations#rules) 权限门控。非管理员的工作区成员会看到这些切换处于禁用状态且无法更改它们，但仍可以创建和编辑规则而不影响保留设置。有关完整的保留模型，参阅[数据保留自动升级](/langsmith/usage-and-billing#data-retention-auto-upgrades)。

查看你的自动化的日志

日志让你能够确信你的规则正按预期工作。你可以通过导航到追踪项目内的 Automations 标签，并为你创建的规则点击 Logs 按钮来查看自动化的日志。

日志标签允许你：

• 查看由某条规则在所选时间段内处理的所有运行。
• 如果某个特定的规则执行触发了错误，你可以通过将鼠标悬停在错误图标上查看错误消息。
• 你可以通过过滤到规则创建时间戳来监控回填作业的进度。这是因为回填从规则被创建时开始。
• 使用 View run 按钮检查自动化规则所应用到的运行。对于将运行作为示例添加到数据集的规则，你可以查看所产生的示例。

---