使用标注队列

标注队列为人工审核者提供了一套专注的工作流，用于将反馈附加到特定的运行或线程上。虽然你始终可以内联标注追踪，但标注队列允许你将运行和线程分组、指定评分标准，并跟踪审核者的进度。审核整个线程让你能够评估完整的多轮对话，捕捉单次运行无法捕获的质量信号。

INFO

你还可以使用 SDK 以编程方式管理标注队列和反馈配置。请参阅以编程方式管理反馈和标注队列。

要自定义审核期间运行输出的呈现方式，请为标注队列配置自定义输出渲染。

LangSmith 支持两种队列样式：

• 单运行标注队列一次呈现一个队列项（一个运行或一个线程），并让审核者提交你配置的任意评分标准反馈。对于运行项，单运行队列还支持断言，以捕获用于离线评估的验收标准。
• 成对标注队列（PAQ）将两个运行并排呈现，让审核者可以针对你定义的评分标准项，快速判断哪个输出更好（或两者是否等价）。

TIP

如需演示如何使用标注队列，请观看标注队列入门视频指南。

单运行标注队列

单运行队列一次呈现一个项，并让审核者提交你配置的任意评分标准反馈。它们可以直接从 LangSmith UI 的标注队列部分创建。一个队列可以混合包含运行项和线程项。线程项代表整个对话，并按照与运行项相同的评分标准进行审核。

运行项和线程项支持不同的能力：

能力	运行项	线程项
评分标准反馈	是	是
审核者备注	是	否
断言	是	否
添加到数据集	是	是
默认数据集	是	否
自动化规则	是	是

创建单运行队列

1. 在左侧导航中进入标注队列。
2. 点击左上角的 + 标注队列 打开创建标注队列面板。

基本信息

1. 填写队列的名称和描述。
2. 可选地选择一个应用。
3. 可选地选择默认数据集，以便将已审核的运行精简地导出到你 LangSmith 工作区中的数据集。默认数据集适用于对运行项使用添加到数据集时；线程项不支持默认数据集。

标注评分标准

1. 为你的标注者起草一些高层次的说明，这些说明会显示在每个项的侧边栏中。

2. 点击 + 添加反馈评分标准 向你的标注队列添加反馈键。标注者在每个项上都会看到这些反馈键。

3. 为每个反馈键添加描述；如果反馈类型是分类的，还要为每个类别添加简短描述。

   审核者在 UI 右侧窗格中看到说明和反馈详情。

协作者设置

设置你想要为某个协作者保留该项的审核者数量或最长时间。当一个项有多个标注者时，你可以选择让该项一直留在队列中，直到所有审核者都将其标记为完成。在这些设置中，“run”指的是任意队列项，包括线程项。设置如下：

• 所有工作区成员审核每次运行：启用后，项会一直留在队列中，直到每个工作区成员都将其审核标记为完成。

• 为运行启用预留：预留一个项会在设定的时间内将其锁定以供你审核。当一个项被预留时，其他审核者可以查看它，但不能添加反馈或备注。如果所有工作区成员都审核每次运行，则预留会被禁用。

  如果审核者查看了一个项，然后未将其标记为完成就离开，预留将在指定的预留时长后过期。该项随后会被释放回队列，并可由另一位审核者预留。

NOTE

对某个项的标注点击 重新排队 只会将当前项移到当前用户队列的末尾；它不会影响任何其他用户的队列顺序。它还会释放当前用户对该项的预留。

• 每次运行的审核者数量：这决定了必须有多少位审核者将某个项标记为完成，该项目才会从队列中移除。

  • 审核者无法查看其他审核者留下的反馈。
  • 对项的评论对所有审核者可见。

NOTE

当使用指派的审核者启用时，每次运行的审核者数量设置会被隐藏（见下文）。

• 使用指派的审核者：启用此开关以使用特定的工作区成员，而不是基于数量的阈值。启用后：

  • 会出现一个多选用户选择器，让你可以选择特定的工作区成员作为指派的审核者。
  • 只有当每个指派的审核者都提交了审核后，项才会被标记为已完成。队列项会经历三种状态：需要审核、需要他人审核和已完成。
  • 非指派的工作区成员仍然可以标注项，但他们的提交不计入完成。
  • 任何工作区成员都可以在队列设置中编辑指派的审核者列表。

NOTE

当你向一个已有已完成项的队列添加新的指派审核者时，那些项不会恢复为待处理状态。如果你移除某个指派审核者，他们尚未审核的任何项都会重新计算其完成状态。

由于这些设置，每位审核者可见的项数可能与队列总数不同。

编辑队列的设置

1. 打开你想要编辑的标注队列的编辑标注队列面板。你可以通过两种方式访问此面板：

   • 在标注队列列表中，点击队列行右端的操作图标

•

位于队列行的右端。从下拉菜单中选择

•

编辑。

• 在标注队列视图中，点击设置图标

•

（位于右上角）。

2. 在编辑标注队列面板中，修改你在创建队列时配置的任意设置，然后点击保存。

将运行和线程指派到单运行队列

有几种方式可以向单运行队列填充项：

• 从详情视图：在追踪项目中，点击任意一行以在详情视图中打开侧边面板。该面板提供两个操作，各自有固定的作用范围：

  • 添加到

+

：在运行标题中打开此菜单，然后选择添加到标注队列。这会将你选中的运行作为一个运行项添加。

• 将线程添加到标注队列

•

：在轨迹、轮次和详情标签页旁点击该图标。这会将整个线程作为一个线程项添加。

两个操作都会打开一个弹出框，你可以在其中选择一个现有队列或创建一个新队列。

NOTE

线程操作只会出现在使用 thread_id / session_id 元数据埋点的运行上。没有该元数据时，面板会单独打开该运行，并且只有运行操作可用。

• 从 Traces 或 Runs 标签页：在追踪项目中，选择追踪或运行标签页。使用行复选框选择一个或多个项。点击页面底部的添加到标注队列。使用要添加的内容将每个选择作为选定的运行或作为其整个线程加入队列。

  

• 从线程标签页：在追踪项目中，选择线程标签页。使用行复选框选择一个或多个项。点击页面底部的添加到标注队列。选中的线程会作为线程项添加。

  

• 自动化规则：设置一条规则，自动将匹配过滤器的运行或线程（例如出错的或用户得分低的）指派到队列中。

NOTE

规则入队的内容取决于其项类型。项类型为运行的规则会将运行项入队。项类型为线程的规则会在线程进入空闲状态后，将整个对话作为一个线程项入队。

• 数据集与实验：在数据集中选择一个或多个实验，然后点击**

•

标注按钮。选择添加到标注队列**，然后选择一个现有队列或创建一个新队列。实验标注流程会添加运行项。

NOTE

在一次操作中，你最多可以向标注队列添加 100 个运行或线程。要入队更多内容，请以 100 或更少为一批重复添加流程。

手动向标注队列添加运行或线程默认不会更改追踪保留期。除非有另一个操作显式延长保留期，否则追踪会保持为其项目配置的保留期。由自动化规则执行的添加则不同：对于标注队列操作，规则的延长数据保留期开关默认启用。运行规则会升级包含每个匹配运行的整个追踪，线程规则会升级匹配线程中的每个追踪。有关完整的保留期模型，请参阅数据保留期自动升级。

审核单运行队列

1. 通过左侧导航栏进入标注队列部分。

   队列列表包含一个已指派审核者列，显示每个队列指派了哪些审核者。要只查看指派给你的队列，请点击列表顶部的指派给我过滤器。

2. 点击你想要审核的队列。这会带你进入一个专注的、循环式的视图，显示队列中需要审核的项。左侧面板会列出队列项（运行和线程），并显示每一项的状态（需要审核、需要他人审核、已完成）。使用查看所有项打开完整的队列列表。

3. 审核当前项：

   • 运行项：在中间窗格检查输入和输出。添加审核者备注、为反馈标准打分，或将项标记为已审核。要构建数据集，请编辑运行的输入和输出以创建更正后的参考示例，然后点击添加到数据集。除了手工编写更正后的参考输出外，你还可以直接编写断言到审核侧边面板中，并将其保存为示例的预期输出。
   • 线程项：中间窗格会显示线程的对话记录。阅读对话记录并为其评分标准的反馈标准打分。点击查看项在对话预览中打开该线程。要将整个对话作为一个示例添加到数据集，请点击添加到数据集，然后选择一个数据集。要从选择器中创建数据集，请点击新建数据集。要了解线程示例包含哪些内容，请参阅在 UI 中创建和管理数据集。

   点击删除即可为所有用户从队列中移除该项，无论当前是否有任何预留或队列设置。

NOTE

对于线程项，你可以提交评分标准反馈并使用添加到数据集。审核者备注和断言不可用。请参阅能力表格比较运行项和线程项的能力。

在审核标注队列时提交的反馈和备注不会更改追踪的保留层级。

TIP

使用每个选项旁的键盘快捷键可以更快地审核项。

成对标注队列

成对标注队列（PAQ）将两个运行并排展示，使审核者能够对照你定义的评分标准项，快速判断哪个输出更好（或两者是否等价）。它们专为两个实验（通常是基线 vs. 候选模型）之间的快速 A/B 比较而设计，并且必须从 数据集与实验 页面创建。成对队列仅使用运行比较；它们不会将线程项入队。

创建成对队列

1. 导航到 数据集与实验，打开一个数据集，然后选择你想要比较的恰好两个实验。

2. 点击 标注。在弹出框中，选择 添加到成对标注队列。（在恰好选中两个实验之前，该按钮处于禁用状态。）

   

3. 决定是将实验发送到现有的成对队列，还是创建一个新队列。

4. 提供队列详情：

   • 基本信息（名称和描述）
   • 针对成对评分量身定制的 指令与评分标准
   • 协作者设置（审核者数量、预留、预留时长）

5. 提交表单以创建队列。LangSmith 会立即将两个实验中的运行配对，并填充队列。

默认情况下，创建或填充成对标注队列不会更改追踪保留期。运行会保持其加入队列之前的保留层级。

PAQ 的主要差异：

• 实验：你必须预先提供两个实验会话。LangSmith 会在创建期间按时间顺序自动配对它们的运行并填充队列。
• 评分标准：成对评分标准项只需一个反馈键和（可选的）描述。标注者需判断对于每个评分标准项，是运行 A、运行 B 更好，还是两者都好。
• 数据集：成对队列不使用默认数据集，因为比较跨越两个实验。
• 预留与审核者：应用相同的协作者控制。预留有助于防止两个人同时评判同一个比较。

向成对队列添加更多比较

如果你以后需要添加更多比较，请返回 数据集与实验，再次选择这两个实验，然后选择 添加到成对标注队列 以追加新的配对。

选择两个实验并创建 PAQ 会自动配对运行。在扩充现有 PAQ 时，LangSmith 会保留历史比较并向队列追加新的配对。

审核成对队列

1. 从 标注队列 中，选择你想要审核的成对队列。
2. 每个队列项在左侧显示运行 A，在右侧显示运行 B，并附上你的评分标准。
3. 对于每个评分标准项：
   • 选择 A 更好、B 更好 或 相等。UI 会在后台为两个运行记录二元反馈。
   • 使用快捷键 A、B 或 E 来锁定你的选择。
4. 完成所有评分标准项后，按 完成（或在最后一个评分标准项上按 Enter）以前往下一个比较。
5. 可选操作：
   • 留下与任一运行关联的评论。
   • 如果你需要稍后重新查看该比较，可以将其重新排入队列。
   • 打开详情视图以进行更深入的调试。

预留、审核者阈值和评论的行为与单运行队列中的完全一致，使团队无需修改现有工作流即可使用不同的队列类型。

TIP

考虑将已有用户反馈的运行（例如点踩）分别路由到单运行队列进行分诊，以及路由到成对队列与更强的基线进行正面对比。这有助于你快速识别回归。要详细了解如何从 LLM 应用捕获用户反馈，请参阅附加用户反馈指南。

视频指南

---