反馈数据格式

TIP

在深入本页内容之前，先读一读下面这篇会更有帮助：

• 追踪与反馈的概念指南

反馈 是 LangSmith 存放评估标准与得分的方式，针对的是某条追踪或某个中间运行（跨度）。反馈可以由多种途径产生，例如：

1. 由 LLM 应用随追踪一起上报
2. 由用户在应用中内联标注，或在标注队列中标注
3. 由自动评估器在离线评估期间生成
4. 由在线评估器生成

反馈以简单的格式存储，包含以下字段：

字段名	类型	说明
id	UUID	记录本身的唯一标识
created_at	datetime	记录创建的时间戳
modified_at	datetime	记录最后一次修改的时间戳
session_id	UUID	该运行所属的实验或追踪项目的唯一标识。为某个运行创建反馈时必填。
run_id	UUID	会话中某次具体运行的唯一标识
start_time	datetime	该反馈所属运行的开始时间。可选，但提供它能让 LangSmith 更快处理反馈。
key	string	描述反馈标准的键，例如 'correctness'
score	number	与该反馈键关联的数值得分
value	string	预留用于存放与得分关联的值，对分类型反馈很有用。
comment	string	与该记录关联的任何评论或标注，可以用来给出得分理由。
correction	object	预留用于存放纠正详情（如有）
feedback_source	object	包含反馈来源信息的对象
feedback_source.type	string	反馈来源的类型，例如 'api'、'app'、'evaluator'
feedback_source.metadata	object	预留的额外元数据
feedback_source.user_id	UUID	提供反馈的用户的唯一标识

下面是上述格式下一个反馈记录的 JSON 示例：

{
  "created_at": "2024-05-05T23:23:11.077838",
  "modified_at": "2024-05-05T23:23:11.232962",
  "session_id": "c919298b-0af2-4517-97a2-0f98ed4a48f8",
  "run_id": "e26174e5-2190-4566-b970-7c3d9a621baa",
  "key": "correctness",
  "score": 1.0,
  "value": null,
  "comment": "I gave this score because the answer was correct.",
  "correction": null,
  "id": "62104630-c7f5-41dc-8ee2-0acee5c14224",
  "feedback_source": {
    "type": "app",
    "metadata": null,
    "user_id": "ad52b092-1346-42f4-a934-6e5521562fab"
  }
}

---