主题
示例数据格式
LangSmith 以如下形式在数据集中存储示例:
| 字段名 | 类型 | 说明 |
|---|---|---|
| id | UUID | 示例的唯一标识。 |
| name | string | 示例的名称。 |
| created_at | datetime | 该示例的创建时间 |
| modified_at | datetime | 该示例的最后修改时间 |
| inputs | object | 该示例的输入映射。 |
| outputs | object | 由该运行生成的一份或一组输出映射。 |
| dataset_id | UUID | 该示例所属的数据集 |
| source_run_id | UUID | 对于由 LangSmith Run 创建的示例,指该运行的 ID |
| source_thread_id | string | 对于由 线程 或线程中某次运行创建的示例,指该线程的 ID |
| metadata | object | 可存放在示例上的额外信息映射,由用户或 SDK 定义。 |
想进一步了解示例在评估中的用法,请阅读评估 LLM 应用的操作指南。
TIP
outputs 字段也可以存放断言,即评审者针对正确答案写下的自由形式论断。离线评估器会从 reference_outputs["assertions"] 中读取它们。