从 Playground 运行评估

LangSmith 允许你直接在 UI 中运行评估。Playground允许你在一系列输入上测试提示词或模型配置，查看其在不同上下文或场景中的评分表现，而无需编写任何代码。

运行评估前，你需要有一个现有数据集。了解如何从 UI 创建数据集。

如果改为从 Studio 运行评估，请参阅在 Studio 中对数据集运行实验。如果你更愿意在代码中运行实验，请参阅使用 SDK 运行评估。

INFO

Chat 可在 Playground 中使用，帮助你在运行评估前优化提示词。

在 Playground 中创建实验

1. 在侧边栏中点击 Playground。

2. 通过选择现有已保存的提示词或创建新提示词来添加提示词。

3. 从 Test over dataset 下拉列表中选择数据集

   • 请注意，数据集输入中的键必须与提示词的输入变量匹配。例如，在上面的视频中，所选数据集的输入键为 "blog"，与提示词的输入变量正确匹配。
   • Playground 中最多允许 15 个输入变量。

4. 点击 Start 或按 CMD+Enter 启动实验。这会在数据集的所有示例上运行提示词，并在数据集详情页中为实验创建条目。我们建议在启动实验前将提示词提交到提示词 hub，以便之后查看实验时轻松引用。

5. 点击 View full experiment 查看完整结果。这将带你进入实验详情页，你可以在那里查看实验结果。

实验运行期间，实验表格中的 Progress 列和实验视图中的进度条会实时跟踪完成情况，包括已完成和已评估的 run 数量。有关更多信息，请参阅跟踪实验进度。

为实验添加评估分数

通过添加评估器，按特定标准评估你的实验。在 Playground 中使用 +Evaluator 按钮添加 LLM-as-a-judge 或自定义代码评估器。

要进一步了解如何通过 UI 添加评估器，请访问如何定义 LLM-as-a-judge 评估器。

---