评估快速开始

评估是一种量化衡量 LLM 应用性能的方式。LLM 可能行为不可预测，即便对提示、模型或输入的微小改动也会显著影响结果。评估提供了一种结构化的方式来识别失败、比较版本，并构建更可靠的 AI 应用。

在 LangSmith 中运行一次评估需要三个关键组件：

• 数据集：一组测试输入（以及可选的，预期输出）。
• 目标函数：你应用中你想测试的部分——这可能是带一个新提示的单个 LLM 调用、一个模块，或你的整个工作流。
• 评估器：为你目标函数的输出打分的函数。

本快速开始引导你运行一个检查 LLM 响应正确性的入门评估，使用 LangSmith SDK 或 UI。

前置条件

开始之前，请确保你拥有：

• 一个 LangSmith 账户：在 smith.langchain.com 注册或登录。
• 一个 LangSmith API 密钥：遵循创建 API 密钥指南。
• 一个 OpenAI API 密钥：从 OpenAI 仪表板生成它。

选择 UI 或 SDK 过滤器以查看说明：

1. 设置工作区机密

在 LangSmith UI 中，确保你的 API 密钥已设置为工作区密钥。

1. 导航到

•

Settings，然后移到 Secrets 标签。 2. 选择 Add secret，输入键环境变量（例如 OPENAI_API_KEY 或 ANTHROPIC_API_KEY）以及你的 API 密钥作为 Value。 3. 选择 Save secret。

NOTE

在 LangSmith UI 中添加工作区机密时，请确保机密键与你的模型提供商所期待的环境变量名相匹配。

NOTE

如果你的提供商用 OAuth2 client_credentials 进行身份验证，请改为在模型配置上配置这些凭据。那种情况下不需要工作区机密。参阅 OAuth 客户端凭据。

2. 创建一个提示

Playground让你能够针对不同提示、新模型或测试不同模型配置来运行评估。

1. 在 LangSmith UI中，点击侧边栏的 Playground。

2. 在 Prompts 面板下，把 system 提示修改为：

   Answer the following question accurately:

   让 Human 消息保持原样：{question}。

3. 创建一个数据集

1. 点击 Set up Evaluation，它会在页面底部打开一个 New Experiment 表格。

2. 在 Select or create a new dataset 下拉菜单中，点击 + New 按钮以创建一个新数据集。

   <div >
     <img src="/langsmith-img/5a78092871d8.png" alt="Playground with the edited system prompt and new experiment with the dropdown for creating a new dataset." width="1422" height="743" />
   
     <img src="/langsmith-img/b40e0b51bb82.png" alt="Playground with the edited system prompt and new experiment with the dropdown for creating a new dataset." width="1421" height="736" />
   </div>
   

3. 把以下示例添加到数据集：

   输入	参考输出
   question: Which country is Mount Kilimanjaro located in?	output: Mount Kilimanjaro is located in Tanzania.
   question: What is Earth's lowest point?	output: Earth's lowest point is The Dead Sea.

4. 点击 Save 并输入一个名称，以保存你新创建的数据集。

4. 添加一个评估器

1. 点击 + Evaluator 并从 Prebuilt Evaluator 选项中选择 Correctness。
2. 在 Correctness 面板中，点击 Save。

5. 运行你的评估

1. 选择

•

Start 于右上角以运行你的评估。这会创建一个带 New Experiment 表格中预览的实验。你可以通过点击实验名完整查看它。

   <div >
     <img src="/langsmith-img/afbcfe07446b.png" alt="Full experiment view of the results that used the example dataset." width="1241" height="671" />

     <img src="/langsmith-img/33a465343351.png" alt="Full experiment view of the results that used the example dataset." width="1241" height="665" />
   </div>

后续步骤

TIP

要了解更多关于在 LangSmith 中运行实验的内容，阅读评估概念指南。

• 有关评估的更多详情，参阅评估文档。
• 学习如何在 UI 中创建和管理数据集。
• 学习如何从 Playground 运行一次评估。

---