LangSmith 评估

借助数据集、评估器、提示词和 Studio，规模化地评估和测试 agent 质量。

LangSmith 的测试工具帮助你衡量 agent 质量、迭代提示词，并在交互式环境中实时调试。评估是测试的核心：它依据数据集和标准为 agent 的输出打分，让你能够对版本进行基准对比、捕获回归并长期跟踪质量。

将真实追踪添加到数据集，让曾经出现一次的失败变成每次都会运行的测试。

LangSmith 根据评估运行的时间和位置，支持两种类型的评估：

•Offline Evaluation

发布前先测试

在开发期间对精心整理的数据集运行评估，以比较版本、衡量性能并捕获回归。

•Online Evaluation

在生产中监控

实时评估真实用户交互，以发现问题并衡量线上流量的质量。

设置你的账号

•Create an account

在 smith.langchain.com 注册（无需信用卡）。 你可以使用 Google、GitHub 或电子邮件登录。

⚿Create an API key

转到你的设置页面 > API 密钥 > 创建 API 密钥。 复制该密钥并妥善保存。

账号和 API key 准备就绪后，运行你的第一次评估。

评估工作流

创建数据集

创建 dataset，包含

examples

来自人工整理的测试用例、历史生产追踪或合成数据生成。

定义评估器

创建

evaluators

来为表现评分：

• Human 评审
• Code 规则
• LLM-as-judge
• Pairwise 比较

运行实验

在数据集上执行你的应用，以创建一个

experiment

。配置重复次数、并发和缓存以优化运行。

分析结果

比较实验以进行基准测试、单元测试、回归测试 或 回测。

TIP

关于离线和在线评估差异的更多内容，请参阅评估概念页面。

开始使用

•Evaluation quickstart

从离线评估开始。

•Manage datasets

通过 UI 或 SDK 创建和管理用于评估的数据集。

•Run offline evaluations

探索评估类型、技术和框架，进行全面测试。

•Analyze results

查看和分析评估结果、比较实验、过滤数据并导出发现。

•Run online evaluations

在 Observability 标签页中实时监控生产质量。

▤Follow tutorials

通过分步教程学习，从简单聊天机器人到复杂 agent 评估。

•Studio

使用交互式环境开发和调试 agent。

NOTE

要设置 LangSmith 实例，请访问平台设置部分，在 cloud、hybrid 或 self-hosted 之间进行选择。所有选项都包括可观测性、评估、prompt 工程和部署。

---