主题
LangSmith Chat
使用 LangSmith 中的 Chat 分析追踪、线程、提示词和评估。
LangSmith Chat（前身为 Polly）直接内置于你的 LangSmith 工作区中，帮助你分析和理解你的应用程序数据。
Chat 帮助你在无需手动翻查数据的情况下，从追踪、对话线程和提示词中获得洞察。通过提出自然语言问题，你可以快速了解智能体性能、调试问题并分析用户情绪。
Chat 出现在 LangSmith UI 中以下位置的右下角：
可观测性与调试：
提示词工程：
- Playground：编辑和优化提示词。
- Prompt Hub 页面：探索和理解共享的提示词。
评估与测试：
开始使用
在开始使用 Chat 之前，你需要为你正在使用的模型添加一个 API 密钥：
在 LangSmith UI 中，确保你的 API 密钥已设置为工作区密钥。
- 导航到
Settings，然后转到 Secrets 标签页。 2. 选择 Add secret，输入键环境变量（例如 OPENAI_API_KEY 或 ANTHROPIC_API_KEY）以及你的 API 密钥作为 Value。 3. 选择 Save secret。
NOTE
在 LangSmith UI 中添加工作区密钥时，请确保密钥键与你的模型服务商所期望的环境变量名称匹配。
NOTE
如果你的服务商使用 OAuth2 client_credentials 进行身份认证，请改为在模型配置上配置凭据。在这种情况下不需要工作区密钥。请参阅 OAuth 客户端凭据。
NOTE
Chat 从 LangSmith 的出站 IP 地址调用模型服务商。如果你的模型服务商（或其前面的代理）按 IP 限制流量，请将允许列表 IP 地址中列出的 LangSmith 出站 IP 加入允许列表。
支持的模型
Chat 开箱即用地支持以下模型服务商：
- Anthropic (Claude)
- OpenAI
- Google Gemini
- AWS Bedrock
- Groq
- Mistral
- xAI
- DeepSeek
- Fireworks AI
你也可以通过在相应配置上启用 Available in Chat 开关，使用你在 Playground Settings 中配置的任何自定义模型。工作区管理员管理哪些自定义模型可用。
键盘快捷键
| 操作 | Mac | Windows/Linux |
|---|---|---|
| 切换 Chat 打开/关闭 | Cmd+I | Ctrl+I |
| 清除当前线程 | Cmd+Shift+O | Ctrl+Shift+O |
可观测性
项目
在项目的运行列表中，Chat 可以浏览和筛选整个项目中的运行、创建数据集并添加示例。使用 Chat 快速探索你的追踪中正在发生的事情，而无需手动逐页翻阅结果。
示例问题：
- “显示过去 24 小时内所有失败的运行”
- “哪些运行耗时最长？”
- “将失败的运行添加到我的测试数据集”
- “本周有多少个运行出错？”
追踪页面
在单个追踪上，Chat 会分析运行数据和执行轨迹。Chat 会检查完整的追踪上下文，包括运行元数据、输入、输出、中间步骤和配置，以帮助你理解发生了什么并识别可改进的地方。
示例问题：
- “智能体在这里有没有本可以做得更好的地方？”
- “这个运行为什么失败？”
- “这个追踪中什么耗时最多？”
- “总结这个追踪中发生的情况”
线程视图
在 Threads 标签页下，Chat 会分析对话线程，帮助你了解用户情绪、对话结果和交互模式。使用 Chat 识别用户的痛点，并了解问题是否已解决。
示例问题：
- “用户看起来是否感到沮丧？”
- “用户遇到了什么问题？”
- “用户的问题解决了吗？”
- “这个线程的主要话题是什么？”
Engine
在 Engine 页面上，打开 Chat 以调查检测到的问题及其关联的追踪。Chat 可以帮助你理解所选问题，或跨多个 Engine 问题回答问题。例如：
示例问题：
- “出了什么问题？”
- “为什么这被标记了？”
- “解释建议的修复方案”
- “我最紧迫的问题是什么？”
- “我有多少新问题？”
提示词工程
Playground
在 Playground 中，Chat 帮助你编辑和优化你的提示词。使用 Optimize prompt、Generate a tool 或 Generate an output schema 等自动化选项，或向 Chat 提供自定义指令来编辑你的提示词。Chat 可以直接修改 playground 状态——更新消息、工具、输出模式和示例——这样你就可以通过对话方式迭代提示词。
示例问题：
- “让它用意大利语回复”
- “添加更多关于用户角色的上下文”
- “让语气更专业”
- “简化指令”
Prompt Hub 页面
在 LangSmith Hub 中查看提示词时，Chat 帮助你理解该提示词的结构、消息、工具和配置。这对于探索共享的提示词并从中学习很有用。
示例问题：
- “这个提示词是做什么的？”
- “这个提示词使用了哪些工具？”
- “解释这个提示词的结构”
- “这个提示词中的关键指令是什么？”
评估
数据集实验
在 Datasets 页面的 Experiments 标签页下，Chat 会分析实验结果，并帮助你比较不同实验中的运行。Chat 可以识别模式、总结性能，并帮助你了解哪种方法效果最好。
示例问题：
- “哪个实验表现最好？”
- “这些运行之间的主要区别是什么？”
- “总结这个实验的结果”
- “你在失败中看到了什么模式？”
数据集示例
在 Datasets 页面的 Examples 标签页下，Chat 帮助你理解你的数据集结构、浏览示例并识别数据模式。这对于了解你正在处理什么数据以及为实验准备数据集很有用。
示例问题：
- “这个数据集中是什么类型的数据？”
- “向我显示有错误的示例”
- “你在输入中看到了什么模式？”
- “这个数据集里有多少个示例？”
标注队列
在 Annotation Queues 中，Chat 帮助你在做出标注决策之前分析运行。无论你是逐个审查运行还是成对比较运行，Chat 都会提供对运行行为、错误和执行模式的洞察，为你的评分提供依据。
示例问题：
- “这个运行出了什么问题？”
- “总结这个运行中发生的情况”
- “比较这两个运行”
- “在评分时我应该考虑什么？”
评估器
在 Evaluators 构建器中，Chat 帮助你编写和完善评估器逻辑。Chat 可以生成评估器代码、提出改进建议，并帮助你针对示例测试你的评估器。
示例问题：
- “编写一个检查幻觉的评估器”
- “提高这个评估器的准确性”
- “这个评估器检查什么？”
- “添加对边缘情况的处理”
下一步
进一步了解 Chat 帮助你探索的功能：
Observability
进一步了解如何追踪和监控你的 LLM 应用程序
Threads
了解 LangSmith 中线程如何运作
Prompt Engineering
在 Playground 中创建并迭代提示词
Evaluation
系统性地评估和测试你的应用程序