主题
LangSmith Engine
LangSmith Engine 是面向代理工程的代理,可将生产追踪转化为贯穿开发生命周期的已跟踪问题、修复和数据集。
LangSmith Engine 是用于代理工程的 LangSmith Agent。它基于你的生产追踪来发现反复出现的问题、诊断其根本原因,并推动在开发生命周期各阶段完成修复。
每个问题都会经历一个闭环:在追踪中检测到反复出现的问题、诊断根本原因、提出修复方案,并在出现符合同一模式的新追踪时持续跟踪该问题;如果问题在关闭后再次出现,Engine 会自动重新打开它。
贯穿生命周期的 Engine
对于每个问题,Engine 会呈现相关追踪、提出修复方案、通过附加符合同一失败模式的新追踪来保持问题最新,并根据生产追踪输入创建基准真值数据集示例。
Build: Open a pull request
通过在已连接的仓库中创建 pull request 来应用建议的修复。Engine 可以为使用 Deep Agents、LangChain 和 LangGraph 构建的代理提出代码变更。
Test: Generate datasets
根据生产追踪创建用于离线评估的基准真值数据集示例,以便在修复上线前进行验证。
Monitor: Track recurring issues
按计划扫描你的追踪项目,以发现、排定优先级并诊断反复出现的问题,并在出现新的匹配追踪时将其添加到对应问题中。
Engine 如何运行
Engine 会按照动态计划扫描每个已连接的追踪项目,该计划经过调整以平衡成本与性能,并按严重程度对问题进行聚类和优先级排序。它使用 LangChain 托管的推理,并按 LangChain Compute Units(LCU)计费。有关设置、费用和完整的问题工作流,请参阅发现并修复代理的问题。有关 Engine 如何处理你的数据、其 GitHub 和模型子处理方控制措施以及合规状况,请参阅 Engine 安全。有关 Engine 在自托管部署中如何运行,请参阅自托管上的 Engine。要在故障进入生产之前使用合成请求测试部署,请参阅使用 Red Teaming 主动发现问题。
开始使用
Set up Engine
为你的组织启用 Engine,并针对某个追踪项目进行配置。
Engine notifications
通过 webhook 将检测到的问题发送到 Slack,或你的事件管理、寻呼或聊天工具。