自托管 LangSmith

NOTE

自托管 LangSmith 是 Enterprise 套餐的附加组件，专为我们规模最大、最注重安全的客户设计。更多细节请参阅定价。如果你想获得许可证密钥以在你的环境中试用 LangSmith，请联系我们的销售团队。

在你自己的基础设施中托管 LangSmith 实例，用于可观测性、评估和提示词工程。你可以选择启用 LangSmith Deployment，通过 LangSmith UI 部署和管理 agent。

TIP

关于在 AWS、GCP 或 Azure 上自托管 LangSmith 的分步设置说明，请参阅我们的云架构指南：AWS、GCP 或 Azure。

NOTE

在安装或升级之前，请查看自托管依赖的最低版本。

包含的内容

一个自托管 LangSmith 实例包括：

服务：

• LangSmith frontend UI
• LangSmith backend API
• LangSmith Platform backend
• LangSmith Playground
• LangSmith queue
• LangSmith ACE（Arbitrary Code Execution）backend

存储服务：

• ClickHouse（追踪和反馈数据）
• PostgreSQL（运维数据）
• Redis（队列和缓存）
• Blob storage（可选，但生产环境推荐）

要访问 LangSmith UI 并发送 API 请求，你需要暴露 LangSmith frontend 服务。根据安装方式的不同，这可以是一个负载均衡器，或宿主机上暴露的端口。

服务

服务	说明
LangSmith frontend	前端使用 Nginx 提供 LangSmith UI，并将 API 请求路由到其他服务器。它是应用的入口，也是唯一必须暴露给用户的组件。
LangSmith backend	后端是 CRUD API 请求的主要入口，处理应用的大部分业务逻辑，包括处理来自前端和 SDK 的请求、准备待接收的追踪，以及支持 hub API。
LangSmith queue	队列处理传入的追踪和反馈，确保它们被异步接收并持久化到追踪和反馈数据存储中，执行数据完整性检查，确保成功插入数据存储，并在数据库错误或暂时无法连接数据库等情况下处理重试。
LangSmith platform backend	平台后端是另一个关键服务，主要处理认证、run 接收以及其他高吞吐任务。
LangSmith Playground	Playground 是一个服务，负责将请求转发到各种 LLM API，以支持 Playground 功能。它也可以用于连接你自己的自定义模型服务器。
LangSmith ACE（Arbitrary Code Execution）backend	ACE 后端负责在安全环境中执行任意代码，用于支持在 LangSmith 中运行自定义代码。

存储服务

NOTE

LangSmith 默认会捆绑所有存储服务。你也可以将其配置为使用所有存储服务的外部版本。在生产环境中，我们强烈建议使用外部存储服务。

服务	说明
ClickHouse	ClickHouse 是一个高性能、面向列的 SQL 数据库管理系统（DBMS），用于在线分析处理（OLAP）。 LangSmith 使用 ClickHouse 作为追踪和反馈（高吞吐数据）的主要数据存储。 💡 连接外部 ClickHouse
PostgreSQL	PostgreSQL 是一个强大的开源对象关系数据库系统，它使用并扩展 SQL 语言，结合众多特性，能够安全地存储和扩展最复杂的数据工作负载。 LangSmith 使用 PostgreSQL 作为事务性工作负载和运维数据（除追踪和反馈之外的几乎所有数据）的主要数据存储。 💡 连接外部 PostgreSQL - AWS RDS、GCP Cloud SQL、Azure Database
Redis / Valkey	Redis 是一个强大的内存键值数据库，可持久化到磁盘。通过将数据保存在内存中，Redis 为缓存等操作提供高性能。 LangSmith 使用 Redis 支撑队列和缓存操作。Valkey 也作为 Redis 的直接替代品获得官方支持。 💡 连接外部 Redis 或 Valkey - AWS ElastiCache、GCP Memorystore、Azure Cache
Blob storage	LangSmith 支持多种 blob 存储提供商，包括 AWS S3、Azure Blob Storage 和 Google Cloud Storage。 LangSmith 使用 blob 存储来存储大型文件，例如追踪产物、反馈附件和其他大型数据对象。Blob 存储是可选的，但生产部署强烈推荐启用。 💡 启用 blob 存储 - AWS S3、GCP GCS、Azure Blob

要安装，请遵循 Kubernetes 设置指南。

后续步骤

• 启用 LangSmith Deployment：添加控制平面和数据平面，通过 LangSmith UI 部署和管理 agent。
• 启用 LangSmith Sandboxes：允许用户运行代码、暴露临时服务，并从自托管 LangSmith 创建记忆快照。
• 部署独立的 Agent Server：无需启用 LangSmith Deployment，直接部署 Agent Server。

---