主题
在 AWS 上自托管 LangSmith
在 Amazon Web Services (AWS) 上运行 LangSmith 时，自托管模式会部署一个具有可观测性功能的完整 LangSmith 平台。
本页提供：
- 用于部署到 EKS、配置托管服务以及设置身份认证的初始设置步骤。
- AWS 专属架构模式和参考图。
- 服务建议和最佳实践。
- 用于实现卓越运营、安全性和可靠性的 AWS Well-Architected 最佳实践。
NOTE
LangChain 发布了可用于生产环境的 AWS Terraform 模块，它们在一个工作流中预置 EKS、RDS、ElastiCache、S3 和网络。请从使用 Terraform 部署概览开始，以便在 Terraform 路径与仅 Helm 路径之间进行选择。
初始设置
Deploy to Kubernetes
请遵循 Kubernetes 安装指南。LangSmith 已在 Amazon Elastic Kubernetes Service (EKS) 上测试。
EKS 专属说明：
- 确保已安装 EBS CSI Driver 以实现持久化存储
- 使用
ebs.csi.aws.com存储类 provisioner
Configure external services
Set up authentication
使用 IAM Roles for Service Accounts (IRSA) 让 LangSmith pod 在不使用静态凭据的情况下向 AWS 服务进行身份认证。
关键页面：
完成这些初始设置步骤后，你可以查看下方完整的 AWS 架构和最佳实践。
参考架构
我们建议利用 AWS 的托管服务来提供可扩展、安全且有弹性的平台。以下架构适用于自托管和混合两种模式，并与 AWS Well-Architected Framework 保持一致：
入口与网络：请求通过你 VPC 内的 Amazon Application Load Balancer (ALB) 进入，并使用 AWS WAF 和基于 IAM 的身份认证来保障安全。
前端与后端服务： 容器运行在 Amazon EKS 上，在 ALB 之后进行编排，并在必要时将请求路由到集群内的其他服务。
存储与数据库：
Amazon RDS for PostgreSQL 或 Aurora：元数据、项目、用户，以及已部署智能体的短期和长期记忆。LangSmith 支持 PostgreSQL 14 或更高版本。
Amazon ElastiCache（Redis 或 Valkey）：缓存和作业队列。ElastiCache 可以是单实例或集群模式。LangSmith 要求 Redis OSS 6.2 或更高版本，或 Valkey 8。
ClickHouse + Amazon EBS：分析和追踪存储。
- 除非出于安全或合规原因 无法这样做，否则我们建议使用外部托管的 ClickHouse 解决方案。
- 混合部署不需要 ClickHouse。
Amazon S3：用于追踪产物和遥测的对象存储。
LLM 集成： 可选地将请求代理到 Amazon Bedrock 或 Amazon SageMaker 以进行 LLM 推理。
监控与可观测性： 与 Amazon CloudWatch 集成
计算选项
LangSmith 支持多种计算选项，具体取决于你的需求：
| 计算选项 | 描述 | 适用场景 |
|---|---|---|
| Elastic Kubernetes Service（首选） | 高级扩缩容和多租户支持 | 大型企业 |
| 基于 EC2 | 完全控制，自带基础设施 | 受监管或离线隔离环境 |
AWS Well-Architected 最佳实践
本参考旨在与 AWS Well-Architected Framework 的六大支柱保持一致：
卓越运营
- 使用 IaC（CloudFormation / Terraform）自动执行部署。
- 使用 AWS Systems Manager Parameter Store 进行配置。
- 配置你的 LangSmith 实例以导出遥测数据，并通过 CloudWatch Logs 持续监控。
- 管理 LangSmith 部署的首选方法是创建一个 CI 流程，构建 Agent Server 镜像并将其推送到 ECR。为 pull request 创建一个测试部署，然后在 PR 合并时将新修订部署到预发布或生产环境。
安全
- 使用具有最小权限策略的 IAM 角色。
- 启用静态加密（RDS、S3、ClickHouse 卷）和传输中加密（TLS 1.2+）。
- 与 AWS Secrets Manager 集成以管理凭据。
- 将 Amazon Cognito 作为 IDP，结合 LangSmith 内置的身份认证和授权功能，以保护对智能体及其工具的访问。
可靠性
- 跨区域复制 LangSmith 数据平面：为 LangSmith Deployment 将完全相同的数据平面部署到不同区域的 Kubernetes 集群。跨多可用区部署 RDS 和 ECS 服务。
- 为后端工作进程实现自动扩缩容。
- 使用 Amazon Route 53 运行状况检查和故障转移策略。
性能效率
- 利用 EC2 实例来优化计算。
- 对不常访问的追踪数据使用 S3 Intelligent-Tiering。
成本优化
- 使用 Compute Savings Plans 合理调整 EKS 集群规模。
- 使用 AWS Cost Explorer 仪表盘监控成本 KPI。
可持续性
- 使用按需计算最大限度减少闲置工作负载。
- 将遥测数据存储在低延迟、低成本层级中。
- 为非生产环境启用自动关机。
安全与合规
LangSmith 可以配置为支持：
- 仅通过 PrivateLink 访问（不暴露到公共互联网，但计费所需的外发流量除外）。
- 为 S3、RDS 和 EBS 使用基于 KMS 的加密密钥。
- 将审计日志记录到 CloudWatch 和 AWS CloudTrail。
客户可以根据需要部署在 GovCloud、ISO 或 HIPAA 区域。
监控与评估
使用 LangSmith 可以：
- 捕获在 Bedrock 或 SageMaker 上运行的 LLM 应用的追踪。
- 通过 LangSmith 数据集评估模型输出。
- 跟踪延迟、token 用量和成功率。
可与以下项集成：
- AWS CloudWatch 仪表盘。
- OpenTelemetry 和 Prometheus 导出器。