主题
GCP 上的自托管 LangSmith
在 Google Cloud Platform (GCP) 上运行 LangSmith 时，自托管模式会部署具有可观测性功能的完整 LangSmith 平台。
本页提供：
- 初始设置步骤，用于部署到 GKE、配置托管服务和设置身份验证。
- GCP 特定架构模式和参考图。
- 服务建议和最佳实践。
- Google Cloud Well-Architected 最佳实践，用于实现卓越运营、安全性和可靠性。
NOTE
LangChain 发布了可用于生产的 GCP Terraform 模块，可在单个工作流中配置 GKE、Cloud SQL、Memorystore、Cloud Storage 和网络。请从 使用 Terraform 部署概述开始，在 Terraform 和仅 Helm 路径之间进行选择。
初始设置
Deploy to Kubernetes
遵循 Kubernetes 安装指南。LangSmith 已在 Google Kubernetes Engine (GKE) 上测试。
GKE 特定说明：
- LangSmith 可与标准 GKE 集群配合使用
- 使用 GCE 持久磁盘存储类
Configure external services
Set up authentication
使用 Workload Identity 对 LangSmith pod 到 GCP 服务进行身份验证。
关键页面：
完成这些初始设置步骤后，你可以查看下面的完整 GCP 架构和最佳实践。
参考架构
我们建议利用 GCP 的托管服务来提供可扩展、安全且有弹性的平台。以下架构适用于自托管和混合模式，并与 Google Cloud Well-Architected Framework 保持一致：
Ingress 和网络：请求通过 Cloud Load Balancing 进入你的 VPC，并使用 Cloud Armor 和基于 IAM 的身份验证进行保护。
前端和后端服务： 容器在 Google Kubernetes Engine (GKE) 上运行，在负载均衡器后面编排。根据需要将请求路由到集群内的其他服务。
存储与数据库：
Cloud SQL for PostgreSQL：元数据、项目、用户以及已部署 agent 的短期和长期记忆。LangSmith 支持 PostgreSQL 14 或更高版本。
Memorystore（Redis 或 Valkey）：缓存和作业队列。Memorystore 可以处于单实例或集群模式。LangSmith 需要 Redis OSS 6.2 或更高版本，或 Valkey 8。
ClickHouse + Persistent Disks：分析和追踪存储。
- 我们建议使用外部管理的 ClickHouse 解决方案，除非安全或合规原因 阻止你这样做。
- 混合部署不需要 ClickHouse。
Cloud Storage：用于追踪产物和遥测的对象存储。
LLM 集成： 可选地将请求代理到 Gemini Enterprise Agent Platform 进行 LLM 推理。
监控和可观测性： 与 Cloud Monitoring 和 Cloud Logging 集成
计算选项
LangSmith 支持多种计算选项，具体取决于你的需求：
| 计算选项 | 描述 | 适用于 |
|---|---|---|
| Google Kubernetes Engine（首选） | 高级扩缩容和多租户支持 | 大型企业 |
| 基于 Compute Engine | 完全控制，自带基础设施 | 受监管或气隙环境 |
Google Cloud Well-Architected 最佳实践
本参考旨在与 Google Cloud Well-Architected Framework 的六大支柱保持一致：
卓越运营
- 使用 IaC（Terraform / Deployment Manager）自动化部署。
- 使用 Secret Manager 管理配置和敏感数据。
- 配置你的 LangSmith 实例以导出遥测数据，并通过 Cloud Logging 持续监控。
- 管理 LangSmith 部署的首选方法是创建一个 CI 流程，构建 Agent Server 镜像并将其推送到 Artifact Registry。在 PR 合并后将新修订部署到暂存或生产之前，为 pull request 创建测试部署。
安全
- 使用具有最小权限策略的 IAM 角色和 Workload Identity，实现安全的 pod 到 GCP 服务身份验证。
- 启用静态加密（Cloud SQL、Cloud Storage、Persistent Disks）和传输加密（TLS 1.2+）。
- 与 Secret Manager 集成以管理凭据。
- 使用 Identity Platform 或 Workload Identity Federation 作为 IDP，结合 LangSmith 内置的身份验证和授权功能，保护对 agent 及其工具的访问。
可靠性
- 跨区域复制 LangSmith 数据平面：为 LangSmith Deployment 将相同的数据平面部署到不同区域的 Kubernetes 集群。跨多个区域部署 Cloud SQL 和 GKE 服务。
- 为后端 worker 实现自动扩缩容，使用 Horizontal Pod Autoscaler 和 Cluster Autoscaler。
- 使用 Cloud DNS 健康检查和故障转移策略。
性能优化
- 利用 Compute Engine 实例，通过机器类型选择优化计算。
- 对不常访问的追踪数据使用 Cloud Storage 生命周期策略，移动到 Nearline 或 Coldline 存储类。
成本优化
- 使用 GKE 集群，并结合承诺使用折扣和持续使用折扣合理调整其规模。
- 使用 Cloud Billing 仪表板和 Cost Management 工具监控成本 KPI。
可持续性
- 使用按需计算和自动扩缩容最大限度地减少空闲工作负载。
- 使用 Cloud Storage 生命周期策略将遥测数据存储在低延迟、低成本层级中。
- 使用计划操作为非生产环境启用自动关闭。
安全与合规
LangSmith 可以配置为支持：
- 仅允许通过 Private Service Connect 访问（除计费所需出口外，不暴露公共互联网）。
- 为 Cloud Storage、Cloud SQL 和 Persistent Disks 使用基于 Cloud KMS 的加密密钥。
- 将审计日志记录到 Cloud Logging 和 Cloud Audit Logs。
客户可以根据需要在 Assured Workloads 区域中部署，以满足 ISO、HIPAA 或其他监管要求。
监控与评估
使用 LangSmith 可以：
- 捕获在 Gemini Enterprise Agent Platform 上运行的 LLM 应用的追踪。
- 通过 LangSmith 数据集评估模型输出。
- 跟踪延迟、token 使用量和成功率。
可与以下项集成：
- Cloud Monitoring 仪表板。
- OpenTelemetry 和 Prometheus 导出器。