Langtrace 集成

如何使用外部可观测性工具 Langtrace 监控 CrewAI 智能体的成本、延迟和性能。

Langtrace 概览

Langtrace 是一个开源的外部工具，可帮助你为大语言模型（LLM）、LLM 框架和向量数据库设置可观测性和评估。 虽然它并非直接内置于 CrewAI，但 Langtrace 可以与 CrewAI 配合使用，从而深入洞察 CrewAI 智能体的成本、延迟和性能。 这一集成让你可以记录超参数、监控性能回归，并建立持续改进智能体的流程。

设置说明

Sign up for Langtrace

访问 https://langtrace.ai/signup 注册。

Create a project

将项目类型设置为 CrewAI 并生成 API 密钥。

Install Langtrace in your CrewAI project

使用以下命令：

pip install langtrace-python-sdk

Import Langtrace

在脚本开头、任何 CrewAI 导入之前导入并初始化 Langtrace：

from langtrace_python_sdk import langtrace
langtrace.init(api_key='<LANGTRACE_API_KEY>')

# Now import CrewAI modules
from crewai import Agent, Task, Crew

功能及其在 CrewAI 中的应用

1. LLM token 与成本追踪

   • 监控每次 CrewAI 智能体交互的 token 用量及相关成本。

2. 执行步骤的追踪图

   • 可视化 CrewAI 任务的执行流程，包括延迟和日志。
   • 有助于识别智能体工作流中的瓶颈。

3. 带手动标注的数据集整理

   • 从 CrewAI 任务输出创建数据集，用于后续训练或评估。

4. 提示词版本控制与管理

   • 跟踪 CrewAI 智能体所使用的不同提示词版本。
   • 有助于 A/B 测试和优化智能体性能。

5. 带模型对比的提示词试验场

   • 在部署前为你的 CrewAI 智能体测试和比较不同的提示词与模型。

6. 测试与评估

   • 为你的 CrewAI 智能体和任务设置自动化测试。