Datadog 集成

了解如何将 Datadog 与 CrewAI 集成，以将 LLM Observability 追踪提交到 Datadog。

将 Datadog 与 CrewAI 集成

本指南将演示如何使用 Datadog 自动插桩 将 Datadog LLM Observability 与 CrewAI 集成。完成本指南后，你将能够把 LLM Observability 追踪提交到 Datadog，并在 Datadog LLM Observability 的 Agentic Execution View 中查看 CrewAI 智能体的运行情况。

什么是 Datadog LLM Observability？

Datadog LLM Observability 帮助 AI 工程师、数据科学家和应用开发者快速开发、评估和监控 LLM 应用。借助结构化实验、跨智能体的端到端追踪以及评估，团队可以自信地提升输出质量、性能、成本和整体风险水平。

开始使用

安装依赖

pip install ddtrace crewai crewai-tools

设置环境变量

如果你没有 Datadog API 密钥，可以创建账户并获取 API 密钥。

你还需要在以下环境变量中指定 ML Application 名称。ML Application 是与特定基于 LLM 的应用相关联的一组 LLM Observability 追踪。有关 ML Application 名称限制的更多信息，请参阅 ML Application 命名准则。

export DD_API_KEY=<YOUR_DD_API_KEY>
export DD_SITE=<YOUR_DD_SITE>
export DD_LLMOBS_ENABLED=true
export DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME>
export DD_LLMOBS_AGENTLESS_ENABLED=true
export DD_APM_TRACING_ENABLED=false

此外，配置任意 LLM 服务商的 API 密钥

export OPENAI_API_KEY=<YOUR_OPENAI_API_KEY>
export ANTHROPIC_API_KEY=<YOUR_ANTHROPIC_API_KEY>
export GEMINI_API_KEY=<YOUR_GEMINI_API_KEY>
...

创建 CrewAI 智能体应用

# crewai_agent.py
from crewai import Agent, Task, Crew

from crewai_tools import (
    WebsiteSearchTool
)

web_rag_tool = WebsiteSearchTool()

writer = Agent(
    role="Writer",
    goal="You make math engaging and understandable for young children through poetry",
    backstory="You're an expert in writing haikus but you know nothing of math.",
    tools=[web_rag_tool],
)

task = Task(
    description=("What is {multiplication}?"),
    expected_output=("Compose a haiku that includes the answer."),
    agent=writer
)

crew = Crew(
    agents=[writer],
    tasks=[task],
    share_crew=False
)

output = crew.kickoff(dict(multiplication="2 * 2"))

使用 Datadog 自动插桩运行应用

设置好环境变量后，你现在可以使用 Datadog 自动插桩运行应用。

ddtrace-run python crewai_agent.py

在 Datadog 中查看追踪

运行应用后，你可以在 Datadog LLM Observability 的追踪视图 中查看追踪，从左上角下拉菜单中选择你选定的 ML Application 名称。

点击某个追踪将显示其详细信息，包括使用的总 token 数、LLM 调用次数、使用的模型以及预估成本。点击具体的 span 将进一步细化这些信息，并显示相关的输入、输出和元数据。

此外，你还可以查看追踪的执行图视图，它展示了追踪的控制流与数据流；对于更大型的智能体，该视图会相应扩展，以展示 LLM 调用、工具调用与智能体交互之间的交接和关系。

参考

• Datadog LLM Observability
• Datadog LLM Observability CrewAI 自动插桩