Opik 集成

了解如何使用 Comet Opik，通过全面的追踪、自动化评估和生产级仪表盘来调试、评估和监控你的 CrewAI 应用。

Opik 概述

借助 Comet Opik，通过全面的追踪、自动化评估和生产级仪表盘来调试、评估和监控你的 LLM 应用、RAG 系统和智能体化工作流。

Opik agent monitoring example with CrewAI — Opik Agent Dashboard

Opik 为 CrewAI 应用开发的每个阶段提供全面支持：

记录追踪与跨度：自动跟踪 LLM 调用和应用逻辑，以调试和分析开发与生产系统。可手动或以编程方式标注、查看和比较各项目的响应。
评估 LLM 应用的性能：针对自定义测试集进行评估，运行内置评估指标，或在 SDK 或 UI 中定义你自己的指标。
在 CI/CD 流水线中测试：借助 Opik 基于 PyTest 构建的 LLM 单元测试建立可靠的性能基线。运行在线评估以在生产环境中持续监控。
监控与分析生产数据：了解模型在生产环境中未见数据上的表现，并为新的开发迭代生成数据集。

设置

Comet 提供 Opik 平台的托管版本，你也可以在本地运行该平台。

如需使用托管版本，只需创建一个免费的 Comet 账户并获取你的 API 密钥。

如需在本地运行 Opik 平台，请参阅我们的安装指南了解更多信息。

本指南将使用 CrewAI 的快速入门示例。

Install required packages

shell

pip install crewai crewai-tools opik --upgrade

Configure Opik

python

import opik
opik.configure(use_local=False)

Prepare environment

首先，我们将 LLM 服务商的 API 密钥设置为环境变量：

python

import os
import getpass

if "OPENAI_API_KEY" not in os.environ:
os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter your OpenAI API key: ")

Using CrewAI

第一步是创建我们的项目。我们将使用 CrewAI 文档中的一个示例：

python

from crewai import Agent, Crew, Task, Process

class YourCrewName:
    def agent_one(self) -> Agent:
        return Agent(
            role="Data Analyst",
            goal="Analyze data trends in the market",
            backstory="An experienced data analyst with a background in economics",
            verbose=True,
        )

    def agent_two(self) -> Agent:
        return Agent(
            role="Market Researcher",
            goal="Gather information on market dynamics",
            backstory="A diligent researcher with a keen eye for detail",
            verbose=True,
        )

    def task_one(self) -> Task:
        return Task(
            name="Collect Data Task",
            description="Collect recent market data and identify trends.",
            expected_output="A report summarizing key trends in the market.",
            agent=self.agent_one(),
        )

    def task_two(self) -> Task:
        return Task(
            name="Market Research Task",
            description="Research factors affecting market dynamics.",
            expected_output="An analysis of factors influencing the market.",
            agent=self.agent_two(),
        )

    def crew(self) -> Crew:
        return Crew(
            agents=[self.agent_one(), self.agent_two()],
            tasks=[self.task_one(), self.task_two()],
            process=Process.sequential,
            verbose=True,
        )

现在我们可以导入 Opik 的 tracker 并运行我们的团队：

python

from opik.integrations.crewai import track_crewai

track_crewai(project_name="crewai-integration-demo")

my_crew = YourCrewName().crew()
result = my_crew.kickoff()

print(result)

运行 CrewAI 应用后，访问 Opik 应用以查看：

LLM 追踪、跨度及其元数据
智能体交互和任务执行流程
延迟和 token 用量等性能指标
评估指标（内置或自定义）

Opik 集成

Opik 概述

设置

资源

友情链接