OpenLIT 集成

只需一行代码，即可使用 OpenTelemetry 快速开始监控你的智能体。

OpenLIT 概览

OpenLIT 是一个开源工具，只需一行代码即可轻松监控 AI 智能体、LLM、VectorDB 和 GPU 的性能。

它提供原生 OpenTelemetry 的追踪和指标，用于跟踪成本、延迟、交互和任务序列等重要参数。 这一设置让你能够跟踪超参数并监控性能问题，帮助你找到随时间推移增强和微调智能体的方法。

OpenLIT Dashboard

特性

• 分析仪表盘：通过跟踪指标、成本和用户交互的详细仪表盘，监控智能体的健康状况和性能。
• OpenTelemetry 原生可观测性 SDK：厂商中立的 SDK，可将追踪和指标发送到你现有的可观测性工具，如 Grafana、DataDog 等。
• 自定义模型和微调模型的成本跟踪：使用自定义定价文件为特定模型定制成本估算，实现精确的预算管理。
• 异常监控仪表盘：通过监控仪表盘跟踪常见异常和错误，快速发现并解决问题。
• 合规与安全：检测脏话和 PII 泄露等潜在威胁。
• 提示词注入检测：识别潜在的代码注入和密钥泄露。
• API 密钥与机密管理：集中安全地管理你的 LLM API 密钥和机密，避免不安全的做法。
• 提示词管理：使用 PromptHub 管理和版本化智能体提示词，实现跨智能体的一致且便捷的访问。
• 模型试验场：在部署前为你的 CrewAI 智能体测试和比较不同模型。

设置说明

Deploy OpenLIT

Git Clone OpenLIT Repository

git clone git@github.com:openlit/openlit.git

Start Docker Compose

在 OpenLIT 仓库的根目录下，运行以下命令：

docker compose up -d

Install OpenLIT SDK

pip install openlit

Initialize OpenLIT in Your Application

将以下两行添加到你的应用代码中：

import openlit
openlit.init(otlp_endpoint="http://127.0.0.1:4318")

监控 CrewAI 智能体的示例用法：

from crewai import Agent, Task, Crew, Process
import openlit

openlit.init(disable_metrics=True)
# Define your agents
researcher = Agent(
    role="Researcher",
    goal="Conduct thorough research and analysis on AI and AI agents",
    backstory="You're an expert researcher, specialized in technology, software engineering, AI, and startups. You work as a freelancer and are currently researching for a new client.",
    allow_delegation=False,
    llm='command-r'
)

# Define your task
task = Task(
    description="Generate a list of 5 interesting ideas for an article, then write one captivating paragraph for each idea that showcases the potential of a full article on this topic. Return the list of ideas with their paragraphs and your notes.",
    expected_output="5 bullet points, each with a paragraph and accompanying notes.",
)

# Define the manager agent
manager = Agent(
    role="Project Manager",
    goal="Efficiently manage the crew and ensure high-quality task completion",
    backstory="You're an experienced project manager, skilled in overseeing complex projects and guiding teams to success. Your role is to coordinate the efforts of the crew members, ensuring that each task is completed on time and to the highest standard.",
    allow_delegation=True,
    llm='command-r'
)

# Instantiate your crew with a custom manager
crew = Crew(
    agents=[researcher],
    tasks=[task],
    manager_agent=manager,
    process=Process.hierarchical,
)

# Start the crew's work
result = crew.kickoff()

print(result)

如需更高级的配置和用例，请参阅 OpenLIT Python SDK 仓库。

Visualize and Analyze

现在智能体可观测性数据已被收集并发送到 OpenLIT，下一步是可视化并分析这些数据，以深入了解智能体的性能、行为，并找出可改进的地方。

只需在浏览器中访问 127.0.0.1:3000 上的 OpenLIT 即可开始探索。你可以使用默认凭据登录

• 邮箱：user@openlit.io
• 密码：openlituser

OpenLIT Dashboard