TrueFoundry 集成

TrueFoundry 提供企业版就绪的 AI Gateway，它可与 CrewAI 等智能体化框架集成，并为你的 AI 应用提供治理和可观测性。TrueFoundry AI Gateway 作为 LLM 访问的统一接口，提供：

统一 API 访问：通过一个 API 连接 250+ LLM（OpenAI、Claude、Gemini、Groq、Mistral）
低延迟：通过智能路由和负载均衡实现低于 3ms 的内部延迟
企业版安全：符合 SOC 2、HIPAA、GDPR，并支持 RBAC 和审计日志
配额与成本管理：基于 token 的配额、限流以及全面的用量跟踪
可观测性：完整的请求/响应日志、指标和追踪，并支持可自定义的保留期

TrueFoundry 如何与 CrewAI 集成

安装与设置

Install CrewAI

bash

pip install crewai

Get TrueFoundry Access Token

注册 TrueFoundry 账户
按照快速开始中的步骤操作

Configure CrewAI with TrueFoundry

python

from crewai import LLM

# Create an LLM instance with TrueFoundry AI Gateway
truefoundry_llm = LLM(
    model="openai-main/gpt-4o",  # Similarly, you can call any model from any provider
    base_url="your_truefoundry_gateway_base_url",
    api_key="your_truefoundry_api_key"
)

# Use in your CrewAI agents
from crewai import Agent

@agent
def researcher(self) -> Agent:
    return Agent(
        config=self.agents_config['researcher'],
        llm=truefoundry_llm,
        verbose=True
    )

完整的 CrewAI 示例

python

from crewai import Agent, Task, Crew, LLM

# Configure LLM with TrueFoundry
llm = LLM(
    model="openai-main/gpt-4o",
    base_url="your_truefoundry_gateway_base_url", 
    api_key="your_truefoundry_api_key"
)

# Create agents
researcher = Agent(
    role='Research Analyst',
    goal='Conduct detailed market research',
    backstory='Expert market analyst with attention to detail',
    llm=llm,
    verbose=True
)

writer = Agent(
    role='Content Writer', 
    goal='Create comprehensive reports',
    backstory='Experienced technical writer',
    llm=llm,
    verbose=True
)

# Create tasks
research_task = Task(
    description='Research AI market trends for 2024',
    agent=researcher,
    expected_output='Comprehensive research summary'
)

writing_task = Task(
    description='Create a market research report',
    agent=writer,
    expected_output='Well-structured report with insights',
    context=[research_task]
)

# Create and execute crew
crew = Crew(
    agents=[researcher, writer],
    tasks=[research_task, writing_task],
    verbose=True
)

result = crew.kickoff()

可观测性与治理

通过 TrueFoundry 的指标标签页监控你的 CrewAI 智能体：

借助 Truefoundry 的 AI 网关，你可以监控和分析：

性能指标：借助 P99、P90 和 P50 分位数追踪关键延迟指标，如请求延迟（Request Latency）、首个 token 时间（TTFS）和 token 间延迟（ITL）
成本与 token 用量：通过详细拆分输入/输出 token 以及每个模型的相关费用，清晰了解应用的成本
使用模式：通过对用户活动、模型分布和团队使用情况的详细分析，了解应用是如何被使用的
限流与负载均衡：你可以为模型设置限流、负载均衡和回退

追踪

如需更详细地了解追踪，请参阅 getting-started-tracing。关于追踪，你可以添加 Traceloop SDK：关于追踪，你可以添加 Traceloop SDK：

bash

pip install traceloop-sdk

python

from traceloop.sdk import Traceloop

# Initialize enhanced tracing
Traceloop.init(
    api_endpoint="https://your-truefoundry-endpoint/api/tracing",
    headers={
        "Authorization": f"Bearer {your_truefoundry_pat_token}",
        "TFY-Tracing-Project": "your_project_name",
    },
)

这为你的整个 CrewAI 工作流提供了额外的追踪关联。

TrueFoundry 集成

TrueFoundry 如何与 CrewAI 集成

安装与设置

完整的 CrewAI 示例

可观测性与治理

追踪

友情链接