Bright Data 工具

用于 SERP 搜索、Web Unlocker 抓取和 Dataset API 的 Bright Data 集成。

Bright Data 工具

这组工具集成了用于 Web 提取的 Bright Data 服务。

安装

uv add crewai-tools requests aiohttp

环境变量

• BRIGHT_DATA_API_KEY（必填）
• BRIGHT_DATA_ZONE（用于 SERP/Web Unlocker）

在 https://brightdata.com/ 创建凭据（注册，然后创建 API token 和 zone）。 参阅他们的文档：https://developers.brightdata.com/

包含的工具

• BrightDataSearchTool：SERP 搜索（Google/Bing/Yandex），支持地理/语言/设备选项。
• BrightDataWebUnlockerTool：抓取页面，支持反机器人绕过和渲染。
• BrightDataDatasetTool：运行 Dataset API 作业并获取结果。

示例

SERP 搜索

from crewai_tools import BrightDataSearchTool

tool = BrightDataSearchTool(
    query="CrewAI", 
    country="us",
)

print(tool.run())

Web Unlocker

from crewai_tools import BrightDataWebUnlockerTool

tool = BrightDataWebUnlockerTool(
    url="https://example.com", 
    format="markdown",
)

print(tool.run(url="https://example.com"))

Dataset API

from crewai_tools import BrightDataDatasetTool

tool = BrightDataDatasetTool(
    dataset_type="ecommerce", 
    url="https://example.com/product",
)

print(tool.run())

故障排查

• 401/403：验证 BRIGHT_DATA_API_KEY 和 BRIGHT_DATA_ZONE。
• 内容为空/被阻止：启用渲染或尝试不同的 zone。

示例

from crewai import Agent, Task, Crew
from crewai_tools import BrightDataSearchTool

tool = BrightDataSearchTool(
    query="CrewAI", 
    country="us",
)

agent = Agent(
    role="Web Researcher",
    goal="Search with Bright Data",
    backstory="Finds reliable results",
    tools=[tool],
    verbose=True,
)

task = Task(
    description="Search for CrewAI and summarize top results",
    expected_output="Short summary with links",
    agent=agent,
)

crew = Crew(
    agents=[agent], 
    tasks=[task],
    verbose=True,
)

result = crew.kickoff()