概述

使用强大的抓取工具从网站提取数据并自动化浏览器交互

这些工具让你的智能体能够与网络交互、从网站提取数据，并自动化基于浏览器的任务。从简单的网页抓取到复杂的浏览器自动化，这些工具涵盖了你所有的网络交互需求。

可用工具

◍Scrape Website Tool

用于从任意网站提取内容的通用网页抓取工具。

•Scrape Element Tool

借助精准抓取能力定位网页上的特定元素。

•Firecrawl Crawl Tool

使用 Firecrawl 的强大引擎系统地爬取整个网站。

•Firecrawl Scrape Tool

借助 Firecrawl 的先进能力实现高性能网页抓取。

•Firecrawl Search Tool

使用 Firecrawl 的搜索功能搜索并提取特定内容。

•Selenium Scraping Tool

借助 Selenium WebDriver 能力实现浏览器自动化与抓取。

•ScrapFly Tool

使用 ScrapFly 的高级抓取服务进行专业网页抓取。

•ScrapGraph Tool

面向复杂数据关系的基于图的网页抓取。

•Spider Tool

全面的网页爬取与数据提取能力。

•BrowserBase Tool

基于 BrowserBase 基础设施的云端浏览器自动化。

•HyperBrowser Tool

借助 HyperBrowser 的优化引擎实现快速浏览器交互。

•Stagehand Tool

使用自然语言指令实现智能浏览器自动化。

◍Oxylabs Scraper Tool

借助 Oxylabs 大规模访问网络数据。

•Bright Data Tools

SERP 搜索、Web Unlocker 和 Dataset API 集成。

常见用例

• 数据提取：抓取产品信息、价格和评论
• 内容监控：跟踪网站和新闻来源上的变更
• 线索生成：提取联系方式和业务数据
• 市场调研：收集竞争情报和市场数据
• 测试与 QA：自动化浏览器测试和验证工作流
• 社交媒体：提取帖子、评论和社交媒体分析数据

快速开始示例

from crewai_tools import ScrapeWebsiteTool, FirecrawlScrapeWebsiteTool, SeleniumScrapingTool

# Create scraping tools
simple_scraper = ScrapeWebsiteTool()
advanced_scraper = FirecrawlScrapeWebsiteTool()
browser_automation = SeleniumScrapingTool()

# Add to your agent
agent = Agent(
    role="Web Research Specialist",
    tools=[simple_scraper, advanced_scraper, browser_automation],
    goal="Extract and analyze web data efficiently"
)

抓取最佳实践

• 遵守 robots.txt：始终检查并遵循网站的抓取政策
• 限流：在请求之间加入延迟，避免给服务器造成过大压力
• User Agent：使用合适的 user agent 字符串来标识你的机器人
• 合规性：确保你的抓取活动符合服务条款
• 错误处理：针对网络问题和被拦截的请求实现健壮的错误处理
• 数据质量：在处理前验证并清洗提取的数据

工具选择指南

• 简单任务：使用 ScrapeWebsiteTool 进行基础内容提取
• JavaScript 密集型网站：使用 SeleniumScrapingTool 处理动态内容
• 规模与性能：使用 FirecrawlScrapeWebsiteTool 进行大批量抓取
• 云基础设施：使用 BrowserBaseLoadTool 实现可扩展的浏览器自动化
• 复杂工作流：使用 StagehandTool 实现智能浏览器交互