Firecrawl 抓取网站

FirecrawlCrawlWebsiteTool 旨在抓取网站并将其转换为干净的 Markdown 或结构化数据。

FirecrawlCrawlWebsiteTool

描述

Firecrawl 是一个用于抓取并将任意网站转换为干净 markdown 或结构化数据的平台。

安装

• 从 firecrawl.dev 获取 API key，并将其设置到环境变量（FIRECRAWL_API_KEY）中。
• 安装 Firecrawl SDK 以及 crewai[tools] 包：

pip install firecrawl-py 'crewai[tools]'

示例

按如下方式使用 FirecrawlScrapeFromWebsiteTool，让你的智能体能够加载网站：

from crewai_tools import FirecrawlCrawlWebsiteTool

tool = FirecrawlCrawlWebsiteTool(url='firecrawl.dev')

参数

• api_key：可选。指定 Firecrawl API key。默认值为 FIRECRAWL_API_KEY 环境变量。
• url：开始抓取的基准 URL。
• page_options：可选。
  • onlyMainContent：可选。仅返回页面的主体内容，排除页眉、导航、页脚等。
  • includeHtml：可选。包含页面的原始 HTML 内容。将在响应中输出 html 键。
• crawler_options：可选。用于控制抓取行为的选项。
  • includes：可选。要包含在抓取中的 URL 模式。
  • exclude：可选。要从抓取中排除的 URL 模式。
  • generateImgAltText：可选。使用 LLM 为图片生成 alt 文本（需要付费计划）。
  • returnOnlyUrls：可选。若为 true，则仅在抓取状态中以列表形式返回 URL。注意：响应将是 data 中的 URL 列表，而不是文档列表。
  • maxDepth：可选。抓取的最大深度。深度 1 为基准 URL，深度 2 包含基准 URL 及其直接子级，依此类推。
  • mode：可选。要使用的抓取模式。Fast 模式在没有站点地图的网站上抓取速度快 4 倍，但可能不够准确，且不应在重度依赖 JavaScript 渲染的网站上使用。
  • limit：可选。要抓取的最大页面数。
  • timeout：可选。抓取操作的超时时间（毫秒）。