Firecrawl 抓取网站

FirecrawlScrapeWebsiteTool 旨在抓取网站并将其转换为干净的 markdown 或结构化数据。

FirecrawlScrapeWebsiteTool

描述

Firecrawl 是一个用于抓取并将任意网站转换为干净 markdown 或结构化数据的平台。

安装

• 从 firecrawl.dev 获取 API key，并将其设置到环境变量（FIRECRAWL_API_KEY）中。
• 安装 Firecrawl SDK 以及 crewai[tools] 包：

pip install firecrawl-py 'crewai[tools]'

示例

按如下方式使用 FirecrawlScrapeWebsiteTool，让你的智能体能够加载网站：

from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(url='firecrawl.dev')

参数

• api_key：可选。指定 Firecrawl API key。默认值为 FIRECRAWL_API_KEY 环境变量。
• url：要抓取的 URL。
• page_options：可选。
  • onlyMainContent：可选。仅返回页面的主体内容，排除页眉、导航、页脚等。
  • includeHtml：可选。包含页面的原始 HTML 内容。将在响应中输出 html 键。
• extractor_options：可选。用于基于 LLM 从页面内容中提取结构化信息的选项
  • mode：要使用的提取模式，目前支持 'llm-extraction'
  • extractionPrompt：可选。描述要从页面中提取哪些信息的提示词
  • extractionSchema：可选。要提取数据的 schema
• timeout：可选。请求的超时时间（毫秒）