Hyperbrowser 加载工具

HyperbrowserLoadTool 使用 Hyperbrowser 实现网页抓取和爬取。

`HyperbrowserLoadTool`

描述

HyperbrowserLoadTool 使用 Hyperbrowser 实现网页抓取和爬取；Hyperbrowser 是一个用于运行和扩展无头浏览器的平台。此工具允许你抓取单个页面或爬取整个网站，并以格式规范的 markdown 或 HTML 返回内容。

主要特性：

即时扩展 —— 数秒内即可启动数百个浏览器会话，无需担心基础设施问题
简单集成 —— 可与 Puppeteer、Playwright 等流行工具无缝协作
强大的 API —— 易于使用的 API，可抓取或爬取任意网站
绕过反爬机制 —— 内置隐身模式、广告拦截、自动解决 CAPTCHA 以及轮换代理

安装

要使用此工具，你需要安装 Hyperbrowser SDK：

shell

uv add hyperbrowser

入门步骤

要有效使用 HyperbrowserLoadTool，请按以下步骤操作：

注册：前往 Hyperbrowser 注册并生成 API key。
API Key：设置 HYPERBROWSER_API_KEY 环境变量，或直接传给工具构造函数。
安装 SDK：使用上述命令安装 Hyperbrowser SDK。

示例

以下示例演示如何初始化该工具并用它抓取网站：

python

from crewai_tools import HyperbrowserLoadTool
from crewai import Agent

# Initialize the tool with your API key
tool = HyperbrowserLoadTool(api_key="your_api_key")  # Or use environment variable

# Define an agent that uses the tool
@agent
def web_researcher(self) -> Agent:
    '''
    This agent uses the HyperbrowserLoadTool to scrape websites
    and extract information.
    '''
    return Agent(
        config=self.agents_config["web_researcher"],
        tools=[tool]
    )

参数

HyperbrowserLoadTool 接受以下参数：

构造函数参数

api_key：可选。你的 Hyperbrowser API key。如果未提供，将从 HYPERBROWSER_API_KEY 环境变量读取。

运行参数

url：必填。要抓取或爬取的网站 URL。
operation：可选。要在网站上执行的操作。取值为 'scrape' 或 'crawl'。默认为 'scrape'。
params：可选。抓取或爬取操作的附加参数。

支持的参数

有关所有受支持参数的详细信息，请访问：

返回格式

该工具按以下格式返回内容：

对于 scrape 操作：页面内容，以 markdown 或 HTML 格式返回。
对于 crawl 操作：每个页面的内容，以分隔符隔开，并包含每个页面的 URL。

结论

HyperbrowserLoadTool 提供了一种强大的网站抓取和爬取方式，可处理反爬措施、CAPTCHA 等复杂场景。借助 Hyperbrowser 平台，该工具让智能体能够高效地访问和提取网页内容。