文档加载器集成

使用 LangChain Python 与文档加载器集成。

文档加载器提供了一种标准接口，用于将来自不同来源（例如 Slack、Notion 或 Google Drive）的数据读入 LangChain 的 Document 格式。 这确保无论数据来源如何，都能以一致的方式处理数据。

所有文档加载器都实现 BaseLoader 接口。

WARNING

社区文档加载器由用户贡献且未经核实。LangChain 不审查也不为这些集成背书；请自行承担使用风险。

接口

每个文档加载器都可以定义自己的参数，但它们共享一个通用 API：

• load()：一次性加载所有文档。
• lazy_load()：惰性流式输出文档，适用于大型数据集。

from langchain_docling.loader import DoclingLoader

FILE_PATH = "https://arxiv.org/pdf/2408.09869"

loader = DoclingLoader(file_path=FILE_PATH)

# Load all documents
documents = loader.load()

# For large datasets, lazily load documents
for document in loader.lazy_load():
    print(document)

按类别

生产力工具

下面的文档加载器允许你从常用的生产力工具加载数据。

文档加载器	API 参考
AgentMail	AgentMailLoader
Google Classroom	GoogleClassroomLoader

网页

下面的文档加载器允许你加载网页。

文档加载器	描述	包/API
Unstructured	使用 Unstructured 加载并解析网页	包
Apify Dataset	从 Apify 数据集加载文档	API
Apify Crawl	按需爬取网站并将每个页面加载为一个 Document	API
Diffbot Crawl Loader	使用 Diffbot Crawl API 爬取网站，并将每个页面加载为本体一致的 JSON	API
Diffbot Extract Loader	使用 Diffbot Extract API 将网页加载为本体一致的 JSON	API
Docling	使用 Docling 加载并解析网页	包
DomPruner	DOM AST 剪枝：将网页加载为紧凑的 Markdown，token 减少 97% 以上，无需 API key	包
Firecrawl	通过 scrape/crawl/map/extract/search 将网站转换为干净、可供 LLM 使用的数据	API
Hyperbrowser	用于运行和扩展无头浏览器的平台，可用于抓取/爬取任何站点	API
OpeddFeedLoader	将授权的 Opedd 内容目录加载为带许可来源信息的 Documents	API
ProxyHatLoader	通过 ProxyHat 住宅代理将网页加载为 Documents	API
AgentQL	使用 AgentQL 查询或自然语言提示词从任何网页进行 Web 交互和结构化数据提取	API
CRW	通过本地二进制文件或 fastcrw.com 云提供的开源、兼容 Firecrawl 的网页抓取器	包
Plasmate	智能体原生的无头浏览器，支持 Set of Mark (SOM) 结构化 UI 提取	包
Spidra	AI 驱动的网页抓取器，具备真实浏览器、CAPTCHA 破解和结构化数据提取	API

PDF 文档

下面的文档加载器允许你加载 PDF 文档。

文档加载器	描述	包/API
Unstructured	使用 Unstructured 的开源库加载 PDF	包
Upstage Document Parse Loader	使用 UpstageDocumentParseLoader 加载 PDF 文件	包
Docling	使用 Docling 加载 PDF 文件	包
MinerU	使用 MinerU 加载 PDF 和其他文档	包
UnDatasIO	使用 UnDatasIO 加载 PDF 文件	包
OpenDataLoader PDF	使用 OpenDataLoader PDF 加载 PDF 文件	包
CVFileLoader	加载内嵌 Markdown、HTML 和 JSON Resume 负载的 .cv PDF/A-3u 文件	包
pdfmuse	确定性地加载 PDF 和 DOCX 文件，并带有精确坐标、表格以及用于 RAG 的逐块章节元数据	包
oxidize-pdf	使用带有元素不相交 RAG 分块的 Rust 引擎加载 PDF 文件	包
pdf-inspector	使用 pdf-inspector 加载 PDF 文件	包

云服务商

下面的文档加载器允许你从你喜欢的云服务商加载文档。

文档加载器	描述	合作方包	API 参考 / 来源
Azure Blob Storage	从 Azure Blob Storage 容器或单个 blob 加载文档	✅	langchain-ai/langchain-azure
Google Cloud Storage Directory	从 GCS 存储桶加载文档	✅	GCSDirectoryLoader
Google Cloud Storage File	从 GCS 文件对象加载文档	✅	GCSFileLoader
Google Drive	从 Google Drive 加载文档（仅限 Google Docs）	✅	GoogleDriveLoader

常见文件类型

下面的文档加载器允许你从常见数据格式加载数据。

文档加载器	数据类型
Unstructured	许多文件类型（见 https://docs.unstructured.io/platform/supported-file-types）
HwpHwpxLoader	HWP/HWPX 文件
DoclingLoader	各种文件类型（见 https://docling-project.github.io/docling/）
PolarisAIDataInsightLoader	各种文件类型（见 https://datainsight.polarisoffice.com/documentation?docType=doc_extract）

所有文档加载器

| 集成 | 下载量 | | :- | :- | | [`Google bigquery`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_bigquery) | | | [`Google cloud storage directory`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_cloud_storage_directory) | | | [`Google cloud storage file`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_cloud_storage_file) | | | [`Google drive`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_drive) | | | [`Google speech-to-text audio transcripts`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_speech_to_text) | | | [`Oracle AI vector search document processing`](https://docs.langchain.com/oss/python/integrations/document_loaders/oracleai) | | | [`Oracle autonomous database`](https://docs.langchain.com/oss/python/integrations/document_loaders/oracleadb_loader) | | | [`AstraDB`](https://docs.langchain.com/oss/python/integrations/document_loaders/astradb) | | | [`UnstructuredLoader`](https://docs.langchain.com/oss/python/integrations/document_loaders/unstructured_file) | | | [`Docling`](https://docs.langchain.com/oss/python/integrations/document_loaders/docling) | | | [`PyMuPDF4LLMLoader`](https://github.com/pymupdf/langchain-pymupdf4llm) | | | [`Upstage`](https://docs.langchain.com/oss/python/integrations/document_loaders/upstage) | | | [`Google alloydb for postgresql`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_alloydb) | | | [`Google firestore (native mode)`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_firestore) | | | [`ApifyCrawlLoader`](https://docs.apify.com/integrations/langchain) | | | [`ApifyDatasetLoader`](https://docs.apify.com/integrations/langchain) | | | [`Google cloud SQL for postgresql`](https://docs.cloud.google.com/sql/docs/postgres) | | | [`Google spanner`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_spanner) | | | [`DomPrunerLoader`](https://github.com/dong7812/dompruner-py) | | | [`OpenDataLoader PDF`](https://github.com/opendataloader-project/langchain-opendataloader-pdf) | | | [`Docugami`](https://docs.langchain.com/oss/python/integrations/document_loaders/docugami) | | | [`YoutubeLoaderDL`](https://github.com/aqib0770/langchain-yt-dlp) | | | [`Azure blob storage loader`](https://docs.langchain.com/oss/python/integrations/document_loaders/azure_blob_storage) | | | [`PDFParser`](https://dev.writer.com/api-reference/tool-api/pdf-parser#parse-pdf) | | | [`SingleStoreLoader`](https://github.com/singlestore-labs/langchain-singlestore/) | | | [`CapslaneLoader`](https://capslane.com/integrations/langchain) | | | [`SecureLangChainLoader`](https://github.com/arsbr/Veritensor) | | | [`SpidraLoader`](https://docs.spidra.io) | | | [`AlfrescoLoader`](https://github.com/OpenDMA/langchain-opendma/blob/main/docs/Loader.md#alfrescoloader) | | | [`OpenDMALoader`](https://github.com/OpenDMA/langchain-opendma/blob/main/docs/Loader.md) | | | [`MinerULoader`](https://mineru.net) | | | [`HydrafetchLoader`](https://docs.hydrafetch.com) | | | [`LyrenthLoader`](https://lyrenth.com/docs/integrations) | | | [`CrwLoader`](https://fastcrw.com) | | | [`Google memorystore for Redis`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_memorystore_redis) | | | [`XNSBlobLoader`](https://docs.xns.tech) | | | [`XNSLoader`](https://docs.xns.tech) | | | [`QuanticDataLoader`](https://quanticdata.io/docs/) | | | [`Google bigtable`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_bigtable) | | | [`HyperbrowserLoader`](https://www.hyperbrowser.ai/docs/home) | | | [`PowerScaleDocumentLoader`](https://docs.langchain.com/oss/python/integrations/document_loaders/powerscale) | | | [`FirecrawlLoader`](https://docs.firecrawl.dev) | | | [`PaddleOCR-VL`](https://www.paddleocr.com) | | | [`PdfInspectorLoader`](https://github.com/undacmic/langchain-pdf-inspector) | | | [`langchain_box`](https://developer.box.com/) | | | [`PolarisAIDataInsightLoader`](https://datainsight.polarisoffice.com/playground) | | | [`Outline`](https://github.com/10Pines/langchain-outline) | | | [`ReplyLayerLoader`](https://replylayer.ai/docs/guides/langchain) | | | [`OpeddFeedLoader`](https://opedd.com/for-ai-agents) | | | [`Google Classroom`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_classroom) | | | [`Google cloud SQL for mysql`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_cloud_sql_mysql) | | | [`Kinetica document loader`](https://github.com/kineticadb/langchain-kinetica) | | | [`AnakinLoader`](https://anakin.io/docs/documentation) | | | [`Google firestore in datastore mode`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_datastore) | | | [`PdfmuseLoader`](https://github.com/casperkwok/pdfmuse) | | | [`HwpHwpxLoader`](https://github.com/jaypakdevkr/HWP-Loader) | | | [`CVFileLoader`](https://cvfile.org) | | | [`ProxyHatLoader`](https://docs.proxyhat.com) | | | [`AirbyteLoader`](https://docs.airbyte.com/integrations/) | | | [`DiffbotCrawlLoader`](https://github.com/diffbot/langchain-diffbot) | | | [`DiffbotExtractLoader`](https://github.com/diffbot/langchain-diffbot) | | | [`Google cloud SQL for SQL server`](https://docs.langchain.com/oss/python/integrations/document_loaders/google_cloud_sql_mssql) | | | [`AgentQLLoader`](https://docs.agentql.com/home) | | | [`Google el carro for Oracle workloads`](https://github.com/googleapis/langchain-google-el-carro-python/) | | | [`PlasmateSOMLLoader`](https://docs.plasmate.app/integration-langchain) | | | [`Undatasio`](https://undatas.io) | | | [`Soniox`](https://soniox.com/docs/stt/concepts/supported-languages) | | | [`AgentMail`](https://github.com/agentmail-to/langchain-agentmail) | | | [`OxidizePdfLoader`](https://github.com/bzsanti/oxidize-pdf-integrations/tree/main/langchain) | | | [`EnconvertLoader`](https://github.com/enconvert/langchain-enconvert) | | | [`LangSmithLoader`](https://docs.langchain.com/oss/python/integrations/document_loaders/langsmith) | N/A |

---