本页给出 LlamaCloud 架构的总览。

概述

自托管的 LlamaCloud 是 Enterprise 专属能力，专为那些需要对数据与基础设施高度掌控的组织设计。想进一步了解自托管，请通过 https://www.llamaindex.ai/contact 联系我们。

客户端经由 ingress 连接前端或后端 API。后台处理跑在 Temporal worker 上，Parse 与其他任务各有独立的部署。

数据库、队列与文件存储

注意

自托管部署默认会启用容器化的必备数据库与队列，这只是为了帮你起步。生产部署我们建议把 LlamaCloud 接到外部托管的服务上。更多信息请参阅安装指南。

• Postgres：LlamaCloud 用它作为主关系型数据库，承载几乎全部数据。
• MongoDB：LlamaCloud 用它作为次级的文档数据库，存放文档摄取与流水线相关的数据。
• Redis：LlamaCloud 用它作为主要的内存键值存储，承担排队与缓存操作。
• Temporal：LlamaCloud 用它运行后台处理任务。
• S3Proxy：为了支持非 S3 的对象存储，我们允许用户部署 s3proxy —— 一个 S3 兼容代理，用来对接其他存储方案。

内部服务

LlamaCloud 前端

前端是 LlamaCloud 的主要用户界面。生产环境我们建议通过 Nginx 或 Traefik 这类反向代理把它暴露给用户访问。

LlamaCloud 后端

这是 LlamaCloud 的 API 入口，处理来自前端的全部请求以及平台的业务逻辑。这个服务也可以当作独立 API 使用。

LlamaCloud Jobs 服务

Jobs 服务负责任务处理与摄取流水线的管理。

Temporal Jobs Worker

Temporal jobs worker 运行抽取与摄取工作流。

LlamaCloud 用量服务

该服务跨 project、index 与组织记录所有的解析与摄取用量。

LlamaParse 服务

LlamaParse 是支撑 LlamaCloud 非结构化文档解析的引擎，支持多种文件格式、解析模式与输出格式。更多信息请参阅 LlamaParse 文档。

LlamaParse OCR 服务

该服务与 LlamaParse 协同工作，以提升我们文档解析的准确度。

用量封顶

上面这些服务运行在你自己供给的基础设施上，因此它们消耗的上限由你来定。LlamaCloud 用两种互相独立的机制约束按组织与按 project 的用量：API 速率限制（限制一个 project 调用 API 的速度）与用量上限（限制一个组织或 project 在一天或一个月内可消耗的 credit）。两者都从你的 Helm values 里取部署级默认值，并可由全局管理员为单个组织覆盖。

可用的限制、各自默认值以及如何安全地推行上限，见用量控制。