主题
数据摄取的关键在于加载与变换。Documents 加载完成后,就可以用变换对其处理并产出 Nodes。
在「理解」一节了解数据加载的基础之后,可以继续深入了解:
加载
- SimpleDirectoryReader,我们内置的加载器,可从本地目录读取各种文件类型
- LlamaParse,LlamaIndex 官方的 PDF 解析工具,以托管 API 形式提供
- 数据连接器,数百个数据加载集成,可从任意来源摄取数据
变换
这里包含文本切分这类常用操作。
把各部分串起来
- 摄取流水线,让你建立一套可重复、并针对缓存优化的数据加载流程。
抽象对象
- Document 与 Node 对象,以及如何为更复杂的场景定制它们