LlamaIndex 可以完全跑在本地模型上。这在你不想把数据发给托管 API、需要离线工作，或者希望成本可预测时很有用。典型的全本地组合是：

• LLM：llama.cpp、vLLM、Hugging Face Transformers 或 Ollama。
• 嵌入：HuggingFaceEmbedding，在本地运行任意 Sentence Transformers 模型（纯 CPU 下可选用 ONNX / OpenVINO 加速）。
• 重排器（可选）：SentenceTransformerRerank，配一个 cross-encoder，如 cross-encoder/ms-marco-MiniLM-L6-v2 或 Qwen/Qwen3-Reranker-0.6B。
• 向量库：默认的 SimpleVectorStore（可持久化到磁盘），或任意自托管集成（Chroma、Qdrant、Postgres/pgvector、Milvus 等）。

最短路径

照本地起步教程来做，它会带你安装 Ollama、llama-index-llms-ollama 与 llama-index-embeddings-huggingface，然后搭出一条完整的本地 RAG 流水线。

想要以 Chroma 做持久化的本地组合，见全本地 RAG 食谱。

可用的本地 LLM 集成

LlamaIndex 通过若干集成包支持本地 LLM：

• llama-index-llms-llama-cpp：直接绑定 llama.cpp。
• llama-index-llms-huggingface：Hugging Face Transformers（Hub 上任意因果语言模型）。
• llama-index-llms-vllm：vLLM，用于高吞吐的自托管服务。
• llama-index-llms-openai-like：任何暴露 OpenAI 兼容 API 的服务（text-generation-webui、LM Studio、vLLM 等）。
• llama-index-llms-ollama：Ollama（llama3、mistral、qwen 等）。

浏览完整的 LLM 集成清单。