LlamaIndex 不仅能构建基于语言的应用，也能构建多模态应用——把语言与图像结合起来。

多模态用例的类型

这个方向目前仍在积极探索中，但已有一些精彩的用例正在涌现。

RAG（检索增强生成）

索引、检索、合成这些 RAG 核心概念，都可以扩展到图像场景。

• 输入可以是文本或图像。
• 存放的知识库可以是文本或图像。
• 用于生成回答的输入可以是文本或图像。
• 最终的回答可以是文本或图像。

相关指南见下文：

• GPT-4V 多模态
• 用 CLIP 做多模态检索
• 图像到图像检索
• 结构化图像检索
• Chroma 多模态
• Gemini 多模态

结构化输出

你可以通过 LlamaIndex 让新版 OpenAI GPT4V 输出结构化结果。用户只需指定一个 Pydantic 对象来定义输出结构。

指南见下文：

• 多模态 Pydantic Program

检索增强的图像描述

很多时候，理解一张图像需要去知识库里查资料。这里的一种流程是检索增强的图像描述：先用多模态模型给图像生成描述，再从文本语料中检索内容来精炼这段描述。

相关指南见下文：

• Llava + Testla 10Q

智能体

下面是一些初步工作，演示 GPT-4V 的智能体能力。

• 多模态智能体
• GPT-4V 实验

评估与对比

这几节展示针对不同用例、各多模态模型之间的对比。

LLaVa-13、Fuyu-8B 与 MiniGPT-4 多模态 LLM 在图像推理上的对比

这些 notebook 演示如何用不同的多模态 LLM 做图像理解/推理。各模型的推理由 Replicate 或 OpenAI GPT4-V API 支持。我们对比了几个主流的多模态 LLM：

• GPT4-V（OpenAI API）
• LLava-13B（Replicate）
• Fuyu-8B（Replicate）
• MiniGPT-4（Replicate）
• CogVLM（Replicate）

相关指南见下文：

• Replicate 多模态
• GPT4-V

多模态 RAG 的简单评估

在这份 notebook 指南里，我们将演示如何评估一个多模态 RAG 系统。与纯文本场景一样，我们会把检索器与生成器的评估分开考虑。正如我们在评估多模态 RAG 的博客中提到的，这里的做法是把常用于评估检索器与生成器的技术（原本面向纯文本场景）加以改造后应用。这些改造后的能力已包含在 llama-index 库中（也就是评估模块），本 notebook 将带你了解如何在自己的评估场景中使用它们。

• 多模态 RAG 评估

模型指南

下面的 notebook 指南演示如何与不同的多模态模型服务商交互。

• OpenAI 多模态
• Replicate 多模态