要对工作流做更深入的评估，把它拆解成对各个组件的评估会有帮助。

举例来说，某个失败案例可能同时源于「没检索到正确的文档」与「LLM 误解了上下文并幻觉出错误结果」。能把这些问题隔离开、分别处理，可以降低复杂度，并引导你一步步得到更令人满意的整体结果。

使用公开基准

做最初的模型选择时，看看模型在一套标准化、覆盖多样领域或任务的基准上表现如何，会很有帮助。

对嵌入来说，一个有用的基准是 MTEB 榜单。

评估检索

BEIR 数据集

BEIR 适合用来基准测试某个检索模型在零样本设定下能否良好泛化到小众领域。

由于大多数公开可得的嵌入与检索模型都已在 BEIR 上做过基准测试（例如通过 MTEB 基准），因此只有当你有一个独特的模型需要评估时，用 BEIR 才更有帮助。

比如，在你的数据集上微调完一个嵌入模型后，看看它在一组多样领域上的性能是否下降、下降多少，就会很有价值。这可以提示数据漂移会在多大程度上影响你的检索准确度——例如你往 RAG 系统里加入了微调训练分布之外的文档。

这里有一个 notebook，演示如何把 BEIR 数据集用于你的检索流程。

• BEIR 评估

我们会尽快补充更多检索评估方法，包括在你自己的数据集上评估检索。

评估查询引擎组件（不含检索）

这种情况下，我们可能想在某个标准基准上评估查询引擎的特定组件（它也许会生成子问题或后续问题）。这能提示你的检索流程相对其他流程或模型落后或领先多少。

HotpotQA 数据集

HotpotQA 数据集适合用来评估需要多步检索的查询。

示例：

• HotpotQA 评估

局限：

1. HotpotQA 基于维基百科语料评估。LLM（尤其是 GPT4）往往已经把维基百科的信息记得相当牢。因此该基准并不太适合评估「强知识模型（如 GPT4）+ 检索 + 重排」这类系统。