[28] RAGAS：RAG 自动评估指标与落地方式

• 资料类型：论文/工具方法
• 原始来源：https://arxiv.org/abs/2309.15217
• 对应章节：第 10 章（RAG 评测）、第 18 章（评测体系）

一句话

别只看答得像不像，要量化证据是不是对的、引用是不是完整的。

你该从 RAGAS 带走什么

• 评估要自动化：否则每次改动都需要人工抽查，无法形成回归。
• 指标要和失败样本绑定：分数下降不是结论，找到哪类问题变差才有行动价值。

在本书里怎么用

• 将 RAG 评测输出固定为可对比表（分数/引用缺失/延迟/成本）。
• 把引用缺失设为硬失败：让它在 CI 里直接阻断合并。

常见误用

• 指标太多但没有阈值与门禁，最后没人看。
• 只追求分数提升，不关注延迟/成本，导致更准但不可用。