https://blog.tanteng.space/tags/rag-evaluation/Recent content in RAG 评估 on Tony老师的博客HugozhThu, 20 Feb 2025 10:00:00 +0800https://blog.tanteng.space/2025/02/rag-evaluation-framework/Thu, 20 Feb 2025 10:00:00 +0800https://blog.tanteng.space/2025/02/rag-evaluation-framework/<blockquote> <p>上线一个 RAG 系统不写评估，就像把 SQL 代码 push 上生产但从不跑测试。LLM 输出有随机性，prompt 微调、embedding 换模型、rerank 加权调整都可能让质量断崖式下跌——没有自动化的回归测试，你永远不知道哪次迭代把检索质量搞砸了。</p> </blockquote> <p>这篇文章不讲&quot;为什么要做评估&quot;，讲<strong>怎么搭一套真正能用的 RAG 评估体系</strong>：</p> <ul> <li>四种评估方法（人工 / 自动指标 / LLM-as-Judge / 端到端 A/B）的取舍</li> <li>Golden Dataset 怎么造、造多少、怎么维护</li> <li>RAGAS 四大核心指标的定义与局限</li> <li>LLM-as-Judge 与人类标注的相关系数证据</li> <li>实战代码：基于 RAGAS + DeepEval 的离线评估 pipeline</li> </ul>