https://blog.tanteng.space/tags/testing/Recent content in Testing on Tony老师的博客HugozhTue, 10 Jun 2025 10:00:00 +0800https://blog.tanteng.space/2025/06/ai-agent-evaluation/Tue, 10 Jun 2025 10:00:00 +0800https://blog.tanteng.space/2025/06/ai-agent-evaluation/<blockquote> <p>上线一个 AI Agent 不写评估，就像把 SQL 代码 push 上生产但从不跑测试。LLM 的输出有随机性，prompt 微调一句可能让质量断崖式下跌——没有自动化的回归测试，<strong>你永远不知道哪次 commit 把产品搞砸了</strong>。</p> </blockquote> <p>这篇文章不讲&quot;为什么要做评估&quot;（这个地球人都知道），讲<strong>怎么搭一套真正能用的 Agent 评估体系</strong>：</p> <ul> <li>三种评估方法（确定性 / LLM-as-Judge / 人工）的取舍</li> <li>Golden Dataset 怎么造、造多少、怎么维护</li> <li>评估指标设计：从 RAG 召回到 Agent 工具调用</li> <li>CI/CD 集成：每次改 prompt 自动跑</li> <li>实战代码：基于 DeepEval 的回归 pipeline</li> </ul>