Token 成本优化：从 Prompt Cache 到模型分级路由

Sun, 20 Apr 2025 10:00:00 +0800

一个中等规模的 AI Agent 产品，月调用百万次 token 计费是常态。Bugster 在 2025 年 8 月报告：通过 prompt caching 把 LLM 成本降低 60 倍，p95 延迟下降 20%，质量纹丝不动。这不是营销话术——是任何团队都能复现的工程优化。

LLM 调用成本是 AI 产品商业化的生死线。一个看似不贵的单次调用（几分钱），乘以百万级用户量，每月账单能轻松冲到六位数。

这篇文章不讲"为什么要优化成本"（地球人都知道），讲具体怎么优化：

成本优化 on Tony老师的博客