LLM 推理优化：KV Cache、PagedAttention 与量化

Tue, 25 Mar 2025 14:00:00 +0800

上线一个 70B 模型，自以为把 transformers 包进 FastAPI 就算生产就绪。结果 P99 延迟 12 秒、显存爆掉、并发只有 4。问题不是模型不行，而是 LLM 推理的访存模式和传统 CNN 推理是两个世界——KV Cache 占显存、解码是 memory-bound、长度不可预测。

这是一篇 LLM 推理优化的"算法地图"。Phase 6 的 llm-serving-architecture.md 讲了 vLLM/TGI/Triton 三套服务的工程对比；本文深入到推理算法层，讲四个 10 倍速提升的技术：

PagedAttention：把 KV Cache 切成页，显存利用率从 ~30% 提到 ~95%
FlashAttention-2：用 tiling 把 attention 的 HBM 读写从 O(N²) 降到 O(N)
KV Cache 量化（KIVI）：把已经生成的 KV 压到 2-bit，显存再砍 4 倍
模型权重量化（GPTQ/AWQ）：把 70B 模型从 140GB 压到 20GB，单卡可跑
Speculative Decoding：用小模型草稿 + 大模型验收，无损 2-3× 加速

量化 on Tony老师的博客

LLM 推理优化：KV Cache、PagedAttention 与量化