微调 on Tony老师的博客

知识蒸馏：小模型如何继承大模型的能力

Fri, 10 Jul 2026 00:00:00 +0000

2025 年 1 月，DeepSeek 一口气放出 6 个 R1 蒸馏模型。但如果按 Hinton 2014 年那篇论文的定义逐条对照，这些模型一个都不算蒸馏。

它们的实际训练过程是：用 R1 生成了 80 万条完整解答，然后在 Qwen / Llama 基座上做 2~3 个 epoch 的监督微调。Teacher 的 logits、隐状态、注意力图——一概没有参与训练。

同一件事被叫成同一个名字，底下其实是三种完全不同的技术：能看到的 teacher 信息越少，蒸馏的信息密度就越低，需要的算力也就越多。这篇文章把这三层拆开讲清楚，以及 2025-2026 年工业界真正在用的是哪一层。

Wed, 08 Jul 2026 09:00:00 +0800

「订一张下周三从深圳飞北京的机票」和「刚才那张票能改签吗」，对系统来说是两种完全不同的动作。前者要触发搜索与下单，后者要在已有订单上做修改，而且城市、日期、乘客都得从上一轮继承过来。

把这类自然语言输入映射到正确的动作上，就是意图识别（Intent Recognition）。它是对话系统唯一的信息入口，也是错误会向下游逐级放大的那一环。

这篇文章从概念讲起：先说清意图、槽位、对话状态这几个词的确切含义，再说清 SLM 和 LLM 两条路线在数学上其实是同一个问题、工程上却是两套完全不同的系统，最后落到数据构造、训练、约束解码、拒识阈值、多轮处理和分层评测。

Thu, 18 Dec 2025 10:00:00 +0800

Fine-tuning 是 LLM 应用的分水岭——但 90% 的场景其实不应该 fine-tune。这篇文章讲清楚：什么时候 fine-tune、什么时候用 RAG、什么时候用 prompt，以及 fine-tune 时LoRA / QLoRA 的工程要点（2025 年最新）。

很多团队的 LLM 上线流程是：先 fine-tune 一个"专属模型"。但 2025 年的共识已经变了：

微调 ≠ 提升能力。微调 = 对齐行为到特定场景。

GPT-4 不会因为你 fine-tune 变聪明，但会变得更"听话"——更稳定地按你的格式输出、更贴合你的语气、更准确地调用你的工具。这不是能力问题，是行为问题。

这篇文章分两部分：