从 CoT 到 ToT：大模型推理的思维进化与剪枝策略
过去一年，推理大模型（OpenAI o 系列、DeepSeek R1 等）让所有人见识到了"慢思考"的威力。但这场革命的源头，要从两条看似独立的技术路线说起：一条让模型学会调用工具，另一条让模型学会多路线探索。两条路线最终在 ToT（Tree of Thoughts）架构下合流，并靠剪枝策略解决了最棘手的组合爆炸问题。
从 ReAct 说起：模型开始"动手"
2022 年，姚顺雨（清华姚班、普林斯顿博士，曾任职于 OpenAI）发表论文 ReAct（ICLR 2023），提出在提示词中规范 Thought → Action → Observation 循环：Thought 负责全局规划，Action 调用外部工具（搜索 API、代码执行等），Observation 接收外部反馈修正下一步思考。
这解决了纯推理（CoT 容易闭门造车）和纯行动（缺乏中间推理、容错率低）的割裂问题，让执行轨迹变得可解释。但本质上，ReAct 仍是线性思维——每步只生成一个 Thought，没有分支、没有回溯。
CoT：线性思维的局限
CoT（Chain of Thought，思维链）的核心是 “Let’s think step by step”，把复杂问题拆成线性步骤：A → B → C → 答案。
这把模型从"直觉脑"（System 1）逼成了"慢思考"（System 2），效果显著。但 CoT 有一个根本缺陷：一条道走到黑。如果步骤 B 推理偏了，没有回头药吃；面对有多种解法的问题，CoT 只探索一条路径——可能恰好选了最差的那条。
ToT：给模型装上"分叉路口"
ToT（Tree of Thoughts，思维树）同样由姚顺雨等人在 2023 年提出，核心改变是：从线性链变成树状搜索。
面对复杂问题，ToT 允许模型在每一步生成多个不同的思维分支，并在适当时机回溯和剪枝。
以"24点游戏"为例（给4个数字，通过加减乘除凑成24）：
- CoT 做法：直接硬猜一串算式，猜错就挂
- ToT 做法：
- 第一步：选两个数字组合，生成3个可能的第一步算式（3个分支）
- 第二步：基于这3个分支各自往下衍生
- 形成一棵"思维树"，而非一条直线
这就让模型具备了多路线探索和全局规划的能力——像人类下围棋一样，同时推演多条路径的走向。
组合爆炸与剪枝：ToT 的难题与解法
树状搜索虽好，但面临组合爆炸：每步产生3个分支，走5步就有 $3^5 = 243$ 个节点。放任模型这么"胡思乱想"，上下文窗口瞬间撑爆，API 账单也会以恐怖的速度飙升。
更关键的是：大量分支是无意义的——逻辑已经崩塌、数字已经不可能凑成24。这些死路消耗的算力完全是浪费。
解决之道是剪枝（Pruning）——注意，这里说的不是压缩模型参数的模型剪枝，而是推理阶段及时砍掉没有前途的思维分支。
ToT 的完整闭环由两个角色协作：
| 角色 | 职责 |
|---|---|
| 生成器（Generator） | 脑洞大开，疯狂生成分支 |
| 评估器（Evaluator） | 冷酷裁判，对每个思维节点打分，决定保留或剪枝 |
评估器（可以是轻量模型或特定提示词约束）对每个中间思维节点给出三档判断：
- Sure（完全可行）：方向靠谱，保留，继续往下衍生
- Maybe（有可能）：目前看不出对错，暂时保留
- Impossible（死路一条）：逻辑已经崩塌，或数字已经不可能凑成目标
标记为 Impossible 后，算法立即掐断该分支的后续生成，触发回溯（Backtracking），回到上一个"Sure"或"Maybe"节点重新探索。
搜索策略上，BFS（广度优先）适合找最优解但成本高；DFS（深度优先）适合快速找到一个可行解。实际系统往往先用 DFS + 剪枝找到可行解，再在必要时切换。
实际应用：这些思想正在改变 Agent 开发
ToT + 剪枝已经不是论文里的概念，而是现代 Agent 架构的核心设计思想：
复杂业务拆解：不要指望一个 Prompt 搞定跨系统的复杂任务。用 ToT 思想，让高级模型（如 o1、DeepSeek R1）做 Planner 分解步骤，每步生成多个候选方案，通过评估器筛选。
动态路由与裁枝：用低成本小模型作为 Evaluator 检查关键节点的输出格式和逻辑。一旦发现异常，立刻中断并触发重试或回溯。这能显著节省 Token 成本——不是让模型少想，而是让模型不想浪费想的时间。
测试时算力扩展（Test-Time Compute）：推理模型在推理阶段投入更多算力做搜索，本身就是 ToT + 剪枝思想的体现。模型在回答前"想多久"，取决于搜索树能在多深的节点上找到足够确定的方向。
总结
从 ReAct 的"边想边做"，到 CoT 的线性推理，再到 ToT 的树状搜索，大模型正在从 System 1 走向 System 2。剪枝策略是让这场升级变得可行的关键——把无意义的算力消耗提前拦截，让模型把注意力集中在真正有希望的路径上。
未来的 AI 竞争，不再是比谁"脱口而出"更快，而是比谁在后台"想得更深、掉头更及时"。掌握 ToT 与剪枝的精髓，就握住了通往下一代高级 Agent 架构的钥匙。