论文 on Tony老师的博客

GraphRAG：用知识图谱改进大模型检索

Fri, 11 Sep 2026 00:00:00 +0800

大模型很强，但有两个老毛病：幻觉（说得头头是道但全是编的）和知识陈旧（训练完之后发生的事它不知道）。RAG（Retrieval-Augmented Generation，检索增强生成）是当下最主流的补救方案：让模型先查资料再回答。但 RAG 这件事本身还有很深的分化——怎么查差别巨大。本文借 Neo4j 那篇 What is GraphRAG? 的框架，把四种检索范式摆在一起对比，讲清 GraphRAG 解决什么问题，最后用我自己 270 篇博客转出来的知识图谱作为活样本。

知识蒸馏：小模型如何继承大模型的能力

Fri, 10 Jul 2026 00:00:00 +0000

2025 年 1 月，DeepSeek 一口气放出 6 个 R1 蒸馏模型。但如果按 Hinton 2014 年那篇论文的定义逐条对照，这些模型一个都不算蒸馏。

它们的实际训练过程是：用 R1 生成了 80 万条完整解答，然后在 Qwen / Llama 基座上做 2~3 个 epoch 的监督微调。Teacher 的 logits、隐状态、注意力图——一概没有参与训练。

同一件事被叫成同一个名字，底下其实是三种完全不同的技术：能看到的 teacher 信息越少，蒸馏的信息密度就越低，需要的算力也就越多。这篇文章把这三层拆开讲清楚，以及 2025-2026 年工业界真正在用的是哪一层。

从 CoT 到 ToT：大模型推理的思维进化与剪枝策略

Tue, 30 Jun 2026 00:00:00 +0000

过去一年，推理大模型（OpenAI o 系列、DeepSeek R1 等）让所有人见识到了"慢思考"的威力。但这场革命的源头，要从两条看似独立的技术路线说起：一条让模型学会调用工具，另一条让模型学会多路线探索。两条路线最终在 ToT（Tree of Thoughts）架构下合流，并靠剪枝策略解决了最棘手的组合爆炸问题。

Neo4j《What is GraphRAG?》全文翻译（中英对照）

Fri, 06 Mar 2026 08:00:00 +0800

向量 RAG 的天花板，从来不是 Embedding 模型不够强，而是它抓到的是「片段」，丢掉的却是「关系」。

这是 Neo4j 官方那篇被引用最多的 GraphRAG 定义文章。它做的事情很朴素：先把 RAG 拆成三个阶段讲清楚，然后指出纯向量检索的两大软肋（片段化 + 黑盒不可解释），再给出解法——把知识图谱当作 LLM 的「外部记忆」，用图检索补上关系这一层。文章后半段还带了一个完整的 Neo4j 实战：用 SimpleKGPipeline 从生物医学论文 PDF 里抽出实体和关系，再用 VectorCypherRetriever 做「向量命中 + 关系跳两跳」，最后和纯向量 RAG 的答案做对比。

RAG 召回率提升的另一条路：HyDE 让问题先伪装成答案

Tue, 03 Mar 2026 08:00:00 +0800

跑过 RAG 的同学大概都踩过这个坑：用户问"我的订单怎么取消？"，向量库里明明有那段"如需取消订单，请前往’我的订单’页面……"，但召回就是捞不回来。

问题出在哪？问题和答案在向量空间里隔得很远——“取消"虽然两边都有，但问句的语气、词汇结构、隐含的主语省略，都让它和那段陈述句形态的答案距离不近。BM25 兜不住（关键词只有两个字），向量检索也兜不住（语义结构差太大），怎么解？

HyDE（Hypothetical Document Embeddings） 就是专门处理这道题的。

DSPy：让 Prompt 自动优化而非手调

Sun, 08 Feb 2026 10:00:00 +0800

写 prompt 调到怀疑人生？改一个词要测 100 条 case？2025 年开始，别再手调 prompt 了——用 DSPy 这种"prompt 编译器"，让优化器自动搜索最优指令。

手调 prompt 是 AI 工程里最反智的工作之一：

改一个词就要重跑全部测试
一个 prompt 调到 90 分，再也调不上去
模型升级后又要从头调
不同任务需要不同 prompt，无法复用经验

Stanford NLP 提出的 DSPy 把 prompt 变成"可编译的代码"——你定义"想要什么"（signature），DSPy 编译器自动生成最优 prompt。这篇文章讲清楚它的原理、用法、和 2025 年最新的优化器（MIPROv2 / GEPA）。

Fine-tuning 实战：LoRA / QLoRA 原理与工程实践

Thu, 18 Dec 2025 10:00:00 +0800

Fine-tuning 是 LLM 应用的分水岭——但 90% 的场景其实不应该 fine-tune。这篇文章讲清楚：什么时候 fine-tune、什么时候用 RAG、什么时候用 prompt，以及 fine-tune 时LoRA / QLoRA 的工程要点（2025 年最新）。

很多团队的 LLM 上线流程是：先 fine-tune 一个"专属模型"。但 2025 年的共识已经变了：

微调 ≠ 提升能力。微调 = 对齐行为到特定场景。

GPT-4 不会因为你 fine-tune 变聪明，但会变得更"听话"——更稳定地按你的格式输出、更贴合你的语气、更准确地调用你的工具。这不是能力问题，是行为问题。

这篇文章分两部分：

决策框架：什么时候 fine-tune，什么时候用其他方法
工程实践：LoRA / QLoRA 怎么调、怎么部署

Transformer 基础对话录：Q/K/V、训练与编解码器

Fri, 07 Nov 2025 10:00:00 +0800

下面是我和 ChatGPT 学 Transformer 的一段对话整理。从 Q、K、V 这三个字母开始，一路问到参数怎么训练、编码器和解码器有什么区别，最后停在后训练。

追问顺序保留原样，措辞做了改写；回答重写过一遍，补上了对话里被跳过的 √d_k、多头注意力和位置编码，数字与结论对回 Attention Is All You Need 原文。

Attention Is All You Need 全文翻译与深度解读（中英对照）

Wed, 05 Nov 2025 09:30:00 +0800

2017 年 6 月，谷歌的 8 位研究者提交了一篇只有 8 页正文的论文。它没有提出新的训练技巧，没有刷爆某个榜单的绝对数值，甚至标题看起来像一句玩笑。

但今天你用的每一个大模型——GPT、Claude、Gemini、DeepSeek、Qwen——血管里流的都是这篇论文写下的那行公式：

Attention(Q, K, V) = softmax(QKᵀ / √d_k) V

这篇文章做两件事：第一部分是论文正文的完整中英对照翻译；第二部分是我用今天的视角写的解读——那些论文里一笔带过、但后来被证明至关重要的细节。

翻译体例：每个段落先列英文原文（引用块），紧接中文译文。公式与表格为便于阅读做了重排，专业术语保留英文并附中文。

多模态 RAG：ColPali 让 VLM 直接读 PDF

Tue, 08 Jul 2025 15:00:00 +0800

2023 年我们做合同 RAG，要先 OCR 提取文本，再做 layout 分析识别表格，再用 PyMuPDF 切 chunk，最后 embedding 入库。整条管线 6 个组件，每个都可能丢信息——表格合并了、数字 OCR 错了、扫描件直接卡死。到 2024 年 ColPali 出现，这条管线被彻底推翻：把 PDF 当图片扔给 VLM，模型同时理解文字、表格、图表、手写体，直接出 patch embedding。

这是一篇多模态 RAG 检索架构的文章。Phase 1-6 的 RAG 文章讲了"召回率优化"（BM25 + 向量 + rerank），本文讲的是当文档本身就是图像时的范式跃迁：

传统 OCR + chunking 管线的 4 个失效场景
ColPali 的核心思路：PDF → 图片 → VLM → patch embedding → 检索
Late Interaction（ColBERT 风格）在视觉空间的延伸
ColQwen2/2.5、ViDoRe benchmark、工程取舍

LLM 推理优化：KV Cache、PagedAttention 与量化

Tue, 25 Mar 2025 14:00:00 +0800

上线一个 70B 模型，自以为把 transformers 包进 FastAPI 就算生产就绪。结果 P99 延迟 12 秒、显存爆掉、并发只有 4。问题不是模型不行，而是 LLM 推理的访存模式和传统 CNN 推理是两个世界——KV Cache 占显存、解码是 memory-bound、长度不可预测。

这是一篇 LLM 推理优化的"算法地图"。Phase 6 的 llm-serving-architecture.md 讲了 vLLM/TGI/Triton 三套服务的工程对比；本文深入到推理算法层，讲四个 10 倍速提升的技术：

PagedAttention：把 KV Cache 切成页，显存利用率从 ~30% 提到 ~95%
FlashAttention-2：用 tiling 把 attention 的 HBM 读写从 O(N²) 降到 O(N)
KV Cache 量化（KIVI）：把已经生成的 KV 压到 2-bit，显存再砍 4 倍
模型权重量化（GPTQ/AWQ）：把 70B 模型从 140GB 压到 20GB，单卡可跑
Speculative Decoding：用小模型草稿 + 大模型验收，无损 2-3× 加速

比特币白皮书对话录：双花、工作量证明与确认数

Sun, 10 Dec 2023 10:00:00 +0800

这是另一份学习对话的整理稿，主题是中本聪 2008 年那份 9 页的白皮书。

问题按原来的追问顺序保留，措辞做了改写；回答重写过，删掉了重复的类比，并把结论对回论文原文。

比特币白皮书中英对照全文翻译（Bitcoin: A Peer-to-Peer Electronic Cash System）

Sat, 31 Oct 2015 10:00:00 +0800

这是比特币白皮书的完整中英对照翻译。原文 9 页，正文 12 节，加上 8 条参考文献。

体例：每段先列英文原文（引用块），紧接中文译文。公式、算法和概率表为便于阅读做了重排，图按原文内容重绘；专业术语保留英文并附中文，原文的引用编号 [1]–[8] 对应文末参考文献。

Bigtable 论文中英对照全文翻译（A Distributed Storage System for Structured Data）

Sun, 22 Jun 2014 10:00:00 +0800

这是 Bigtable 论文的完整中英对照翻译。原文 14 页，正文 11 节，参考文献 38 条。

体例：每段先列英文原文（引用块），紧接中文译文。图与表格按原文内容重绘；专业术语保留英文并附中文，原文的引用编号 [n] 对应文末参考文献。

MapReduce 论文中英对照全文翻译（Simplified Data Processing on Large Clusters）

Sun, 18 May 2014 10:00:00 +0800

这是 MapReduce 论文的完整中英对照翻译。原文 13 页，正文 8 节加附录 A，参考文献 18 条。

GFS 论文中英对照全文翻译（The Google File System）

Sat, 12 Apr 2014 10:00:00 +0800

这是 Google File System 论文的完整中英对照翻译。原文 15 页，正文 9 节，参考文献 12 条。