Transformer 是当今大语言模型（GPT、BERT、T5 等）的基础架构，由 Google 在 2017 年论文 “Attention Is All You Need” 中提出。它彻底抛弃了 RNN 的递归结构，仅依靠注意力机制实现序列建模，在效果和效率上都带来了革命性突破。

本文通过一张架构图 + 核心公式 + 基础概念解释，帮你快速建立对 Transformer 的整体理解。

用知识的摘要进行向量化查询的方式，找到相关知识。一篇英文的知识，也能找到相似的中文知识，这是为什么？

这是一个非常深刻且触及了现代自然语言处理（NLP）核心原理的问题。简单来说，之所以英文的摘要能搜索到中文的知识，是因为在向量化的世界里，语言不再是隔阂，“含义”（Semantics）才是坐标。

这种技术通常被称为跨语言语义检索（Cross-lingual Semantic Search）。其背后的原理可以拆解为以下几个关键层面：