2006 年，NVIDIA 推出了 CUDA（Compute Unified Device Architecture）——一套针对自家 GPU 的并行计算平台和编程模型。在此之前，GPU 的职责单一，仅限于图形渲染；CUDA 的出现，使得开发者可以用熟悉的 C/C++ 语言直接调用 GPU 的算力。

大语言模型训练、深度学习推理、科学计算——这些涉及 TB 级数据处理的任务，底层几乎都运行在 CUDA 之上。本文以中立视角，剖析 CUDA 的核心设计，并透过一个实战例子展示其并行计算模型。