2006 年，NVIDIA 推出了 CUDA（Compute Unified Device Architecture）——一套针对自家 GPU 的并行计算平台和编程模型。在此之前，GPU 的职责单一，仅限于图形渲染；CUDA 的出现，使得开发者可以用熟悉的 C/C++ 语言直接调用 GPU 的算力。

大语言模型训练、深度学习推理、科学计算——这些涉及 TB 级数据处理的任务，底层几乎都运行在 CUDA 之上。本文以中立视角，剖析 CUDA 的核心设计，并透过一个实战例子展示其并行计算模型。

CPU vs GPU：两种截然不同的设计哲学

理解 GPU 加速的第一步，是认清 CPU 和 GPU 在架构设计上的本质差异。

一个常被引用的类比：CPU 如同一个由少数博士组成的团队，单兵能力极强；GPU 则像一支由数千名小学生组成的团队——单挑能力弱，但协同作战时在海量简单任务上具有压倒性效率。例如数清一亿颗豆子，GPU 能在毫秒级完成，CPU 则需要数十秒。

这背后的根本原因在于：现代 AI 中的权重矩阵乘法、反向传播，本质上都是规则明确、高度可并行的浮点运算，正是 GPU 的拿手好戏。

CUDA 编程模型：Host 与 Device 的分工

CUDA 程序采用 Host（CPU）+ Device（GPU） 的异构架构。Host 负责逻辑控制、数据准备和结果汇总；Device（GPU）负责执行计算密集型任务，运行在 GPU 上的函数称为 Kernel。

Thread / Block / Grid：三级并行层次

GPU 并行的核心是以下三层结构：

• Thread（线程）：最小执行单元，每个线程独立执行 Kernel 代码
• Block（线程块）：一组最多 1024 个线程，Block 内线程可通过 __shared__ 共享内存通信
• Grid（网格）：所有 Block 的集合，构成了 GPU 上的全部并行空间

Kernel 启动时需指定 Block 数量和每个 Block 的线程数：

my_kernel<<<256, 256>>>(d_data, size);  // 256 个 Block，每 Block 256 线程，共 65536 个线程并行执行

每个线程通过 blockIdx.x * blockDim.x + threadIdx.x 计算全局索引，从而访问属于自己的数据片段。

实战：并行归约求和

来看一个经典例子——并行归约（Parallel Reduction）：对 1 亿个浮点数求和。

核心思路

CPU 串行累加需要 O(N) 次顺序操作。GPU 则让数千个线程同时工作，每个线程累加局部子集，最后合并结果。

Kernel 实现（共享内存 + 树形归约）

__global__ void reduction_kernel(float *input, float *output, int n) {
    __shared__ float shared_data[256];

    unsigned int tid = threadIdx.x;
    unsigned int idx = blockIdx.x * blockDim.x + threadIdx.x;

    // 每个线程加载一个元素到共享内存
    shared_data[tid] = (idx < n) ? input[idx] : 0.0f;
    __syncthreads();

    // 树形归约：每轮线程两两配对求和
    for (unsigned int s = blockDim.x / 2; s > 0; s >>= 1) {
        if (tid < s) {
            shared_data[tid] += shared_data[tid + s];
        }
        __syncthreads();
    }

    // Block 的最终结果写回全局内存
    if (tid == 0) {
        output[blockIdx.x] = shared_data[0];
    }
}

树形归约过程（8 元素示意）

第 1 轮：[0+4] [1+5] [2+6] [3+7]   →  4 个元素
第 2 轮：[0+2] [1+3]               →  2 个元素
第 3 轮：[0+1]                     →  1 个元素

一个 Block 内，256 个线程只需 log2(256) = 8 轮即可完成全部归约。

典型性能数据

nvcc reduction.cu -o reduction -O3
./reduction

=== CUDA Parallel Reduction ===
Array size: 104857600 elements (400.00 MB)
CPU Result: 52486393.23
GPU Result: 52486393.23
GPU Time: 0.89 ms
Speedup: 160x

160 倍加速，仅耗时不到 1 毫秒。并行归约的威力由此可见一斑。

CUDA 生态概览

掌握核心概念后，CUDA 生态提供了多层次的工具链：

深度学习：cuDNN、TensorRT、CUDA-X AI——TensorFlow 和 PyTorch 的底层加速均依赖于此

科学计算：cuBLAS（矩阵运算）、cuFFT（傅里叶变换）、cuSOLVER（线性代数求解器）、Thrust（C++ STL 风格的 GPU 算法库）

新兴工具：CuPy / Numba（Python 调用 CUDA）、OpenAI Triton（更简洁的 GPU 算子开发框架）

FAQ

Q: 没有 NVIDIA 显卡能否学习 CUDA？ A: 云端 GPU（如 Google Colab）是可行的替代方案。但即使不运行代码，理解其概念本身也有价值。

Q: CUDA 只适用于 AI 场景？ A: 并非如此。所有数据并行且计算密集的任务都适合：物理仿真、图像处理、密码学、分子动力学等。

Q: AMD 显卡能否使用 CUDA？ A: 不能。CUDA 为 NVIDIA 专有技术。AMD 显卡对应的生态为 ROCm（Radeon Open Compute Ecosystem）。

小结

CUDA 的核心设计其实相当精炼：

1. Host/Device 异构分工：CPU 做控制，GPU 做计算
2. Thread/Block/Grid 三级并行：充分利用 GPU 的海量核心
3. Shared Memory：Block 内线程高速数据共享
4. 树形归约：并行计算中的经典模式，将 O(N) 复杂度降至 O(log N)

理解这些基础后，可以进一步探索 cuDNN、TensorRT 等高层库，或者借助 Triton 这样的工具用 Python 快速编写 GPU 算子。

大语言模型的训练与推理，CUDA 是最重要的底层基础设施。掌握其原理，便掌握了理解 AI 系统深层运行机制的一把钥匙。

• Cuda
• Gpu
• 性能优化
• AI