CUDA并行计算入门：从Hello CUDA理解GPU编程

1. 从Hello CUDA开始理解GPU并行计算

第一次接触CUDA编程时，很多人都会被那些奇怪的符号和概念搞得一头雾水。作为一个在GPU计算领域摸爬滚打多年的开发者，我想通过这个简单的"Hello CUDA"示例，带大家真正理解CUDA并行计算的核心思想。

先看这个经典的入门代码：

c复制#include <stdio.h>
#include <cuda.h>
#include <cuda_runtime.h>

__global__ void hello_cuda(){
    unsigned int idx = blockIdx.x * blockDim.x + threadIdx.x;
    printf("block id = [ %d ], thread id = [ %d ] hello cuda\n", blockIdx.x, idx);
}

int main() {
    hello_cuda<<< 3, 4 >>>();
    cudaDeviceSynchronize();
    return 0;
}

这段代码虽然短小，却包含了CUDA编程的几个核心概念。让我们拆解每个部分，理解它们背后的设计哲学。

1.1 CUDA核心执行模型解析

当看到hello_cuda<<<3, 4>>>()这样的语法时，很多初学者会感到困惑。这其实是CUDA特有的内核调用语法，表示我们要在GPU上启动一个并行计算任务。

这里的两个数字参数非常关键：

• 第一个参数3：表示我们要启动3个线程块(block)
• 第二个参数4：表示每个线程块包含4个线程(thread)

这样总共就有3×4=12个线程并行执行我们的hello_cuda函数。这种组织方式反映了GPU的硬件架构——GPU由多个流处理器(SM)组成，每个SM又可以并行执行多个线程。

提示：在实际开发中，block和thread的数量选择需要考虑GPU的硬件规格。例如NVIDIA Tesla V100每个block最多支持1024个线程，而整个GPU可以同时管理数千个block。

1.2 线程索引计算原理

在hello_cuda函数内部，我们看到了这样一行关键代码：

c复制unsigned int idx = block