1. CUDA编程基础与执行流程解析
CUDA(Compute Unified Device Architecture)是NVIDIA推出的通用并行计算架构,它允许开发者利用GPU的强大计算能力来加速计算密集型任务。与传统的CPU编程不同,CUDA编程有着独特的执行模型和内存体系。
1.1 CUDA程序执行流程详解
一个典型的CUDA程序执行流程包含以下几个关键步骤:
-
主机内存分配与初始化:在CPU端(主机)分配内存并初始化数据。这是常规的C/C++内存操作,如示例中的
malloc和循环初始化。 -
设备内存分配:使用
cudaMalloc在GPU设备上分配内存。这里需要注意二级指针的使用原因:- GPU内存与CPU内存是分离的地址空间
cudaMalloc需要修改指针本身的值(指向设备内存的地址)- 在C语言中,要修改指针变量必须传递指针的指针
-
主机到设备数据传输:通过
cudaMemcpy将数据从主机内存复制到设备内存,使用cudaMemcpyHostToDevice标志。 -
内核函数启动:使用特殊的
<<<...>>>语法启动内核函数。这个语法指定了线程块的布局:- 第一个参数是网格(grid)中的块(block)数量
- 第二个参数是每个块中的线程(thread)数量
- 示例中
<<<3, 4>>>表示3个块,每个块4个线程,共12个线程
-
内核函数执行:GPU并行执行内核函数,所有线程同时运行相同的代码。
-
设备到主机数据传输:再次使用
cudaMemcpy,这次用cudaMemcpyDeviceToHost标志将结果从设备复制回主机。 -
内存释放:最后释放设备和主机上分配的内存。
提示:每次
cudaMemcpy调用都会在主机和设备间传输数据,这会产生较大开销。优化CUDA程序的关键之一是尽量减少这种数据传输。
1.2 PCIe数据传输原理
主机(CPU)和设备(GPU)之间的数据传输通过PCI Express(PCIe)总线进行:
- PCIe是一种高速串行计算机扩展总线标准
- 现代系统通常使用PCIe 3.0或4.0,带宽可达16GB/
