1. 从Global Memory到Unified Memory:GPU内存管理的四次进化
刚接触CUDA编程的朋友们,在跑通第一个向量加法示例后,往往会陷入一个误区:GPU编程不过如此嘛!但当你真正开始编写复杂的计算任务时,很快就会发现,内存管理才是GPU编程中最具挑战性的部分。
NVIDIA GPU上有四种主要内存类型:Global Memory、Shared Memory、Texture Memory和Unified Memory。每种内存都有其特定的访问模式、性能特征和使用场景。理解它们的差异并正确使用,是写出高性能CUDA代码的关键。
提示:在GPU编程中,错误的内存使用方式可能导致性能下降几十倍。有时候,一个简单的内存访问模式调整,就能带来显著的性能提升。
1.1 Global Memory:基础但需要谨慎使用
Global Memory是GPU上容量最大但访问延迟最高的内存。它类似于CPU上的主内存,但访问延迟高达几百个时钟周期。我们常用的cudaMalloc分配的就是Global Memory。
1.1.1 Global Memory的基本使用
让我们以矩阵乘法(SGEMM)为例,看看Global Memory的基本使用方式:
c++复制// 矩阵乘法核函数 - 最朴素实现
__global__ void matrixMul(float *C, float *A, float *B, int width) {
int row = blockIdx.y * blockDim.y + threadIdx.y;
int col = blockIdx.x * blockDim.x + threadIdx.x;
if (row < width && col < width) {
float sum = 0.0f;
for (int k = 0; k < width; ++k) {
sum += A[row * width + k] * B[k * width + col];
}
C[row * width + col] = sum;
}
}
这个实现虽然正确,但性能会很差,原因就在于它对Global Memory的访问模式不理想。
1.1.2 Global Memory的访问模式优化
GPU的Global Memory访问有几个关键特性需要考虑:
-
合并访问(Coalesced Access):连续的线程应该访问连续的内存地址,这样GPU可以将多个内存访问合并为一个更大的事务。
-
对齐访问:内存访问应该从对齐的地址开始(通常是32字节或128字节边界)。
-
内存事务大小:GPU总是以固定大小的块(通常是32字节、64字节或128字节)来传输数据,即使你只需要其中的一部分。
让我们优化上面的矩阵乘法实现:
c++复制// 优化后的矩阵乘法核函数
__global__ void
