HMM异构内存管理：原理、实现与优化实践

1. HMM异构内存管理概述

在现代异构计算系统中，CPU和加速器（如GPU）通常拥有各自独立的内存空间。这种架构虽然能充分发挥各类处理器的性能优势，但也带来了数据共享和一致性的挑战。HMM（Heterogeneous Memory Management）作为Linux内核的核心机制，通过统一的地址空间和按需页面迁移，实现了CPU与加速器之间的高效内存共享。

我曾在多个异构计算项目中深入使用过HMM技术，特别是在机器学习和科学计算场景。初次接触时，最让我惊讶的是它如何在不改变编程模型的前提下，让开发者像使用普通内存一样操作设备内存。这种透明性背后，是内核中精妙的多层协作机制。

2. 系统架构与核心组件

2.1 硬件拓扑结构

典型的HMM系统包含以下关键硬件组件：

1. 主机端：

   • CPU核心及多级缓存体系
   • 系统内存控制器和DRAM通道
   • IOMMU（输入输出内存管理单元）

2. 设备端：

   • GPU或其他加速器计算单元
   • 设备本地内存（如GDDR6/HBM2）
   • 设备MMU（内存管理单元）

3. 互连总线：

   • PCIe物理层和事务层
   • 可选的缓存一致性协议（如AMD的Infinity Fabric）

提示：在AMD的APU架构中，由于CPU和GPU物理上集成在同一芯片，它们通过Infinity Fabric总线连接，这比传统PCIe能提供更低延迟和更高带宽的数据传输。

2.2 软件栈组成

HMM涉及的软件层次从上到下包括：

1. 用户态运行时：

   • HIP/CUDA等统一内存API
   • 驱动程序用户态组件

2. 内核态子系统：

   • HMM核心框架（mm/hmm.c）
   • 设备驱动页错误处理
   • 页面迁移守护进程

3. 硬件抽象层：

   • IOMMU驱动
   • PCIe ATS（Address Translation Services）支持
   • DMA引擎控制接口

3. 统一内存分配流程详解

3.1 内存分配API调用链

当应用程序调用hipMallocManaged()时，完整的执行路径如下：

c复制// 用户代码示例
fl