NPU架构演进与大模型推理：SIMD与SIMT深度对比

1. NPU架构演进与大模型推理需求变迁

过去十年间，神经网络处理器（NPU）的架构设计经历了三次明显的代际演进。最早期的计算机视觉任务主要依赖CNN网络，那时使用CPU的向量并行指令（如AVX、NEON）就能满足基本需求。随着网络复杂度提升，第一代专用NPU开始采用SIMD（单指令多数据）架构配合领域专用加速器（DSA）的设计，这种架构在ResNet50等经典模型上表现出优异的能效比。

但当模型规模突破百亿参数后，传统的SIMD+DSA架构遇到了明显瓶颈。以GPT-3为例，其decoder-only结构在推理时会产生大量动态控制流，每个token的生成过程都包含复杂的条件分支。这时NVIDIA的SIMT（单指令多线程）架构配合Tensor Core的设计展现出独特优势——每个CUDA core可以独立维护程序计数器（PC）状态，warp调度器能快速切换32个线程的执行上下文，这种特性完美适配自回归生成中的不规则控制流。

关键转折：当模型参数量从百万级跃升至百亿级时，计算模式从"规整矩阵运算"转变为"动态数据依赖+稀疏访问"，这直接推动了硬件架构的范式转移。

2. SIMD与SIMT架构的深度对比

2.1 执行模型本质差异

传统SIMD架构就像军训方阵——所有处理单元（PE）必须同步执行相同的指令，操作对齐的连续数据。这种设计在矩阵乘法等规整运算中效率极高，但遇到if-else分支时会产生"分支分歧惩罚"（branch divergence penalty），所有PE必须串行执行所有可能路径。

而SIMT架构更像自由集市——每个线程有自己的寄存器状态和程序计数器。以NVIDIA的warp（32线程）为例：

cpp复制// SIMT执行示例
if (threadIdx.x % 2 == 0) {
    a = b * c;  // 偶数线程执行
} else {
    a = b + c;  // 奇数线程执行
}

硬件会通过掩码机制让偶数线程先执行乘法，再切换上下文让奇数线程执行加法，整个过程没有真正的分支跳转开销。

2.2 内存访问模式对比

大模型推理中的KV缓存访问呈现显著的不规则特征。假设head_dim=128，不同token可能访问完全随机的内存位置：

code复制KV_cache访问模式示例：
t