NPU架构设计：SIMT+TC与SIMD+DSA在LLM推理中的对比

1. NPU架构设计的关键抉择

在AI加速器设计领域，NPU（神经网络处理单元）的架构选择直接决定了其在LLM（大语言模型）推理任务中的表现。当前业界主要存在两种设计路线：类SIMT+TC（张量核心）架构和纯SIMD+DSA（领域专用架构）。这两种架构在指令并行性、内存访问模式和计算效率等方面存在显著差异。

类SIMT+TC架构借鉴了GPU的设计理念，通过线程级并行（TLP）处理不规则计算模式，同时利用专用张量核心加速矩阵运算。而纯SIMD+DSA则采用更传统的向量化处理方式，针对特定计算模式进行硬件优化。在LLM推理场景下，这两种架构各有优劣：

• 类SIMT+TC更适合处理LLM中复杂的条件分支和动态计算图
• 纯SIMD+DSA在固定计算模式下的能效比通常更高
• 内存子系统设计对两种架构的性能影响巨大

提示：架构选择不应仅看峰值算力，实际应用中内存带宽和延迟往往成为瓶颈

2. 类SIMT+TC架构深度解析

2.1 SIMT执行模型的特点

SIMT（单指令多线程）模型允许单个指令流控制多个执行线程，每个线程可以有自己的程序计数器和寄存器状态。这种设计特别适合LLM推理中的以下特性：

• 注意力机制中的条件分支（如不同的掩码处理）
• 动态序列长度带来的计算不规则性
• 稀疏化处理时的非均匀计算负载

典型实现会采用多级调度：

1. Warp调度器管理32-64个线程
2. 每个时钟周期发射固定数量的warp指令
3. 分支分歧通过掩码处理和串行化解决

cpp复制// 简化版的注意力计算SIMT伪代码
__global__ void attention_kernel(float* Q, float* K, float* V, float* O) {
    int tid = threadIdx.x;
    float sum = 0;
    for (int i=0; i<seq_len; i++) {
        if (i < valid_len[tid]) {  // 动态序列长度处理
            float score = dot(Q[tid], K[i]);
            sum += exp(score) * V[i];
        }
    }
    O[tid] = sum;
}

2.2 张量核心的协同设计

现代TC单元通常支持混合精度计算：

• FP16/BF16矩阵乘积累加
• INT8/INT4量化运算
• 稀疏计算模式（2:4/1:8稀疏比）

与SIMT核心的协同需要考虑：

• 数据局部性：TC需要规整的矩阵块
• 精度转换：SIMT和TC间的数据格式转换开销
• 流水线平衡：避免TC等待SIMT的数据预处理

实测数据显示，在175B参数LLM推理中，TC单元可贡献超过70%的有效算力，但需要精心设计：

• 矩阵分块大小与TC输入缓冲区匹配
• 隐藏数据搬运延迟
• 双缓冲等优化技术

3. 纯SIMD+DSA架构技术细节

3.1 SIMD向量化处理机制

纯SIMD架构采用单指令多数据流设计，典型特征包括：

• 固定的向量宽度（如512bit/1024bit）
• 对齐内存访问要求
• 显式的向量化编程模型

对于LLM中的关键计算模式：

3.2 领域专用加速器设计

DSA部分通常包含：

• 专用计算管线（如Transformer引擎）
• 定制存储层次（权重缓存/激活缓存）
• 特定数据流架构（脉动阵列/数据流引擎）

以某商用NPU为例，其DSA设计特点：

• 4组并行处理单元（PE）
• 每PE含8个MAC阵列
• 专用权重预取引擎
• 激活数据双缓冲

assembly复制// 典型SIMD+DSA指令序列
VLOAD V0, [addr_q]     ; 加载查询向量
VLOAD V1, [addr_k]     ; 加载键向量
VDP4A V2, V0, V1       ; 4元素点积累加
VEXP V3, V2            ; 指数近似
VREDUCE V4, V3         ; 求和约减
VSTORE [addr_out], V4  ; 存储结果

4. 架构对比与LLM推理适配性

4.1 计算效率基准测试

在相同工艺节点下对比（7nm测试数据）：

4.2 内存子系统设计差异

LLM推理中的内存挑战：

• 权重体积大（百GB级别）
• 激活数据重用率低
• 注意力矩阵临时存储需求

两种架构的应对策略：

类SIMT+TC：

• 大容量共享L1缓存（128-256KB）
• 软件管理scratchpad
• 原子内存操作支持

纯SIMD+DSA：

• 分层权重缓存（片上HBM）
• 流式数据预取
• 确定性访问模式优化

5. 实际部署中的工程考量

5.1 编译器与工具链支持

类SIMT+TC通常需要：

• LLVM后端优化
• PTX-like中间表示
• 动态并行支持

纯SIMD+DSA更依赖：

• 自动向量化编译器
• 计算图切分算法
• 静态调度优化

5.2 典型问题排查指南

常见问题及解决方案：

注意：实际部署中建议采用渐进式验证策略，从单层到完整模型逐步测试

6. 未来架构演进方向

混合架构可能成为趋势：

• 主控部分保留SIMT灵活性
• 计算密集部分采用DSA
• 可重构数据通路设计

具体创新点包括：

1. 动态精度切换机制
2. 稀疏计算原生支持
3. 近内存计算集成
4. 光计算互连探索

在实测某混合架构原型机时，相比纯架构可获得：

• 30%的能效提升
• 15%的延迟降低
• 2倍的编程便利性