深度学习反向传播算法与优化技术详解

1. 反向传播算法原理剖析

反向传播（Backpropagation）是深度学习中最核心的算法之一，它通过链式法则高效计算神经网络中每个参数的梯度。这个算法之所以重要，是因为它解决了深层神经网络训练中的梯度计算难题。

1.1 计算图与链式法则

理解反向传播最好的方式是通过计算图。想象神经网络中的每个运算都是一个节点，数据流动形成有向图。前向传播时，输入数据从左向右流动；反向传播时，梯度从右向左传播。

链式法则在这里扮演关键角色。对于一个复合函数f(g(x))，其导数为f'(g(x))·g'(x)。在神经网络中，损失函数L对某个参数w的梯度可以表示为：

∂L/∂w = ∂L/∂z · ∂z/∂w

其中z是该层的输出。这个简单的公式是反向传播的数学基础。

1.2 反向传播的具体步骤

实际实现时，反向传播可以分为四个明确步骤：

1. 前向计算：输入样本通过网络，计算每一层的输出
2. 计算最终损失：比较网络输出与真实标签的差异
3. 反向传播误差：从输出层开始，逐层计算误差项δ
4. 计算梯度：根据误差项和对应层的输入计算参数梯度

以一个简单的全连接层为例：

python复制# 前向传播
z = np.dot(w, x) + b
a = sigmoid(z)

# 反向传播
delta = (a - y) * sigmoid_derivative(z)
dw = np.dot(delta, x.T) / m  # m是batch大小
db = np.sum(delta, axis=1, keepdims=True) / m

1.3 常见激活函数的梯度

不同激活函数的导数计算是反向传播的关键环节：

• Sigmoid: σ'(z) = σ(z)(1-σ(z))
• Tanh: tanh'(z) = 1 - tanh²(z)
• ReLU: relu'(z) = 1 if z>0 else 0
• LeakyReLU: leaky_relu'(z) = 1 if z>0 else α (通常α=0.01)

提示：ReLU族激活函数在实践中最常用，因为它们缓解了梯度消失问题，计算也简单。

2. 梯度下降优化技术

基本的梯度下降存在多个问题：学习率选择困难、容易陷入局部极小值、在不同参数方向上的梯度尺度差异大等。针对这些问题，研究者提出了多种优化算法。

2.1 动量法（Momentum）

动量法模拟物理中的动量概念，在更新时不仅考虑当前梯度，还累积之前的梯度方向：

v_t = γv_{t-1} + η∇J(θ)
θ = θ - v_t

其中γ通常取0.9。这种方法有两个优势：

1. 在梯度方向一致的维度上加速更新
2. 在梯度方向变化的维度上减少震荡

2.2 RMSProp

RMSProp通过引入梯度平方的移动平均来自适应调整学习率：

E[g²]t = βE[g²] + (1-β)g_t²
θ = θ - (η/√(E[g²]_t + ε))·g_t

其中β通常取0.9，ε是防止除零的小常数(如1e-8)。这种方法对学习率不敏感，适合处理稀疏梯度。

2.3 Adam优化器

Adam结合了动量和RMSProp的思想，是目前最常用的优化器：

m_t = β1·m_{t-1} + (1-β1)·g_t
v_t = β2·v_{t-1} + (1-β2)·g_t²
m̂_t = m_t / (1-β1^t)
v̂_t = v_t / (1-β2^t)
θ = θ - η·m̂_t / (√v̂_t + ε)

默认参数通常为β1=0.9，β2=0.999，ε=1e-8。Adam对大多数问题都能取得不错的效果。

3. 学习率衰减策略

学习率是训练神经网络最重要的超参数之一。固定学习率要么导致收敛慢，要么导致震荡。学习率衰减策略可以动态调整学习率，提高训练效率和最终性能。

3.1 阶梯衰减

最简单的衰减方式是每隔固定步数将学习率乘以一个衰减系数：

python复制def step_decay(initial_lr, decay_factor, step_size):
    def decay(epoch):
        return initial_lr * (decay_factor ** (epoch // step_size))
    return decay

例如初始学习率0.1，每10个epoch衰减为原来0.5倍。这种策略简单但需要手动调参。

3.2 余弦衰减

余弦衰减使学习率按照余弦函数从初始值降到0：

η_t = η_min + 0.5(η_max - η_min)(1 + cos(π·t/T))

其中T是总迭代次数，t是当前迭代。这种衰减方式平滑且不需要额外参数。

3.3 热重启随机梯度下降（SGDR）

SGDR在余弦衰减基础上定期重启学习率：

python复制def cosine_annealing(epoch, T_max, eta_max, eta_min=0):
    return eta_min + 0.5*(eta_max - eta_min)*(1 + np.cos(np.pi*epoch/T_max))

每次重启时，T_max可以逐渐增大。这种方法能帮助模型跳出局部最优。

4. 实践中的技巧与陷阱

4.1 梯度检查

实现反向传播时容易出错，梯度检查是验证实现正确性的重要手段：

数值梯度 ≈ (J(θ+ε) - J(θ-ε)) / (2ε)

比较数值梯度和解析梯度的相对误差应小于1e-7。注意：

• 不要在所有参数上做，随机选择几个即可
• 关闭dropout等随机操作
• 使用双精度浮点数计算

4.2 梯度爆炸/消失问题

深层网络中梯度可能指数级增大或减小。应对方法包括：

• 使用合适的权重初始化（如He初始化）
• 选择适当的激活函数（如ReLU）
• 添加Batch Normalization层
• 使用残差连接

4.3 学习率的选择策略

好的学习率策略能大幅提升训练效率：

1. 先用大学习率(如0.1)快速下降
2. 当验证误差不再下降时切换到小学习率(如0.01)
3. 最后用更小的学习率(如0.001)微调

可以使用学习率finder：从很小值开始，指数增加学习率，记录损失变化，选择损失下降最快的区间。

5. 现代优化技术演进

5.1 自适应优化器比较

5.2 二阶优化方法

虽然计算成本高，但二阶方法在某些场景表现出色：

• L-BFGS：适合全批量、确定性优化
• K-FAC：近似自然梯度，适合强化学习
• Shampoo：对超大矩阵参数效果良好

这些方法通常需要精确的线搜索和大量的计算资源。

5.3 混合精度训练

现代GPU支持fp16计算，可以：

1. 使用fp16进行前向和反向传播
2. 保持fp32的主权重副本
3. 动态损失缩放防止下溢出

配合NVIDIA的Apex库，可以几乎不损失精度的情况下实现2-3倍加速。