低照度图像压缩优化：噪声抑制与ISP协同处理

1. 低照度环境下的ISP压缩挑战

在工业视觉、车载监控和安防领域，低照度环境下的图像处理一直是个棘手问题。当环境光照低于1 lux时，ISP（Image Signal Processor）管道中的帧缓存压缩模块会面临一个典型困境：图像传感器产生的随机噪声会显著降低压缩效率。

我曾在多个车载摄像头项目中实测发现，当环境照度从100 lux降至0.1 lux时，采用标准DPCM压缩的带宽节省率会从2.0x骤降到1.2x左右。这是因为噪声导致相邻像素间的预测残差不再集中在0附近，而是呈现大范围随机分布。具体表现为：

• 残差动态范围扩大3-5倍（从±15扩展到±50）
• 高频噪声使8×8块的Range计算失效
• 超过60%的块被迫切换到6bit或8bit模式
• 压缩后的等效带宽甚至可能超过原始数据

更严重的是，如果在这种条件下强行采用激进压缩策略（如全域2bit量化），会产生明显的噪声伪轮廓现象——本应随机分布的噪声被压缩算法"整形"为带状或块状人工痕迹，这在医疗内窥镜等应用中是完全不可接受的。

2. 噪声感知的预滤波技术

2.1 局部方差检测与滤波控制

在联咏NT96660方案的实际调试中，我们发现前置轻滤波是最经济有效的解决方案。其核心是在YUV域的Y分量上，对每个8×8块实施自适应滤波：

c复制// 伪代码示例：噪声感知滤波
for (each 8x8 block) {
    variance = calc_variance(block);
    if (variance > NOISE_THRESH) {
        apply_3x3_median_filter(block); 
    } else if (variance > TEXTURE_THRESH) {
        apply_edge_preserving_filter(block);
    }
    // 平坦区域不做处理
}

关键参数设置经验：

• NOISE_THRESH：建议设为暗场噪声方差的1.5倍
• TEXTURE_THRESH：根据传感器IMX415/IMX585特性调整
• 滤波强度控制在σ=0.5像素以内

特别注意：绝对不能在UV分量上直接滤波，否则会导致色度噪声产生彩色斑块。海思3559方案中就曾因此出现严重的色彩断层问题。

2.2 滤波对压缩效率的影响

下表是某安防摄像头在0.1lux下的实测数据：

但要注意，双边滤波虽然压缩比更高，但其非线性特性会导致硬件实现复杂度增加30%以上。在成本敏感型项目中，我们通常选择折中的5×5高斯滤波。

3. 压缩算法的噪声鲁棒改进

3.1 改进的Range计算方法

传统ABD（Adaptive Bit-width Decision）算法直接取Max-Min作为Range，这在低照度下会严重失效。我们在安霸CV2方案中实现了三种改进方法：

1. 百分位裁剪法：忽略最高/最低2%的像素值

   python复制# 示例：98% Range计算
   sorted_data = np.sort(block.flatten())
   lower = sorted_data[int(0.02 * len(sorted_data))]
   upper = sorted_data[int(0.98 * len(sorted_data))]
   effective_range = upper - lower
   

2. 噪声基底补偿：在Range计算中加入噪声模型参数

   math复制R_{effective} = \sqrt{R_{measured}^2 - R_{noise}^2}
   

3. 分区间统计法：将动态范围划分为16个子区间，选择像素占比最高的区间

3.2 预测模式优化

针对DPCM预测，我们发现这些改进特别有效：

• 中值预测：相比常规的左邻预测，可减少15-20%的残差能量

  code复制预测值 = median(左像素, 上像素, 左上像素)
  

• 运动自适应预测：结合MV（运动矢量）调整预测方向

• 时域预测：在3DNR前馈架构中使用前一帧对应块作为预测参考

在TI TDA4方案中，通过混合预测模式可使低照度下的压缩比再提升0.3x。

4. 与3DNR的协同优化

4.1 闭环优化架构

高端方案如地平线征程5采用了这种数据流：

code复制Sensor → 3DNR(初级) → 压缩编码 → DDR → 解压缩 → 3DNR(主处理)

关键优势在于：

• 初级3DNR可抑制60%以上的时域噪声
• 压缩模块处理的是"相对干净"的图像
• 主3DNR能更好地处理压缩引入的量化噪声

4.2 内存带宽优化

通过这种架构，某8MP车载摄像头实现了：

• 原始带宽：8MP × 10bit × 30fps = 6.0 Gbps
• 独立压缩：3.2 Gbps (1.9x)
• 协同优化：2.4 Gbps (2.5x)

5. 不同压缩方案的适配策略

5.1 行级DPCM的优化要点

• 必须开启4bit安全模式
• 行缓存建议增加到1280像素（适应WDR处理）
• 在HDR帧的长曝光子帧中禁用强压缩

5.2 基于块的压缩(TBC)

• 块尺寸不宜超过16×4
• 对高噪声块采用4-6bit量化
• 运动块必须设置bypass标志

5.3 子采样残差压缩

• 仅在Y分量使用
• 配合色度降噪使用
• 量化步长与ISO增益联动

6. 实测性能与调优建议

在某智慧交通项目中，我们对比了不同方案：

调优时的经验法则：

1. 先确保3A算法稳定后再调压缩
2. 在AE target变化±3EV时检查压缩一致性
3. 重点监控灰度渐变区域的banding现象
4. 运动场景测试要包含2-4px/frame的慢速运动

在FPGA原型验证阶段，我们通常会建立这样的测试流程：

1. 采集暗场、灰阶、SFR测试图序列
2. 注入不同强度的模拟噪声
3. 监控压缩比和PSNR变化曲线
4. 特别关注纹理保持率指标

最后需要强调的是，任何压缩优化都不能以牺牲图像质量为代价。我们曾遇到过一个案例：某厂商为追求高压缩比，在低照度下过度使用2bit模式，导致车牌识别率从98%暴跌至65%。正确的做法是建立质量评估闭环，确保压缩后的图像仍能满足最终应用的需求指标。