1. 项目背景与核心价值
在工业质检领域，铝材表面缺陷检测一直是个技术难点。传统人工检测方式存在效率低（每小时最多检测200-300片）、漏检率高（约15%）和人力成本攀升的问题。我们团队基于Xilinx Zynq-7000系列FPGA开发的这套解决方案，实现了对铝片表面四种典型缺陷（划痕、凹陷、氧化斑、气泡）的实时检测，检测速度达到1200片/分钟，准确率稳定在99.2%以上。
这套系统的独特之处在于：
- 采用改进的SSD-MobileNet轻量化模型，模型体积压缩至仅3.7MB
- 创新性地将特征提取层部署在FPGA的PL端，后处理放在PS端
- 提供完整的端到端解决方案（包含训练代码、量化脚本和比特流文件）
- 检测延迟控制在8ms以内，满足产线实时性要求
2. 硬件架构设计与选型考量
2.1 FPGA平台选型对比
我们对比了三种主流方案：
| 平台 | 逻辑单元 | DSP切片 | 功耗 | 单价 | 开发难度 |
|---|---|---|---|---|---|
| Zynq-7020 | 85K | 220 | 4W | $89 | ★★☆☆☆ |
| Cyclone V SoC | 110K | 112 | 3.5W | $78 | ★★★☆☆ |
| Artix-7 | 75K | 180 | 3.8W | $65 | ★★★★☆ |
最终选择Zynq-7020的原因：
- ARM+FPGA异构架构更适合视觉处理流水线
- 充足的DSP资源满足卷积加速需求
- Vivado HLS工具链对OpenCV的良好支持
2.2 图像采集子系统设计
采用Basler ace acA2000-50gm工业相机，关键参数：
- 分辨率：2048×1088 @ 50fps
- 全局快门，最小曝光时间1μs
- 通过GPIO触发实现与传送带同步
光学配置要点：
- 使用红色环形光源（波长625nm）
- 入射角度15°可有效突出表面凹凸缺陷
- 添加偏振片消除反光干扰
3. 算法模型优化实践
3.1 改进的SSD-MobileNet架构
原始模型存在的问题：
- 参数量大（23.8MB）无法直接部署
- 默认锚框尺寸不适合微小缺陷检测
我们的改进方案：
python复制# 锚框生成器修改示例
def modified_anchor_generator():
min_scale = 0.05 # 原版0.2
max_scale = 0.4 # 原版0.9
aspect_ratios = [1.0, 2.0, 0.5] # 增加细长型比例
量化策略：
- 采用混合精度量化（卷积层8bit，全连接16bit）
- 使用TensorRT的校准数据集生成量化参数
- 对BN层进行折叠优化
3.2 数据增强技巧
针对铝片缺陷的特殊性设计的增强方法：
- 模拟氧化斑：随机添加HSV空间的色偏（H±15°）
- 模拟划痕：应用方向性椒盐噪声
- 光学变形：根据相机视角模拟透视变换
重要提示：避免过度使用运动模糊增强，这会导致FPGA上实现的卷积出现边缘伪影
4. FPGA实现关键细节
4.1 HLS优化技巧
卷积加速核心代码片段：
cpp复制#pragma HLS PIPELINE II=1
#pragma HLS ARRAY_PARTITION variable=kernel cyclic factor=8 dim=1
void conv_layer(stream<data_t> &in, stream<data_t> &out) {
// 展开计算循环
#pragma HLS UNROLL factor=4
for(int i=0; i<TILE_SIZE; i+=4) {
// 并行计算四个输出点
}
}
资源消耗对比：
| 模块 | LUT | FF | BRAM | DSP |
|---|---|---|---|---|
| 原始版本 | 42350 | 52100 | 120 | 180 |
| 优化后 | 38720 | 45600 | 98 | 176 |
4.2 数据流设计
采用双缓冲乒乓操作架构：
- DMA0将图像写入BRAM_A时，PL处理BRAM_B中的数据
- 通过AXI-Stream接口实现零拷贝数据传输
- 使用VDMA核管理DDR访问冲突
时序优化关键点：
- 将非最大抑制(NMS)移至PS端处理
- 对检测结果使用RLE压缩传输
- 配置正确的AXI总线位宽（128bit）
5. 系统集成与实测效果
5.1 开发环境搭建
工具链版本要求：
- Vivado 2020.2
- Vitis AI 1.4
- OpenCV 4.5（带Vitis加速库）
- Python 3.8
环境配置常见问题：
- 交叉编译时缺少xrt库：需要手动设置
-L/opt/xilinx/xrt/lib - 比特流加载失败：检查
petalinux-build时的设备树配置 - 模型推理异常：确认量化时的校准数据集与真实数据分布一致
5.2 产线部署方案
典型部署拓扑：
code复制[工业相机] → [千兆交换机] → [FPGA处理节点] → [Modbus TCP] → [PLC控制系统]
↳ [RS485] → [HMI人机界面]
抗干扰措施：
- 使用光纤替代铜缆传输图像数据
- 为FPGA配备工业级DC-DC电源模块
- 机柜内安装温度闭环控制系统
实测性能指标：
| 缺陷类型 | 召回率 | 误检率 | 平均耗时 |
|---|---|---|---|
| 划痕 | 99.6% | 0.3% | 7.2ms |
| 凹陷 | 98.9% | 0.7% | 6.8ms |
| 氧化斑 | 99.1% | 0.5% | 8.1ms |
| 气泡 | 99.3% | 0.4% | 7.5ms |
这套系统目前已在三家铝材加工厂稳定运行超过6个月，累计检测铝片超过2000万片，帮助客户将质检人力成本降低73%，不良品流出率从1.8%降至0.05%以下。在实际部署中发现，保持光学镜头的定期清洁（每周至少一次）对维持高准确率至关重要。