1. 项目背景与核心目标
最近在嵌入式AI领域，瑞芯微的RK3576芯片因其出色的能效比和算力表现备受关注。这次我尝试将YOLOv5模型通过自定义训练后部署到RK3576平台，整个过程涉及模型训练优化、模型转换、NPU加速部署等关键环节。不同于常规的PC端部署，嵌入式部署需要特别考虑模型大小、计算精度和硬件加速特性。
这个项目的核心价值在于打通从训练到边缘部署的全流程，特别是针对RK3576的NPU特性进行优化。通过实际测试，原始YOLOv5s模型在RK3576上可以达到25FPS的实时性能，而经过量化优化后更是能提升到38FPS，同时保持90%以上的mAP精度。
2. 环境准备与工具链搭建
2.1 基础开发环境配置
RK3576的开发需要交叉编译环境，我使用的是Ubuntu 20.04作为主机系统。官方推荐的开发工具链是rknn-toolkit2，目前最新版本为1.6.0。安装时需要注意Python版本兼容性问题：
bash复制# 创建Python虚拟环境（建议3.6-3.8版本）
conda create -n rknn python=3.7
conda activate rknn
# 安装rknn-toolkit2（需从官网下载对应版本的whl）
pip install rknn_toolkit2-1.6.0-cp37-cp37m-linux_x86_64.whl
重要提示：RKNN Toolkit对protobuf版本有严格要求，必须锁定在3.20.x版本，否则会导致模型转换失败：
bash复制pip install protobuf==3.20.0
2.2 模型训练环境准备
YOLOv5训练我选用v6.1版本，这个版本对嵌入式部署更友好。建议使用PyTorch 1.10+版本：
bash复制git clone -b v6.1 https://github.com/ultralytics/yolov5.git
cd yolov5
pip install -r requirements.txt
数据集准备方面，如果使用自定义数据，需要按照YOLO格式组织：
code复制dataset/
├── images/
│ ├── train/
│ └── val/
└── labels/
├── train/
└── val/
3. YOLOv5自定义训练实战
3.1 模型选型与参数调优
RK3576的NPU对模型结构有特定要求，经过测试发现：
- YOLOv5s是最佳选择，其参数量仅7.2M，在保持较好精度的同时满足嵌入式部署要求
- 输入尺寸建议设置为640x640，这是NPU加速的最优尺寸
- 激活函数应优先使用SiLU而非ReLU，NPU对SiLU有专门优化
训练命令示例：
bash复制python train.py --img 640 --batch 32 --epochs 100 --data custom.yaml --cfg models/yolov5s.yaml --weights yolov5s.pt --name rk3576_exp
3.2 训练技巧与注意事项
- 数据增强策略：由于嵌入式场景通常视角固定，可以适当减少随机旋转等增强，增加色彩扰动
- 早停机制：设置patience=20，当验证集mAP连续20轮不提升时停止训练
- 学习率调整：采用余弦退火策略，初始lr=0.01，最终lr=0.001
训练完成后，使用以下命令测试模型性能：
bash复制python val.py --weights runs/train/rk3576_exp/weights/best.pt --data custom.yaml --img 640
4. 模型转换与RKNN优化
4.1 PyTorch到ONNX转换
RKNN Toolkit需要先将模型转为ONNX格式：
bash复制python export.py --weights best.pt --img 640 --batch 1 --include onnx --simplify
关键参数说明：
--simplify：启用ONNX简化，可减少30%的模型体积--batch 1：嵌入式部署通常batch=1--img 640：必须与训练时尺寸一致
4.2 ONNX到RKNN转换
创建convert.py脚本进行模型转换：
python复制from rknn.api import RKNN
rknn = RKNN()
rknn.config(target_platform='rk3576', quantize_input_node=True)
rknn.load_onnx(model='yolov5s.onnx')
rknn.build(do_quantization=True, dataset='./dataset.txt')
rknn.export_rknn('yolov5s.rknn')
量化数据集准备（dataset.txt）：
code复制./dataset/images/val/0001.jpg
./dataset/images/val/0002.jpg
...
常见问题：如果遇到"Unsupported OP type"错误，可能是YOLOv5某些算子不被NPU支持，可以尝试：
- 更新RKNN Toolkit到最新版本
- 修改模型结构，替换不支持的算子
- 使用官方提供的自定义算子插件
5. RK3576平台部署实战
5.1 开发板环境准备
RK3576开发板需要刷写最新固件，并通过ADB连接：
bash复制adb connect 192.168.x.x
adb root
adb remount
部署依赖库：
bash复制adb push librknnrt.so /usr/lib/
adb push yolov5s.rknn /data/
5.2 C++推理代码解析
基于官方demo修改的推理核心代码：
cpp复制rknn_context ctx;
int ret = rknn_init(&ctx, model_data, model_size, 0);
rknn_input_output_num io_num;
rknn_query(ctx, RKNN_QUERY_IN_OUT_NUM, &io_num, sizeof(io_num));
// 设置输入
rknn_input inputs[1];
inputs[0].index = 0;
inputs[0].size = input_size;
inputs[0].buf = input_data;
rknn_inputs_set(ctx, 1, inputs);
// 执行推理
ret = rknn_run(ctx, nullptr);
// 获取输出
rknn_output outputs[3];
outputs[0].want_float = 1;
...
rknn_outputs_get(ctx, 3, outputs, nullptr);
5.3 性能优化技巧
- 内存复用：开启zero_copy减少内存拷贝
cpp复制rknn_set_internal_mem(ctx, RKNN_MEM_TYPE_MEMORY); - 多线程处理：使用双线程实现流水线，预处理与推理并行
- NPU频率锁定：通过sysfs接口固定NPU频率
bash复制echo performance > /sys/devices/platform/fde40000.npu/opp_mode
6. 实测结果与性能分析
6.1 精度对比测试
| 模型版本 | mAP@0.5 | 推理时延(ms) | 内存占用(MB) |
|---|---|---|---|
| 原始YOLOv5s | 0.892 | 40.2 | 342 |
| 量化后YOLOv5s | 0.874 | 26.3 | 215 |
| 剪枝优化版 | 0.861 | 18.7 | 178 |
6.2 实际场景测试数据
在1920x1080分辨率视频流上的表现：
- 行人检测：平均35FPS，峰值42FPS
- 车辆检测：平均28FPS，峰值33FPS
- 温度测试：连续运行1小时后，芯片温度稳定在62℃
7. 常见问题与解决方案
7.1 模型转换失败排查
-
Shape不匹配错误：
- 检查ONNX模型的输入输出shape
- 确保训练、导出、转换时的尺寸一致
-
量化精度损失过大：
- 增加量化样本数量（建议至少500张）
- 检查数据集是否覆盖所有场景
7.2 部署运行时问题
- 内存不足：
bash复制# 调整CMA内存分配 echo 512M > /sys/module/dma_heap_cma/parameters/total_size - 推理结果异常：
- 检查输入数据归一化方式（YOLOv5默认使用0-1归一化）
- 验证输出解码逻辑是否正确
8. 进阶优化方向
- 模型剪枝：使用通道剪枝技术进一步减小模型体积
python复制from torch.nn.utils import prune prune.l1_unstructured(module, name='weight', amount=0.3) - 异构计算：结合CPU+NPU协同计算，将后处理放在CPU
- 自定义算子：针对特定任务开发NPU加速算子
在实际部署中发现，RK3576的NPU对Conv+BN+SiLU组合的优化效果最好，而Focus层会带来额外开销。建议在自定义模型时参考这些硬件特性进行设计。