1. 项目概述
最近在RK3588开发板上成功部署了YOLOv11模型,整个过程涉及模型格式转换、环境配置和部署运行等多个环节。作为一款性能优异的边缘计算设备,RK3588搭载了强大的NPU(神经网络处理单元),能够高效运行深度学习模型。本文将详细介绍从PyTorch模型到RKNN模型转换的全过程,以及在RK3588上部署运行的具体步骤。
YOLOv11作为YOLO系列的最新成员,在目标检测任务中表现出色。但在边缘设备上部署时,需要将原始PyTorch模型转换为RKNN格式,才能充分利用RK3588的NPU加速能力。这个过程看似简单,实则暗藏不少坑点,特别是在模型转换和量化环节。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型转换(PyTorch到ONNX)
2.1 准备工作
首先需要从GitHub获取YOLOv11的官方代码库:
bash复制git clone https://github.com/airockchip/ultralytics_yolo11.git
这个仓库是基于Ultralytics YOLO的修改版,专门适配了RKNN转换需求。建议使用Python 3.8环境,因为后续的RKNN-Toolkit2对该版本支持最好。
注意:务必检查代码库的commit版本,不同版本可能在模型导出时存在差异。建议使用最新的稳定版本。
2.2 修改配置文件
模型转换前需要调整配置文件,指定自定义模型的路径。主要修改两个地方:
- 模型结构配置文件(通常是yolov11.yaml)
- 权重文件路径配置
在yolov11.yaml中,需要确保backbone和head的结构与你训练的模型一致。如果是自定义模型,这里必须与训练时的配置完全相同。
yaml复制# yolov11.yaml示例
backbone:
# [from, repeats, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
...]
head:
[[-1, 1, nn.Conv2d, [na * (5 + nc), 1, 1]], # 23 (P5/32-large)
...]
