1. 项目背景与核心挑战
在边缘计算设备上部署目标检测模型一直是工业界的刚需。RV1126B作为瑞芯微推出的高性能AIoT芯片，其2Tops NPU算力配合低功耗特性，非常适合安防监控、工业质检等场景。而YOLOv8作为Ultralytics公司最新推出的目标检测框架，在精度和速度上都有显著提升。将YOLOv8部署到RV1126B板端，可以充分发挥边缘计算的优势，实现实时、高效的目标检测。
这个项目的核心挑战在于：
- YOLOv8官方代码库主要面向GPU训练，需要适配RV1126B的NPU架构
- 模型需要从PyTorch格式转换为RKNN格式，过程中存在算子兼容性问题
- 板端推理需要优化内存占用和计算效率，以适应嵌入式设备的资源限制
2. 环境准备与工具链搭建
2.1 开发环境配置
推荐使用Ubuntu 18.04/20.04作为开发主机环境，需要安装以下组件：
- Python 3.8（建议使用conda创建虚拟环境）
- PyTorch 1.10+（与YOLOv8兼容的版本）
- RKNN-Toolkit2（瑞芯微官方提供的模型转换工具）
- OpenCV-Python（用于图像预处理和后处理）
bash复制conda create -n rv1126 python=3.8
conda activate rv1126
pip install torch==1.10.0 torchvision==0.11.0
pip install rknn-toolkit2 opencv-python
2.2 模型训练与导出
首先在PC端训练YOLOv8模型（以YOLOv8s为例）：
python复制from ultralytics import YOLO
# 加载预训练模型
model = YOLO('yolov8s.pt')
# 自定义数据集训练
results = model.train(
data='custom_dataset.yaml',
epochs=100,
imgsz=640,
batch=16
)
# 导出为ONNX格式
model.export(format='onnx', dynamic=False)
关键参数说明：
dynamic=False：必须设置为静态输入尺寸，NPU不支持动态shapeimgsz：建议保持640x640，这是YOLOv8的标准输入尺寸- 导出时确保包含
--simplify选项以优化计算图
3. 模型转换与优化
3.1 ONNX模型预处理
在转换为RKNN格式前，需要对ONNX模型进行优化：
- 使用onnx-simplifier简化计算图
- 检查不支持的算子（如SiLU激活函数）
- 添加自定义后处理层（可选）
python复制import onnx
from onnxsim import simplify
# 加载原始ONNX模型
model = onnx.load('yolov8s.onnx')
# 模型简化
model_simp, check = simplify(model)
onnx.save(model_simp, 'yolov8s_simp.onnx')
3.2 RKNN模型转换
使用RKNN-Toolkit2进行模型转换的核心代码：
python复制from rknn.api import RKNN
# 创建RKNN对象
rknn = RKNN()
# 模型配置
rknn.config(
mean_values=[[0, 0, 0]],
std_values=[[255, 255, 255]],
quantized_dtype='asymmetric_quantized-8',
quantized_algorithm='normal',
target_platform='rv1126'
)
# 加载ONNX模型
ret = rknn.load_onnx(model='yolov8s_simp.onnx')
if ret != 0:
print('Load ONNX model failed!')
exit(ret)
# 模型量化（需要约100张校准图片）
ret = rknn.build(do_quantization=True, dataset='./calib_images.txt')
if ret != 0:
print('Build model failed!')
exit(ret)
# 导出RKNN模型
ret = rknn.export_rknn('yolov8s.rknn')
常见问题处理：
- 遇到不支持的算子时，需要在
config中设置custom_op参数 - 量化误差较大时，可以增加校准图片数量（建议100-200张）
- 内存不足时可以尝试减小
batch_size
4. 板端部署与推理优化
4.1 交叉编译环境搭建
RV1126B开发板通常运行基于Buildroot的Linux系统，需要交叉编译Python环境：
- 下载瑞芯微提供的交叉编译工具链
- 编译Python 3.8及其依赖库
- 打包部署到开发板
关键组件：
- rknn-api（瑞芯微提供的推理运行时库）
- OpenCV（建议编译带NEON优化的版本）
- NumPy（基础数值计算库）
4.2 推理代码实现
板端推理的核心代码框架：
python复制import cv2
import numpy as np
from rknnlite.api import RKNNLite
# 初始化RKNN运行时
rknn = RKNNLite()
ret = rknn.load_rknn('yolov8s.rknn')
ret = rknn.init_runtime(core_mask=RKNNLite.NPU_CORE_0)
# 图像预处理
def preprocess(img):
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
img = cv2.resize(img, (640, 640))
img = img.astype(np.float32) / 255.0
return np.expand_dims(img, axis=0)
# 后处理（基于官方YOLOv8后处理修改）
def postprocess(outputs, conf_thres=0.5, iou_thres=0.5):
# 实现解码和NMS
pass
# 主推理循环
cap = cv2.VideoCapture(0)
while True:
ret, frame = cap.read()
input_data = preprocess(frame)
outputs = rknn.inference(inputs=[input_data])
detections = postprocess(outputs)
# 绘制检测结果...
性能优化技巧：
- 使用
rknn.inference_async实现异步推理 - 开启NPU双核模式（
core_mask=RKNNLite.NPU_CORE_0_1） - 输入数据保持连续内存（
np.ascontiguousarray）
5. 实测性能与调优
5.1 基准测试结果
在RV1126B上测试YOLOv8s模型的性能：
- 输入分辨率：640x640
- NPU频率：1.0GHz
- 内存占用：约300MB
- 推理速度：~25FPS（单核）/ ~40FPS（双核）
- 典型功耗：1.2W
5.2 常见问题排查
-
模型转换失败：
- 检查ONNX算子支持列表
- 尝试禁用某些优化选项（
optimization_level=0） - 使用
rknn.analysis工具诊断问题节点
-
推理结果异常：
- 确认预处理与训练时一致（归一化方式、BGR/RGB顺序）
- 检查量化校准数据集是否具有代表性
- 尝试关闭量化（
do_quantization=False）对比浮点结果
-
性能不达标：
- 使用
rknn.eval_perf分析计算瓶颈 - 调整NPU工作频率（需root权限）
- 优化后处理代码（避免Python循环）
- 使用
6. 进阶优化方向
对于需要更高性能的场景，可以考虑：
-
模型裁剪：
- 使用通道剪枝（Channel Pruning）减少计算量
- 尝试YOLOv8nano等更小模型变体
-
硬件加速：
- 启用RGA（2D加速器）进行图像预处理
- 使用DSP加速后处理计算
-
多模型协同：
- 主模型检测大目标，小模型检测细节
- 动态调整输入分辨率（基于场景复杂度）
关键提示：部署时务必测试不同光照条件下的稳定性，工业场景建议增加图像增强预处理