1. 项目概述
RT-DETR(Real-Time DEtection TRansformer)是百度团队提出的基于Transformer架构的实时端到端目标检测器。与传统的YOLO系列相比,RT-DETR采用了完全不同的技术路线,通过混合编码器和IoU感知查询选择机制实现了高效的多尺度特征处理。在RK3588这款高性能AIoT芯片上部署RT-DETR,可以充分发挥其6TOPS NPU算力优势,实现边缘端的实时目标检测应用。
这个项目适合三类开发者:
- 正在寻找YOLO替代方案的目标检测工程师
- 需要在嵌入式设备部署Transformer模型的AI应用开发者
- 使用RK3588开发视觉产品的硬件工程师
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与模型获取
2.1 开发环境配置
对于RK3588平台,我们需要搭建双环境:
-
转换环境(x86 PC):用于模型格式转换
- Ubuntu 20.04+
- Conda环境(Python 3.8-3.10)
- RKNN-Toolkit2(v2.3.0+)
- PyTorch 1.12+
-
部署环境(RK3588板卡):
- Debian 11/Ubuntu 20.04
- RKNN Runtime(与Toolkit版本匹配)
- OpenCV 4.5+(带Vulkan支持)
重要提示:RKNN-Toolkit2与Runtime必须严格版本匹配,否则会出现模型加载失败等问题。建议通过官方提供的docker镜像搭建转换环境。
2.2 模型获取与验证
RT-DETR官方提供了多个预训练模型,针对RK3588建议选择RT-DETRv2-S_dsp版本:
bash复制wget https://github.com/lyuwenyu/storage/releases/download/v0.1/rtdetrv2_r18vd_dsp_3x_coco.pth
验证模型推理效果:
python复制python rtdetrv2_torch.py -c configs/rtdetrv2/rtdetrv2_r18vd_dsp_3x_coco.yml \
-r ./rtdetrv2_r18vd_dsp_3x_coco
