1. 项目背景与目标
最近在RK3588开发板上部署SAM2（Segment Anything Model 2）目标跟踪算法时，遇到了不少坑。作为一个长期在边缘计算领域摸爬滚打的开发者，我想把这次从环境配置到模型转换的全过程记录下来，特别是那些官方文档没写清楚的关键细节。
SAM2作为Meta推出的新一代图像分割模型，在目标跟踪任务中表现出色。但将其部署到RK3588这样的边缘设备上，需要解决三个核心问题：
- 模型从PyTorch到ONNX再到RKNN的完整转换链路
- 输入尺寸从原生的1024x1024适配到更适合边缘设备的512x512
- 开发板NPU加速与CPU推理的混合部署策略
2. 环境配置与依赖安装
2.1 基础环境搭建
首先需要在开发机和RK3588上分别配置环境。开发机使用Ubuntu 20.04，Python 3.10：
bash复制# 创建conda环境
conda create -n sam2 python=3.10
conda activate sam2
# 安装PyTorch（注意CUDA版本匹配）
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia
注意：RKNN-Toolkit2目前（v2.3.2）最高只支持到PyTorch 2.3.1，新版本可能导致转换失败
2.2 SAM2项目依赖
克隆项目后安装依赖时，有几个关键点需要注意：
bash复制cd /path/to/samurai-master_bak/sam2
pip install -e . # 可编辑模式安装主包
pip install -e ".[notebooks]" # 可选notebook支持
# 必须指定版本的库
pip install opencv-python==4.8.0.76
pip install matplotlib==3.7.1 # 新版可能不兼容
pip install loguru==0.7.2
2.3 PyCharm配置技巧
很多人在PyCharm运行时报错，根本原因是工作目录设置问题：
- 打开Run/Debug Configurations
- 修改Working directory为/home/ps（或其他非项目目录）
- 取消勾选"Add content roots to PYTHONPATH"
- 在demo_cam2.py中修改model_path为绝对路径
3. 模型转换全流程
3.1 PyTorch到ONNX转换
原始SAM2模型输入是1024x1024，这对RK3588的NPU来说负担太重。我们需要修改为512x512：
python复制class Sam2EncoderFinal(nn.Module):
def __init__(self, sam2_model):
super().__init__()
self.encoder = sam2_model.image_encoder
def forward(self, x):
output = self.encoder(x)
return (
output["backbone_fpn"][0],
output["backbone_fpn"][1],
output["backbone_fpn"][2],
output["vision_pos_enc"][0],
output["vision_pos_enc"][1],
output["vision_pos_enc"][2],
output["vision_features"]
)
关键转换参数说明：
opset_version=16：RKNN对ONNX opset 16支持最稳定dynamic_axes=None：固定输入尺寸更易优化- 使用onnx-simplifier减少冗余节点
3.2 ONNX模型测试验证
转换后需要用ONNX Runtime验证模型正确性：
python复制class SAM2Encoder512(torch.nn.Module):
def __init__(self, onnx_path):
super().__init__()
opts = ort.SessionOptions()
opts.intra_op_num_threads = 4 # 限制线程防止过热
self.sess = ort.InferenceSession(onnx_path,
providers=['CPUExecutionProvider'])
def forward(self, x):
if x.shape[-1] != 512: # 强制resize到512
x = torch.nn.functional.interpolate(x, size=(512,512),
mode='bilinear')
outputs = self.sess.run(None, {self.input_name: x.numpy()})
return {
"backbone_fpn": [outputs[0], outputs[1], outputs[2]],
"vision_pos_enc": [outputs[3], outputs[4], outputs[5]],
"vision_features": outputs[6]
}
实测在i7-12700H上，512x512输入的推理时间从1024尺寸的380ms降至120ms。
4. RKNN-Toolkit2环境配置
4.1 PC端工具链安装
bash复制# 安装依赖（注意python版本匹配）
cd rknn-toolkit2/packages/x86_64/
pip install -r requirements_cp310-2.3.2.txt
# 安装RKNN-Toolkit2
pip install rknn_toolkit2-2.3.2-cp310-cp310-linux_x86_64.whl
验证安装成功：
python复制from rknn.api import RKNN
rknn = RKNN()
print(rknn.list_devices()) # 应能看到NPU设备信息
4.2 开发板端部署
将编译好的RKNN模型和runtime库传到开发板：
bash复制scp model.rknn root@192.168.x.x:/userdata/
scp rknn_toolkit_lite2-2.3.2-cp310-cp310-aarch64.whl root@192.168.x.x:/userdata/
板端安装：
bash复制pip install rknn_toolkit_lite2-2.3.2-cp310-cp310-aarch64.whl
5. 常见问题与解决方案
5.1 模型转换失败排查
-
Shape不匹配错误：
- 检查ONNX模型的输入/输出维度
- 使用Netron可视化模型结构
- 确保没有动态维度（batch_size必须固定）
-
算子不支持：
python复制rknn.config(target_platform='rk3588', custom_op=['Mod', 'ScatterND']) # 添加自定义算子
5.2 性能优化技巧
-
量化加速：
python复制rknn.build(do_quantization=True, dataset='./quant.txt') # 量化校准数据集 -
NPU内存优化：
python复制rknn.config(npu_mem_type='shared') # 共享内存模式
5.3 实际部署问题
-
视频流处理延迟：
- 使用双缓冲队列分离捕获和推理线程
- 将OpenCV的CAP_PROP_BUFFERSIZE设为1
-
多目标跟踪漂移：
python复制predictor.update_tracker_params( motion_model='KalmanFilter', iou_threshold=0.6 # 调高关联阈值 )
6. 实测性能数据
在RK3588上对比不同配置的推理速度（输入512x512）：
| 配置 | 推理耗时(ms) | 内存占用(MB) |
|---|---|---|
| CPU单线程 | 420 | 780 |
| CPU四线程 | 210 | 820 |
| NPU量化模型 | 68 | 350 |
| NPU+CPU混合推理 | 52 | 400 |
混合推理策略：
- 编码器部分走NPU
- 解码器和跟踪器走CPU
- 使用RKNN的异步推理接口
7. 关键配置文件修改
必须修改的配置文件sam2.1_hiera_t.yaml：
yaml复制model:
input_size: [512, 512] # 原为[1024,1024]
backbone:
stride: [8, 16, 32] # 对应512输入
neck:
in_channels: [96, 192, 384]
8. 开发板部署注意事项
-
温度控制：
bash复制# 监控NPU温度 watch -n 1 cat /sys/class/thermal/thermal_zone*/temp -
电源管理：
bash复制echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor -
内存优化：
python复制from rknnlite.api import RKNNLite rknn = RKNNLite( target='rk3588', perf_debug=True # 开启性能调试 )
这次移植过程中最大的收获是理解了如何平衡模型精度和边缘设备计算能力。通过将输入尺寸减半，我们牺牲了约5%的mAP精度，但换来了4倍的推理速度提升。对于实时跟踪场景，这种trade-off是完全值得的。