地平线RDK S100开发板部署DeepSeek 1.5B大模型实战

1. 项目概述

在嵌入式设备上运行大语言模型一直是个挑战，特别是当我们需要实时交互时。传统方案要么依赖云端计算（延迟高、隐私差），要么在本地用CPU硬算（速度慢、功耗高）。而地平线RDK S100开发板搭载的BPU（Brain Processing Unit）专用加速器，为我们提供了第三种可能——在边缘端实现高效的大模型推理。

我最近成功在RDK S100上部署了DeepSeek 1.5B模型，实测推理速度比纯CPU方案提升近10倍。整个过程踩了不少坑，特别是BPU专属内存分配这个关键问题。下面就把我的完整实现路径和解决方案分享给大家。

2. 核心准备工作

2.1 硬件与软件基础

RDK S100开发板的主要规格：

• 8核ARM Cortex-A55 CPU @1.8GHz
• 地平线Bernoulli2架构BPU，峰值算力80TOPS
• 8GB LPDDR4内存
• 运行基于Ubuntu 20.04的定制系统

需要特别注意：

• BPU使用独立的ION内存管理机制
• 默认系统镜像为视觉任务优化，BPU内存预留较小

2.2 必须获取的两个核心文件

从官方FTP服务器下载：

1. 推理引擎包：OpenExplorer_LLM_0.9.0.tar.gz

   • 包含BPU运行时库和演示程序xlm_demo
   • 大小约260MB

2. 专用模型文件：DeepSeek_R1_Distill_Qwen_1.5B_4096.hbm

   • 专为Bernoulli2 BPU优化的模型格式
   • 大小约1.2GB

下载命令：

bash复制curl -u "oeftp:Oeftp~123$%" -O "ftp://sdk.d-robotics.cc/oe_llm_v0.9.0/OpenExplorer_LLM_0.9.0.tar.gz"
curl -u "oeftp:Oeftp~123$%" -O "ftp://sdk.d-robotics.cc/oe_llm_v0.9.0/DeepSeek_R1_Distill_Qwen_1.5B_4096.hbm"

注意：浏览器下载大文件可能中断，建议直接用curl命令

3. 文件传输与部署

3.1 安全传输到开发板

使用scp命令通过局域网传输：

bash复制scp OpenExplorer_LLM_0.9.0.tar.gz DeepSeek_R1_Distill_Qwen_1.5B_4096.hbm root@192.168.137.100:/jinyl_dev/models/

常见问题处理：

1. 连接超时：检查开发板IP是否正确，确保PC能ping通
2. 权限拒绝：在开发板上执行：

   bash复制sudo chmod 777 /jinyl_dev/models/
   

3. 空间不足：开发板至少需要3GB可用空间

3.2 解压与目录准备

在开发板上操作：

bash复制cd /jinyl_dev/models/
tar -xzf OpenExplorer_LLM_0.9.0.tar.gz

目录结构说明：

code复制OpenExplorer_LLM_0.9.0/
├── runtime/          # 核心运行时
│   ├── bin/          # 可执行文件
│   ├── lib/          # BPU动态库
│   └── config/       # 模型配置文件
└── DeepSeek_R1_Distill_Qwen_1.5B_4096.hbm  # BPU专用模型

4. BPU运行时配置

4.1 环境初始化

进入运行时目录：

bash复制cd /jinyl_dev/models/OpenExplorer_LLM_0.9.0/runtime/

设置性能模式：

bash复制sudo sh set_permorfance_mode.sh

配置库路径（临时）：

bash复制export LD_LIBRARY_PATH=$(pwd)/lib:$LD_LIBRARY_PATH

永久生效配置（写入.bashrc）：

bash复制echo 'export LD_LIBRARY_PATH=/jinyl_dev/models/OpenExplorer_LLM_0.9.0/runtime/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

4.2 首次运行测试

执行推理命令：

bash复制./bin/xlm_demo \
  --hbm_path /jinyl_dev/models/DeepSeek_R1_Distill_Qwen_1.5B_4096.hbm \
  --tokenizer_dir ./config/DeepSeek_R1_Distill_Qwen_1.5B_config/ \
  --template_path ./config/DeepSeek_R1_Distill_Qwen_1.5B_config/DeepSeek_R1_Distill_Qwen_1.5B.jinja \
  --model_type 3

预期输出：

1. BPU版本信息
2. 模型加载进度
3. 交互提示符 [User] <<<

5. 关键问题：BPU内存分配

5.1 内存不足报错分析

常见错误：

code复制Cannot malloc bpu memory with length 2234994104 bytes

这表示BPU需要约2.1GB连续内存，但当前ION内存池不足。需要区分两种内存：

1. 系统内存：通过free -h查看

   • Available：理论上可用的内存
   • Free：实际空闲的连续内存

2. ION内存：BPU专用内存池

   • 系统启动时预留
   • 对应用层不可见

检查ION内存状态：

bash复制dmesg | grep -i "ion"
cat /sys/kernel/debug/ion/heaps/system 2>/dev/null

5.2 解决方案：调整设备树

官方提供了设备树修改脚本update_ion_dtb.sh，主要功能：

1. 反编译dtb文件
2. 修改ion-pool大小
3. 重新编译为二进制

执行步骤：

bash复制# 1. 创建脚本文件
nano update_ion_dtb.sh
# 粘贴脚本内容后保存

# 2. 赋予执行权限
chmod +x update_ion_dtb.sh

# 3. 执行修改（bpu_first模式）
sudo ./update_ion_dtb.sh bpu_first

# 4. 重启生效
sudo reboot

重要：修改前备份原始dtb文件！

bash复制cd /boot/hobot/
sudo cp rdk-s100-v1p0.dtb rdk-s100-v1p0.dtb.bak

5.3 验证修改结果

重启后检查：

bash复制dmesg | grep -i "ion-pool"

成功输出示例：

code复制Reserved ion-pool MEM: size 0xf0000000

（0xf0000000 = 3840MiB）

6. 性能优化技巧

6.1 内存清理脚本

创建clean_mem.sh：

bash复制#!/bin/bash
# 释放pagecache
sync; echo 1 > /proc/sys/vm/drop_caches
# 释放dentries和inodes
sync; echo 2 > /proc/sys/vm/drop_caches 
# 全部释放
sync; echo 3 > /proc/sys/vm/drop_caches

使用方法：

bash复制sudo ./clean_mem.sh
free -h  # 查看效果

6.2 自动化启动脚本

创建start_demo.sh：

bash复制#!/bin/bash

# 设置性能模式
sudo /jinyl_dev/models/OpenExplorer_LLM_0.9.0/runtime/set_permorfance_mode.sh

# 清理内存
sync; echo 3 > /proc/sys/vm/drop_caches

# 启动推理
cd /jinyl_dev/models/OpenExplorer_LLM_0.9.0/runtime/
./bin/xlm_demo \
  --hbm_path /jinyl_dev/models/DeepSeek_R1_Distill_Qwen_1.5B_4096.hbm \
  --tokenizer_dir ./config/DeepSeek_R1_Distill_Qwen_1.5B_config/ \
  --template_path ./config/DeepSeek_R1_Distill_Qwen_1.5B_config/DeepSeek_R1_Distill_Qwen_1.5B.jinja \
  --model_type 3

赋予执行权限：

bash复制chmod +x start_demo.sh

7. 原生BPU vs Ollama对比

7.1 架构差异

7.2 实测数据

测试环境：

• 输入："请用中文回答，人工智能是什么？"
• 生成长度：100 token

结果对比：

code复制Ollama(CPU): 12.5 token/s
BPU原生: 38.7 token/s

8. 进阶开发建议

8.1 自定义模型部署

如需部署其他模型：

1. 使用地平线模型转换工具链
2. 将ONNX模型转为HBM格式
3. 准备对应的tokenizer配置

转换示例：

bash复制hb_mapper makertbin --model model.onnx --output model.hbm

8.2 集成到应用

C++调用示例：

cpp复制#include <hb_dnn/hb_dnn.h>

// 初始化BPU
hbDNNInitializeFromFiles(&model, "model.hbm");

// 准备输入
hbDNNTensor input;
hbDNNGetInputTensor(&input, 0, model);

// 执行推理
hbDNNTaskHandle_t task;
hbDNNInfer(&task, &output, &input, model, nullptr);

// 获取输出
hbDNNTensor output;
hbDNNGetOutputTensor(&output, 0, model);

9. 常见问题排查

9.1 错误速查表

9.2 深度排查命令

检查BPU状态：

bash复制cat /proc/ion/clients

监控BPU负载：

bash复制watch -n 1 "cat /sys/class/hobot/bpu/bpu0/load"

查看模型信息：

bash复制hb_model_info DeepSeek_R1_Distill_Qwen_1.5B_4096.hbm

10. 项目总结与展望

通过这次在RDK S100上部署DeepSeek 1.5B模型的实践，我们验证了BPU在边缘计算场景下的巨大潜力。关键收获包括：

1. 专用内存管理是BPU高效运行的基础，必须正确配置ION内存池
2. 模型格式优化带来的性能提升远超预期
3. 系统级调优（如频率设置、内存清理）对稳定性至关重要

未来可探索方向：

• 尝试更大的模型（如3B参数）
• 开发多模型并行推理方案
• 优化token生成策略降低延迟

这个方案特别适合需要本地化、低延迟AI能力的场景，如服务机器人、工业质检等。希望我的实践记录能为你的边缘计算项目提供参考。