1. 项目背景与目标
作为一名长期折腾树莓派和各类传感器的技术爱好者，最近我在二手市场淘到了一台LeTV体感相机（基于华硕Xtion Pro Live方案）。这款设备原本是为Windows平台设计的，但我想尝试在树莓派4B上运行Ubuntu 20.04系统来驱动它。经过三天的反复调试，终于成功实现了完整的体感交互功能。本文将详细记录整个调试过程，特别是解决32位驱动与64位系统兼容性问题的关键步骤。
体感相机在机器人视觉、动作捕捉等领域有广泛应用。与普通摄像头不同，它通过红外传感器获取深度信息，配合骨骼追踪算法可以实现手势识别、姿势分析等功能。在树莓派上成功运行这类设备，意味着可以用极低成本搭建体感交互原型系统。
2. 硬件准备与系统配置
2.1 设备清单与连接方案
核心硬件组件：
- 树莓派4B（4GB内存版本）
- LeTV体感相机（实际硬件为华硕Xtion Pro Live）
- 带独立供电的USB 3.0 Hub（品牌：ORICO）
- 5V 3A电源适配器
- 32GB Class10 microSD卡
重要提示：实测发现树莓派自带的USB接口供电严重不足，直接连接体感相机会导致设备频繁断开连接。必须使用带独立电源的USB Hub作为中转。
连接步骤：
- 将USB Hub接入树莓派任意USB 3.0接口
- 使用Hub配套的12V电源适配器为其供电
- 将LeTV体感相机接入Hub的下行端口
- 等待设备初始化（相机顶部指示灯变为绿色）
2.2 系统环境准备
我选择Ubuntu 20.04 LTS 64位系统作为基础环境，主要考虑其长期支持特性和更好的软件兼容性。安装完成后需要执行以下基础配置：
bash复制# 更新软件源并升级系统
sudo apt update && sudo apt upgrade -y
# 安装必要工具链
sudo apt install -y build-essential cmake git vim
# 添加用户到video组
sudo usermod -a -G video $USER
验证设备是否被识别：
bash复制lsusb | grep "ASUS Xtion"
正常应输出类似结果：
code复制Bus 001 Device 004: ID 1d27:0601 ASUS Xtion Pro Live
3. 驱动安装与兼容性解决
3.1 驱动架构问题分析
LeTV体感相机使用的是华硕的Xtion方案，官方提供的Linux驱动libSenDuck.so仅有32位ARM版本。而我们的Ubuntu系统是64位的，直接运行会报错：
code复制error while loading shared libraries: libSenDuck.so: wrong ELF class: ELFCLASS32
解决方案是创建混合架构环境，让64位系统能够加载32位驱动库。这需要通过multiarch机制实现。
3.2 多架构支持配置
首先启用armhf架构支持：
bash复制sudo dpkg --add-architecture armhf
sudo apt update
然后安装32位兼容库：
bash复制sudo apt install -y libc6:armhf libstdc++6:armhf
3.3 驱动安装具体步骤
- 从华硕开发者网站下载
ASUS-Linux-Arm-OpenNI2.2SDK包 - 解压后进入
Redist目录 - 安装32位驱动组件：
bash复制sudo cp libSenDuck.so /usr/lib/arm-linux-gnueabihf/
sudo cp OpenNI.ini /etc/openni2/
- 安装64位的OpenNI2框架：
bash复制sudo apt install -y libopenni2-dev
- 创建符号链接解决库路径问题：
bash复制sudo ln -s /usr/lib/arm-linux-gnueabihf/libSenDuck.so /usr/lib/libSenDuck.so
4. 功能验证与测试
4.1 基础功能测试
安装openni2-tools进行验证：
bash复制sudo apt install -y openni2-tools
NiViewer2
如果一切正常，应该能看到深度图像和彩色图像的实时显示窗口。常见问题及解决方法：
问题1：无法打开设备
code复制Could not open "ASUS Xtion Pro Live": DeviceOpen using default: no devices found
- 解决方案：
- 检查
lsusb是否能识别设备 - 确认用户已加入video组
- 尝试重新插拔USB连接
- 检查
问题2：图像卡顿或断流
- 解决方案：
- 确保使用独立供电的USB Hub
- 降低图像分辨率：
bash复制export OPENNI2_640x480=1 NiViewer2
4.2 骨骼追踪测试
安装NiTE2中间件进行高级功能测试：
bash复制wget https://example.com/nite2_armhf.deb # 替换为实际下载链接
sudo dpkg -i nite2_armhf.deb
运行骨骼追踪示例：
bash复制Sample-PointViewer
5. 性能优化与实用技巧
5.1 树莓派专用优化参数
在/etc/openni2/OpenNI.ini中添加以下配置：
code复制[Depth]
MaxPixelValue=10000
MinPixelValue=0
[Device]
ResetOnStartup=1
5.2 自启动服务配置
创建/etc/systemd/system/xtion.service：
code复制[Unit]
Description=ASUS Xtion Service
[Service]
ExecStart=/usr/bin/NiViewer2
Restart=always
User=pi
[Install]
WantedBy=multi-user.target
启用服务：
bash复制sudo systemctl enable xtion.service
sudo systemctl start xtion.service
5.3 常见问题速查表
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 设备频繁断开 | 供电不足 | 使用带电源的USB Hub |
| 无法加载驱动 | 架构不匹配 | 确认已安装armhf兼容库 |
| 图像花屏 | USB带宽不足 | 改用USB 3.0接口 |
| 骨骼追踪失败 | NiTE2未安装 | 安装正确的NiTE2版本 |
6. 应用开发环境搭建
6.1 Python接口配置
安装Python绑定：
bash复制sudo apt install -y python3-openni2
测试代码示例：
python复制import openni2
import numpy as np
openni2.initialize()
dev = openni2.Device.open_any()
depth_stream = dev.create_depth_stream()
depth_stream.start()
frame = depth_stream.read_frame()
frame_data = np.frombuffer(frame.get_buffer_as_uint16(), dtype=np.uint16)
print(f"Depth data shape: {frame_data.shape}")
depth_stream.stop()
openni2.unload()
6.2 ROS集成方案
对于机器人开发者，可以安装ROS的openni2包：
bash复制sudo apt install -y ros-noetic-openni2-launch
启动相机节点：
bash复制roslaunch openni2_launch openni2.launch
7. 深度数据后处理技巧
7.1 数据校准
由于低成本体感相机的固有特性，深度数据存在噪声和误差。建议采用以下滤波方法：
python复制import cv2
def denoise_depth(depth_frame):
# 中值滤波
filtered = cv2.medianBlur(depth_frame, 5)
# 空洞填充
mask = (filtered == 0).astype(np.uint8)
filled = cv2.inpaint(filtered, mask, 3, cv2.INPAINT_NS)
return filled
7.2 点云生成
将深度图转换为3D点云：
python复制def depth_to_pointcloud(depth, fx=525.0, fy=525.0, cx=319.5, cy=239.5):
rows, cols = depth.shape
u, v = np.meshgrid(np.arange(cols), np.arange(rows))
z = depth / 1000.0 # 转换为米
x = (u - cx) * z / fx
y = (v - cy) * z / fy
return np.dstack((x, y, z))
经过一周的持续调试和优化，这套系统现在已经可以稳定运行8小时以上不出现断流。最大的收获是理解了混合架构环境下驱动加载的底层机制，这对今后在嵌入式系统上集成各类特殊设备非常有帮助。建议有兴趣的开发者可以尝试用这个方案做手势控制机器人或者体感游戏原型，成本不到普通方案的十分之一。