1. 项目概述：LicheeRV Nano上的USB摄像头视频传输系统
在嵌入式开发中，实时视频采集与传输是一个经典的应用场景。本文将详细介绍如何在LicheeRV Nano开发板上实现USB摄像头视频的采集，并通过UDP协议将MJPEG视频流实时传输到局域网内的PC端显示。这个方案特别适合智能家居监控、工业检测等需要低功耗嵌入式设备进行视频处理的场景。
LicheeRV Nano是基于RISC-V架构的低功耗开发板，其小巧的体积和丰富的接口使其成为边缘视频处理的理想平台。整套系统由三部分组成：
- 嵌入式端：运行Linux系统的LicheeRV Nano，负责视频采集和网络传输
- 传输协议：基于UDP的自定义分片协议
- PC接收端：Python编写的视频解码显示程序
2. 硬件准备与环境配置
2.1 硬件组件清单
- LicheeRV Nano开发板（需预装Linux系统）
- 兼容的USB摄像头（推荐UVC协议摄像头，如Logitech C270）
- 5V电源适配器
- 网络连接（有线或无线）
- 用于接收视频的PC（Windows/Linux/Mac均可）
2.2 USB Host模式配置
LicheeRV Nano默认可能不启用USB Host功能，需要手动配置：
bash复制# 切换到root用户
sudo su
# 启用USB Host模式
touch /boot/usb.host
rm /boot/usb.dev
# 重启生效
reboot
注意：不同系统镜像的配置方式可能略有差异，如果上述方法无效，可能需要修改设备树或内核启动参数。
2.3 摄像头设备检测
重启后插入USB摄像头，检查是否识别成功：
bash复制# 查看USB设备列表
lsusb
# 检查视频设备节点
ls /dev/video*
正常情况应能看到类似/dev/video0的设备节点。如果没有，可能是：
- 摄像头不兼容（尝试其他型号）
- 内核缺少驱动（需要重新编译内核）
- 电源不足（尝试外接供电）
3. 视频采集程序开发与编译
3.1 交叉编译工具链准备
LicheeRV Nano使用RISC-V架构，需要对应的交叉编译工具链：
bash复制# 下载工具链（约200MB）
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/23/03/07/16/host-tools.tar.gz
# 解压到/opt目录
sudo tar -xzf host-tools.tar.gz -C /opt
# 设置环境变量
export PATH=/opt/riscv64-unknown-linux-musl/bin:$PATH
3.2 视频采集程序解析
程序核心功能是通过V4L2接口采集MJPEG格式视频，并通过UDP分片传输：
cpp复制// 关键结构体定义
struct Buffer {
void* start = nullptr;
size_t length = 0;
};
// UDP分片头定义
#pragma pack(push, 1)
struct UdpFrameHdr {
uint32_t magic; // 'MJPG' = 0x4D4A5047
uint32_t frame_id; // 帧号
uint16_t frag_id; // 分片序号
uint16_t frag_cnt; // 总分片数
uint32_t payload_len;// 本分片负载长度
};
#pragma pack(pop)
3.3 编译与部署
使用交叉编译工具链生成可执行文件：
bash复制riscv64-unknown-linux-musl-g++ -O2 -std=c++17 mjpeg_udp_sender.cpp -o mjpeg_udp_sender
通过SCP传输到开发板：
bash复制scp mjpeg_udp_sender root@licheerv-nano-ip:/root/
在开发板上设置执行权限：
bash复制chmod +x /root/mjpeg_udp_sender
4. 程序运行与参数配置
4.1 启动视频采集程序
基本启动命令格式：
bash复制./mjpeg_udp_sender [设备名] [目标IP] [端口] [宽度] [高度] [帧率]
示例（发送到192.168.1.100的5000端口）：
bash复制./mjpeg_udp_sender /dev/video0 192.168.1.100 5000 640 480 30
4.2 参数优化建议
- 分辨率选择：根据摄像头支持情况选择，常见有320x240、640x480、1280x720
- 帧率设置：嵌入式设备建议15-30fps，过高可能导致CPU过载
- MTU大小：1200字节是经过验证的可靠值，过大容易导致分片丢失
4.3 网络性能调优
为提高传输可靠性，可以调整内核网络参数：
bash复制# 增大UDP发送缓冲区
sysctl -w net.core.wmem_max=4194304
sysctl -w net.core.wmem_default=1048576
# 优化套接字选项
setsockopt(sock, SOL_SOCKET, SO_SNDBUF, &sndbuf, sizeof(sndbuf));
5. PC接收端程序实现
5.1 Python接收程序解析
接收端主要功能是重组UDP分片并解码显示MJPEG流：
python复制# 关键数据结构
frags = {} # 存储分片数据
got = set() # 记录已接收分片
while True:
# 接收UDP数据包
data, _ = s.recvfrom(4096)
# 解析包头
magic, frame_id, frag_id, frag_cnt2, plen = struct.unpack(HDR_FMT, data[:HDR_SIZE])
# 重组帧
if frag_cnt > 0 and len(got) == frag_cnt:
jpeg = b"".join(frags[i] for i in range(frag_cnt))
img = cv2.imdecode(np.frombuffer(jpeg, dtype=np.uint8), cv2.IMREAD_COLOR)
cv2.imshow("MJPEG UDP", img)
5.2 运行接收程序
确保PC和开发板在同一局域网，运行：
bash复制python3 mjpeg_udp_receiver_cv.py
5.3 接收端优化建议
- 显示延迟：可通过调整cv2.waitKey()参数控制
- 断线重连：添加超时检测和自动重连机制
- 性能监控：显示帧率、丢包率等统计信息
6. 常见问题与解决方案
6.1 摄像头无法识别
现象：/dev/video*设备不存在
排查步骤：
- 检查
lsusb是否列出摄像头 - 查看内核日志
dmesg | grep uvc - 尝试更换USB接口或摄像头
6.2 视频传输卡顿
可能原因：
- 网络带宽不足
- 开发板CPU负载过高
- UDP丢包严重
解决方案：
bash复制# 降低分辨率或帧率
./mjpeg_udp_sender /dev/video0 192.168.1.100 5000 320 240 15
# 查看CPU使用率
top -d 1
6.3 接收端显示花屏
原因：UDP分片丢失导致帧不完整
解决方法：
- 减小MTU值（如改为1000）
- 添加前向纠错(FEC)机制
- 改用TCP协议（牺牲实时性）
7. 进阶优化方向
7.1 视频编码优化
- 硬件加速：利用RISC-V的V扩展指令集优化MJPEG编码
- 动态码率：根据网络状况自动调整视频质量
- 多路传输：同时支持多个分辨率/帧率的视频流
7.2 网络协议增强
- 重传机制：对关键分片实现有限次重传
- 加密传输：添加AES加密保护视频隐私
- 多播支持：实现一对多视频分发
7.3 系统集成方案
- Web界面：通过浏览器查看视频流
- 移动端支持：开发Android/iOS接收APP
- 云存储：重要视频片段自动上传云端
在实际部署中，我发现保持网络环境稳定是影响体验的关键因素。建议优先使用有线网络连接，对于必须使用Wi-Fi的场景，可将开发板靠近路由器放置。另外，选择兼容性好的UVC摄像头能避免很多驱动问题，Logitech C系列摄像头在Linux下的兼容性表现通常不错。