1. 项目背景与核心需求
在嵌入式视频处理领域，实时叠加动态文字信息到视频流并输出标准压缩格式文件是个经典需求。最近我在RV1126平台上实现了通过SDL_ttf渲染TrueType字体到OSD层，再与摄像头采集画面合成最终H264编码输出的完整流程。这个方案相比传统方案有几个显著优势：字体渲染更精细、支持中文等复杂字符集、系统资源占用更低。
RV1126作为瑞芯微推出的视觉处理SoC，内置NPU和RGA硬件加速模块，特别适合这类需要实时图像处理的场景。OSD（On-Screen Display）模块可以直接操作显示缓冲区的叠加层，避免了对主画面的像素级操作开销。而SDL_ttf作为跨平台字体渲染库，解决了嵌入式系统字体渲染的痛点。
2. 系统架构设计
2.1 硬件加速框架
RV1126的视频处理流水线包含几个关键硬件模块：
- ISP（图像信号处理器）：处理原始传感器数据
- RGA（RISC-V Graphics Accelerator）：负责图像缩放/旋转/混合
- VENC（视频编码器）：H264/H265硬件编码
mermaid复制graph TD
A[Camera Sensor] --> B(ISP)
B --> C{RGA}
D[SDL_ttf渲染] --> C
C --> E(VENC)
E --> F[H264文件]
2.2 软件组件交互
系统主要涉及以下软件模块的协同：
- libdrm：直接管理显示缓冲区
- SDL2：提供跨平台绘图接口
- SDL_ttf：TrueType字体渲染
- FFmpeg：封装H264编码输出
关键数据流：
- 摄像头采集通过V4L2接口获取YUV数据
- SDL_ttf渲染文字到独立Surface
- RGA硬件混合YUV帧和OSD层
- VENC编码混合后的画面
3. 核心实现细节
3.1 字体渲染优化
在资源受限的嵌入式环境使用SDL_ttf需要特别注意：
c复制TTF_Font *font = TTF_OpenFont("/usr/share/fonts/NotoSansCJK-Regular.ttc", 24);
SDL_Color white = {255, 255, 255, 255};
SDL_Surface *text_surface = TTF_RenderUTF8_Blended(font, "温度:25℃", white);
性能优化技巧：
- 预渲染常用字符到纹理集
- 使用SDL_RenderCopy替代重复渲染
- 启用ARM NEON加速的libfreetype
3.2 硬件混合配置
通过DRM的plane配置实现OSD叠加：
bash复制# 查看可用plane
modetest -M rockchip -p
关键drm_mode配置参数：
c复制struct drm_mode_create_dumb create_arg = {
.width = 1920,
.height = 1080,
.bpp = 32
};
ioctl(drm_fd, DRM_IOCTL_MODE_CREATE_DUMB, &create_arg);
3.3 编码参数调优
VENC的推荐配置参数：
ini复制[venc]
profile = main
gop = 60
bitrate = 4000000
max-bitrate = 6000000
fps = 30
4. 性能实测数据
在1080p30输入场景下的资源占用对比：
| 方案 | CPU占用 | 内存占用 | 延迟 |
|---|---|---|---|
| 纯软件渲染 | 85% | 320MB | 120ms |
| 本方案(RGA+SDL_ttf) | 32% | 180MB | 45ms |
5. 典型问题排查
5.1 字体显示异常
现象：中文显示为方框
- 检查字体文件是否包含中文字形
- 确认系统locale设置为UTF-8
- 测试TTF_RenderUTF8而非TTF_RenderText
5.2 混合层闪烁
解决方案：
- 启用双缓冲机制
- 确保vsync同步
- 检查RGA混合时序配置
5.3 编码花屏
调试步骤：
bash复制# 导出编码前的YUV帧
ffmpeg -pix_fmt nv12 -s 1920x1080 -i /dev/shm/frame.raw debug.yuv
常见原因：
- RGA输出格式与VENC输入格式不匹配
- 时间戳未正确传递
- 参考帧配置错误
6. 扩展应用场景
该技术方案可适用于：
- 智能监控设备的实时信息叠加
- 工业HMI的人机界面显示
- 车载系统的AR导航提示
- 直播设备的字幕合成
在实际部署中发现，通过调整SDL_ttf的hinting参数可以显著提升小字号文字的清晰度。对于需要动态变化的内容，建议维护一个LRU缓存的字形纹理集，避免频繁的渲染操作。