RK3568开发板V4L2图像采集C++实战指南

1. RK3568开发板Camera图像采集实战：基于V4L2框架的C++实现

最近在RK3568开发板上折腾Camera图像采集，发现正点原子的官方文档对V4L2应用开发部分讲解比较简略。经过几周的踩坑实践，终于搞定了从驱动层到应用层的完整图像采集流程。本文将分享基于V4L2框架的C++实现方案，包含设备初始化、缓冲区管理、图像采集等核心环节的实战代码。

1.1 硬件环境准备

我的实验平台配置如下：

• 核心硬件：正点原子RK3568开发板（4核Cortex-A55，主频2.0GHz）
• 图像传感器：MIPI接口的OV13850（1300万像素）
• 开发环境：Ubuntu 20.04虚拟机交叉编译

特别注意：RK3568的MIPI-CSI接口有带宽限制，OV13850需要配置为1080P@30fps模式才能稳定工作。直接使用默认配置可能导致图像撕裂。

2. V4L2框架深度解析

2.1 V4L2架构设计原理

V4L2采用分层设计架构，主要包含三个核心组件：

1. v4l2_device：输入设备的总控结构体，每个物理设备对应一个实例
2. v4l2_subdev：子设备抽象（如镜头控制器、传感器等）
3. vb2_queue：DMA缓冲区队列管理

mermaid复制graph TD
    A[v4l2_device] --> B[v4l2_subdev1]
    A --> C[v4l2_subdev2]
    A --> D[vb2_queue]

2.2 关键数据结构解析

2.2.1 设备能力查询

通过VIDIOC_QUERYCAP获取设备能力时需要检查关键字段：

cpp复制struct v4l2_capability cap;
ioctl(fd, VIDIOC_QUERYCAP, &cap);

if (!(cap.capabilities & V4L2_CAP_VIDEO_CAPTURE)) {
    cerr << "Not a video capture device" << endl;
    return -1;
}

2.2.2 图像格式设置

OV13850支持的格式需要通过VIDIOC_ENUM_FMT枚举：

cpp复制struct v4l2_fmtdesc fmt;
fmt.index = 0;
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

while (ioctl(fd, VIDIOC_ENUM_FMT, &fmt) >= 0) {
    cout << "Supported format: " << fmt.description << endl;
    fmt.index++;
}

3. 图像采集全流程实现

3.1 初始化流程

完整的设备初始化包含6个关键步骤：

1. 打开设备节点

cpp复制int fd = open("/dev/video0", O_RDWR);
if (fd < 0) {
    perror("Open device failed");
    return -1;
}

2. 设置采集格式（以YUYV为例）

cpp复制struct v4l2_format fmt = {0};
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width = 1920;
fmt.fmt.pix.height = 1080;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
fmt.fmt.pix.field = V4L2_FIELD_NONE;

if (ioctl(fd, VIDIOC_S_FMT, &fmt) < 0) {
    perror("Set format failed");
    return -1;
}

3. 申请缓冲区（DMABUF方式）

cpp复制struct v4l2_requestbuffers req = {0};
req.count = 4;
req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory = V4L2_MEMORY_MMAP;

if (ioctl(fd, VIDIOC_REQBUFS, &req) < 0) {
    perror("Request buffers failed");
    return -1;
}

3.2 图像采集核心逻辑

采用生产者-消费者模型实现高效采集：

cpp复制// 入队所有缓冲区
for (int i = 0; i < buffer_count; ++i) {
    struct v4l2_buffer buf = {0};
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    buf.index = i;
    
    if (ioctl(fd, VIDIOC_QBUF, &buf) < 0) {
        perror("Queue buffer failed");
        return -1;
    }
}

// 开始采集
enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
ioctl(fd, VIDIOC_STREAMON, &type);

// 采集循环
while (running) {
    fd_set fds;
    FD_ZERO(&fds);
    FD_SET(fd, &fds);
    
    struct timeval tv = {0};
    tv.tv_sec = 2;
    
    int r = select(fd + 1, &fds, NULL, NULL, &tv);
    if (r <= 0) {
        cerr << "Select timeout" << endl;
        continue;
    }
    
    struct v4l2_buffer buf = {0};
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    
    if (ioctl(fd, VIDIOC_DQBUF, &buf) < 0) {
        perror("Dequeue buffer failed");
        continue;
    }
    
    // 处理图像数据
    process_image(buffers[buf.index].start, buf.bytesused);
    
    // 重新入队
    if (ioctl(fd, VIDIOC_QBUF, &buf) < 0) {
        perror("Requeue buffer failed");
        break;
    }
}

4. 性能优化与问题排查

4.1 DMA缓冲区配置技巧

通过实验对比不同缓冲区数量的性能表现：

实测发现：RK3568上4个DMA缓冲区是最佳平衡点，超过8个会导致内存占用激增但收益不明显。

4.2 常见错误排查

4.2.1 图像花屏问题

症状：采集到的图像出现条纹或错位
解决方法：

1. 检查v4l2_format的bytesperline参数是否正确
2. 确认像素格式（如YUYV是16bpp）
3. 验证DMA缓冲区对齐（需要64字节对齐）

4.2.2 帧率不稳定

典型表现：select()频繁超时
排查步骤：

1. 使用v4l2-ctl --list-formats-ext确认支持的帧率
2. 检查传感器时钟配置
3. 降低分辨率测试（如从1080P降到720P）

5. 进阶开发技巧

5.1 零拷贝优化

通过DRM/KMS直接显示可大幅提升性能：

cpp复制// 将DMA缓冲区导出为DRM FB
struct drm_mode_create_dumb create = {0};
create.width = width;
create.height = height;
create.bpp = 32;
ioctl(drm_fd, DRM_IOCTL_MODE_CREATE_DUMB, &create);

// 映射内存
struct drm_mode_map_dumb map = {0};
map.handle = create.handle;
ioctl(drm_fd, DRM_IOCTL_MODE_MAP_DUMB, &map);

void *drm_mem = mmap(0, create.size, PROT_READ | PROT_WRITE, 
                     MAP_SHARED, drm_fd, map.offset);

5.2 多路采集方案

RK3568支持双MIPI-CSI接口，可通过多线程实现并行采集：

cpp复制class CameraThread : public std::thread {
public:
    CameraThread(const string& dev) : device(dev) {}
    
    void run() {
        // 独立的V4L2处理流程
        int fd = open(device.c_str(), O_RDWR);
        // ...初始化配置...
        while (running) {
            // 采集处理逻辑
        }
    }
    
private:
    string device;
};

// 创建双路采集线程
CameraThread cam1("/dev/video0");
CameraThread cam2("/dev/video1");
cam1.run();
cam2.run();

6. 实测性能数据

在1080P@30fps配置下的资源占用情况：

这个方案已经稳定运行在工业检测设备上，累计采集超过200万帧图像无异常。关键点在于：

1. DMA缓冲区环形队列管理
2. 合理的线程优先级设置（建议设置为SCHED_FIFO）
3. 避免内存拷贝的显示方案

后续计划尝试V4L2的异步API和ISP硬件加速，进一步提升性能。对于有类似需求的开发者，建议先从单路采集稳定后再扩展多路功能。