Qt+FFmpeg实现YUV原始数据采集与录制

1. 项目背景与核心价值

在音视频处理领域，直接获取摄像头的原始YUV数据并进行录制是一项基础但极其重要的能力。相比常见的MP4、AVI等封装格式，YUV格式保留了最原始的图像数据，为后续的视频分析、编解码测试、算法验证等场景提供了纯净的输入源。

我最近在开发一个视频质量评估系统时，就需要大量原始YUV视频作为测试样本。市面上的录制软件大多直接输出压缩后的视频，而使用Qt+FFmpeg这套组合可以完美解决这个问题。Qt提供了跨平台的摄像头访问接口，FFmpeg则是处理多媒体数据的瑞士军刀，两者结合既能保证兼容性又能实现高性能采集。

2. 环境准备与工具选型

2.1 开发环境配置

推荐使用以下环境组合：

• Qt 5.15.2（LTS版本，稳定性最佳）
• FFmpeg 4.4（需启用--enable-shared编译选项）
• Windows/MSVC或Linux/GCC（本文示例基于Windows平台）

安装时特别注意：

1. Qt安装时要勾选MSVC组件和Qt Multimedia模块
2. FFmpeg编译时务必添加--enable-yasm确保性能优化
3. 环境变量配置好FFmpeg的bin目录路径

2.2 关键工具对比

选择Qt Multimedia是因为我们需要在多个操作系统上运行，且其对摄像头设备的管理更加友好。虽然DirectShow/V4L2在各自平台可能有更好性能，但跨平台需求让我们选择了Qt方案。

3. 核心实现流程详解

3.1 摄像头初始化与配置

cpp复制// 创建摄像头对象
QCamera *camera = new QCamera(QCameraInfo::defaultCamera());

// 设置采集格式为YUV420P（最通用的YUV格式）
QCameraViewfinderSettings settings;
settings.setPixelFormat(QVideoFrame::Format_YUV420P);
settings.setResolution(640, 480);  // 推荐使用标准分辨率
camera->setViewfinderSettings(settings);

// 创建视频探针用于获取原始帧
QVideoProbe *probe = new QVideoProbe;
probe->setSource(camera);
connect(probe, SIGNAL(videoFrameProbed(QVideoFrame)), 
        this, SLOT(processFrame(QVideoFrame)));

关键参数说明：

• YUV420P：每4个Y分量共享1个U和1个V分量，节省空间同时保持较好质量
• 分辨率选择：优先使用摄像头原生支持的分辨率，避免软件缩放带来的性能损耗

3.2 FFmpeg录制器初始化

cpp复制AVFormatContext *fmt_ctx = nullptr;
avformat_alloc_output_context2(&fmt_ctx, nullptr, "rawvideo", "output.yuv");

AVStream *stream = avformat_new_stream(fmt_ctx, nullptr);
stream->codecpar->codec_type = AVMEDIA_TYPE_VIDEO;
stream->codecpar->codec_id = AV_CODEC_ID_RAWVIDEO;
stream->codecpar->width = 640;  
stream->codecpar->height = 480;
stream->codecpar->format = AV_PIX_FMT_YUV420P;

avio_open(&fmt_ctx->pb, fmt_ctx->filename, AVIO_FLAG_WRITE);
avformat_write_header(fmt_ctx, nullptr);

注意事项：

1. 使用"rawvideo"格式封装器直接输出原始数据
2. 必须正确设置像素格式与分辨率，需与摄像头配置一致
3. 不需要编码器，直接保存原始帧

3.3 帧处理与写入逻辑

cpp复制void processFrame(const QVideoFrame &frame) {
    frame.map(QAbstractVideoBuffer::ReadOnly);
    
    AVFrame *av_frame = av_frame_alloc();
    av_frame->width = frame.width();
    av_frame->height = frame.height();
    av_frame->format = AV_PIX_FMT_YUV420P;
    
    // 填充YUV数据
    av_frame->data[0] = frame.bits();  // Y分量
    av_frame->data[1] = frame.bits() + frame.width() * frame.height();  // U分量
    av_frame->data[2] = av_frame->data[1] + (frame.width()/2 * frame.height()/2);  // V分量
    
    av_frame->linesize[0] = frame.width();
    av_frame->linesize[1] = frame.width()/2;
    av_frame->linesize[2] = frame.width()/2;
    
    av_interleaved_write_frame(fmt_ctx, av_frame);
    frame.unmap();
}

内存布局要点：

• YUV420P数据在内存中是连续的，先存储所有Y分量，然后是U分量，最后是V分量
• U/V分量的宽度和高度都是Y分量的一半（420采样）
• linesize参数必须正确设置，特别是对于有内存对齐要求的平台

4. 性能优化关键技巧

4.1 双缓冲队列设计

直接每帧都立即写入文件会导致性能问题，建议采用生产者-消费者模式：

cpp复制// 全局定义
QQueue<AVFrame*> frameQueue;
QMutex queueMutex;
QWaitCondition queueNotEmpty;

// 生产者线程（原processFrame修改）
void processFrame(...) {
    // ...填充av_frame...
    queueMutex.lock();
    frameQueue.enqueue(av_frame);
    queueNotEmpty.wakeAll();
    queueMutex.unlock();
}

// 消费者线程
void run() {
    while(running) {
        queueMutex.lock();
        while(frameQueue.isEmpty()) {
            queueNotEmpty.wait(&queueMutex);
        }
        AVFrame *frame = frameQueue.dequeue();
        queueMutex.unlock();
        
        av_interleaved_write_frame(fmt_ctx, frame);
        av_frame_free(&frame);
    }
}

4.2 内存池优化

频繁分配释放AVFrame会带来内存碎片，可以预先分配固定数量的AVFrame循环使用：

cpp复制#define POOL_SIZE 10
AVFrame *framePool[POOL_SIZE];

// 初始化时
for(int i=0; i<POOL_SIZE; i++) {
    framePool[i] = av_frame_alloc();
    // ...初始化各帧参数...
}

// 使用时从池中获取可用帧
AVFrame* getFreeFrame() {
    // 实现查找并返回空闲帧的逻辑
}

5. 常见问题与解决方案

5.1 帧率不稳定问题

现象：录制的视频播放时卡顿
排查步骤：

1. 检查摄像头实际支持的最大帧率

   cpp复制qDebug() << camera->supportedViewfinderFrameRates(settings);
   

2. 确保没有丢帧：
   • 在processFrame开始处打印时间戳
   • 检查连续帧的时间差是否均匀

解决方案：

• 降低分辨率（从1080P降到720P）
• 增加缓冲区数量（QCamera::setBufferCount）
• 使用更高效的存储设备（SSD优于机械硬盘）

5.2 文件头信息缺失

原始YUV文件需要额外信息才能正确播放：

1. 创建同名的.info文件，内容示例：

   code复制width 640
   height 480
   fps 30
   format yuv420p
   

2. 使用ffplay播放时指定参数：

   bash复制ffplay -f rawvideo -pixel_format yuv420p -video_size 640x480 output.yuv
   

5.3 多平台兼容性问题

Linux系统特有注意事项：

1. 需要安装v4l-utils：

   bash复制sudo apt install v4l-utils
   

2. 摄像头设备权限问题：

   bash复制sudo usermod -a -G video $USER
   

3. Qt项目文件需要添加：

   qmake复制linux: LIBS += -lv4l2
   

6. 进阶扩展方向

6.1 实时预览实现

在录制同时显示预览画面：

cpp复制// 创建Viewfinder
QVideoWidget *viewfinder = new QVideoWidget;
camera->setViewfinder(viewfinder);
viewfinder->show();

// 在processFrame中复制帧数据用于预览
QImage image(frame.bits(), frame.width(), frame.height(), 
             QVideoFrame::imageFormatFromPixelFormat(frame.pixelFormat()));
emit newPreviewImage(image);  // 通过信号传递到UI线程

6.2 多摄像头支持

枚举所有可用摄像头：

cpp复制foreach(const QCameraInfo &cameraInfo, QCameraInfo::availableCameras()) {
    qDebug() << "Camera:" << cameraInfo.description()
             << "Position:" << cameraInfo.position();
}

// 切换摄像头
camera->stop();
delete camera;
camera = new QCamera(selectedCameraInfo);
camera->start();

6.3 时间戳记录

为每帧添加精确时间信息：

cpp复制// 在帧处理时记录时间
qint64 timestamp = QDateTime::currentMSecsSinceEpoch();

// 写入额外的元数据文件
QFile metaFile("timestamps.txt");
if(metaFile.open(QIODevice::Append)) {
    QTextStream stream(&metaFile);
    stream << timestamp << "\n";
}

在实际项目中，我发现正确处理YUV的内存布局是最容易出错的地方。特别是在不同平台上，内存对齐要求可能不同。建议在初始化完成后，先用静态测试图案验证录制功能，比如生成一个彩条测试图，确认YUV各分量正确存储后再接入真实摄像头信号。