FPGA多路视频拼接系统设计与实现

人间马戏团

1. 项目背景与核心需求

去年参加全国FPGA设计竞赛时，我选择了视频拼接这个既经典又充满挑战的题目。不同于常见的两路视频拼接，这次需要同时处理四路不同规格的视频源：一路HDMI（1920x1080@60Hz）、一路摄像头（960x540@30Hz）和一路以太网视频（960x540），其中HDMI信号需要复用一次。最终这个设计获得了国家二等奖，今天就来详细拆解其中的技术实现。

选择紫光同创盘古-50K开发板主要基于三点考虑：首先，其内置的50K逻辑单元足够处理四路视频的实时拼接；其次，开发板提供了丰富的视频接口，包括HDMI输入输出、摄像头接口和以太网PHY；最重要的是，作为国产FPGA平台，其性价比和供货稳定性都很有保障。

2. 系统架构设计

2.1 整体数据流设计

系统采用三级流水线架构：

输入预处理级：对三路原始视频信号进行格式统一和时钟域同步
帧缓存级：使用片内BRAM实现双缓冲机制
拼接输出级：按预设布局进行像素重组

这种架构的优势在于：

通过输入预处理解决了多源异构问题
双缓冲机制避免了读写冲突
模块化设计便于后期扩展更多视频源

2.2 时钟域处理方案

系统涉及四个时钟域：

HDMI的148.5MHz像素时钟
摄像头的74.25MHz时钟
以太网的125MHz时钟
系统主时钟200MHz

我们采用异步FIFO进行跨时钟域处理，关键参数设置如下：

信号类型	FIFO深度	阈值设置
HDMI数据	1024	800-200
摄像头数据	512	400-100
网络数据	512	400-100

特别注意：FIFO的读写时钟比要严格匹配视频帧率，例如摄像头30fps对应输出60fps时，写时钟是读时钟的一半

3. 关键模块实现

3.1 视频输入处理模块

以HDMI输入为例，核心代码如下：

verilog复制module hdmi_input (
    input wire hdmi_clk,
    input wire [23:0] hdmi_data,
    input wire hdmi_hsync,
    input wire hdmi_vsync,
    output reg [23:0] rgb_out,
    output reg hs_out,
    output reg vs_out,
    output reg de_out
);

// 消隐区处理
always @(posedge hdmi_clk) begin
    if (!hdmi_vsync || !hdmi_hsync) begin
        rgb_out <= 24'h0;
        de_out <= 1'b0;
    end else begin
        rgb_out <= hdmi_data;
        de_out <= 1'b1;
    end
    hs_out <= hdmi_hsync;
    vs_out <= hdmi_vsync;
end

// 色彩空间转换（可选）
wire [7:0] y, cb, cr;
rgb2ycbcr u_rgb2ycbcr(
    .clk(hdmi_clk),
    .r(hdmi_data[23:16]),
    .g(hdmi_data[15:8]),
    .b(hdmi_data[7:0]),
    .y(y),
    .cb(cb),
    .cr(cr)
);

endmodule

3.2 帧缓存控制器

采用乒乓缓冲机制，关键设计要点：

每个视频源分配两个BRAM块（每个36Kb）
写地址生成逻辑要考虑不同分辨率：
- HDMI：1920x1080 → 2048x1024（补零对齐）
- 其他：960x540 → 1024x512
读地址需要做坐标映射，实现拼接布局

地址映射示例：

verilog复制// 输出像素坐标到各视频源的映射
always @(*) begin
    if (out_x < 1920) begin
        if (out_y < 1080) begin
            // 区域1：HDMI原始信号
            hdmi_rd_addr = {out_y[9:0], out_x[10:0]};
            rd_sel = 2'b00;
        end else begin
            // 区域3：摄像头信号
            cam_rd_addr = {(out_y-1080)[8:0], out_x[9:0]};
            rd_sel = 2'b01;
        end
    end else begin
        // 区域2和4的处理类似
    end
end

4. 视频拼接算法优化

4.1 分辨率适配方案

针对不同分辨率视频源的拼接，我们采用以下处理流程：

高分辨率信号（HDMI）直接截取中心区域
低分辨率信号（摄像头/网络）采用双线性插值放大
边缘区域使用镜像填充

插值算法实现：

verilog复制// 双线性插值核心代码
always @(posedge clk) begin
    // 计算权重
    wx <= x_pos[3:0]; // 取小数部分
    wy <= y_pos[3:0];
    
    // 像素加权计算
    pixel_out <= (p11*(16-wx)*(16-wy) + 
                 p12*wx*(16-wy) + 
                 p21*(16-wx)*wy + 
                 p22*wx*wy) >> 8;
end

4.2 同步信号处理

多视频源同步是最大挑战，我们的解决方案：

以HDMI信号为基准时钟
其他信号通过帧缓存进行速率适配
动态调整机制处理帧率波动

同步状态机设计：

verilog复制parameter SYNC_IDLE = 2'b00;
parameter SYNC_WAIT = 2'b01;
parameter SYNC_RUN = 2'b10;

always @(posedge sys_clk) begin
    case(sync_state)
        SYNC_IDLE: 
            if (hdmi_vsync && cam_vsync && eth_vsync)
                sync_state <= SYNC_WAIT;
        SYNC_WAIT:
            if (frame_cnt >= 3) // 等待3帧稳定
                sync_state <= SYNC_RUN;
        SYNC_RUN:
            if (err_cnt > 10) // 错误超过阈值
                sync_state <= SYNC_IDLE;
    endcase
end