Spartan-6 FPGA扩展Aurora协议实现高速数据传输

1. Spartan-6 FPGA PCIe-DMA-DDR3-GbE TRD扩展Aurora协议实战解析

在高速数据传输领域，FPGA凭借其并行处理能力和可编程特性，成为实现定制化接口协议的理想平台。本文将基于Xilinx Spartan-6 FPGA的PCIe-DMA-DDR3-GbE目标参考设计(TRD)，详细解析如何扩展支持Aurora 8B/10B串行协议，构建高性能数据桥接系统。

1.1 设计背景与核心需求

传统TRD提供了PCIe端点、DMA引擎、DDR3内存控制器和千兆以太网的完整实现，但缺乏对专用串行协议的支持。Aurora 8B/10B作为Xilinx专有的轻量级链路层协议，具有以下优势：

• 支持1x至16x通道配置
• 透明物理层接口
• 可选的流控机制
• 3.125Gbps单通道速率

我们的扩展目标是在保留原有以太网功能的同时，新增PCIe到Aurora的数据通路，实现：

1. 系统内存与FPGA间通过PCIe DMA高速传输
2. DDR3内存作为数据缓冲的Packet FIFO
3. 双向Aurora链路支持点对点串行通信

1.2 系统架构概览

扩展后的系统采用分层设计：

code复制[PC系统内存]
    ↑↓ PCIe DMA
[FPGA逻辑]
├─ 网络路径：保留原TEMAC以太网功能
└─ 内存路径：
    ├─ Packet FIFO (DDR3)
    └─ Aurora 8B/10B IP核
        ↑↓ GTP收发器
    [远端设备]

关键数据流：

• 发送路径：PCIe → DMA → Packet FIFO → Aurora TX
• 接收路径：Aurora RX → Packet FIFO → DMA → PCIe

2. 硬件设计实现细节

2.1 多端口Packet FIFO设计

原TRD的虚拟FIFO仅支持单端口流模式，我们升级为支持多端口的Packet FIFO：

verilog复制module packet_fifo #(
    parameter NUM_PORTS = 2,
    parameter BLOCK_SIZE = 64
)(
    input wire clk,
    input wire rst,
    // 用户接口
    input wire [31:0] data_in,
    input wire sop_in,
    input wire eop_in,
    // DDR3接口
    output wire [31:0] mcb_data,
    output wire mcb_en
);
    // 包分割逻辑
    always @(posedge clk) begin
        if (sop_in) begin
            // 插入控制字
            ctrl_word <= {16'd63, 13'b0, rem, eop_in, sop_in};
            blk_cnt <= 0;
        end else if (blk_cnt == BLOCK_SIZE-1) begin
            // 块边界插入控制字
            ctrl_word <= {16'd63, 13'b0, 2'b0, 1'b0, 1'b0};
            blk_cnt <= 0;
        end else begin
            blk_cnt <= blk_cnt + 1;
        end
    end
endmodule

控制字格式（32位）：

2.2 Aurora IP集成要点

Aurora 8B/10B IP核配置参数：

• 通道数：1 lane
• 接口宽度：4字节
• 线速率：3.125Gbps
• 参考时钟：125MHz
• 工作模式：帧模式
• 流控：立即NFC

关键接口信号：

verilog复制aurora_8b10b_0 aurora_inst (
    .RESET(reset),
    // GTP接口
    .RXP(rxp_in), .TXP(txp_out),
    // 用户接口
    .S_AXI_TX_TDATA(tx_data),
    .S_AXI_TX_TVALID(tx_valid),
    .M_AXI_RX_TDATA(rx_data),
    .M_AXI_RX_TVALID(rx_valid),
    // 状态指示
    .CHANNEL_UP(channel_up),
    .LANE_UP(lane_up)
);

2.3 原生流控(NFC)实现

由于Aurora接收端没有ready信号，我们采用NFC避免FIFO溢出：

1. 计算最坏情况延迟：

   • 符号时间 = 10 × 0.64ns = 6.4ns
   • 256符号时间 = 1.638μs
   • 78.125MHz周期 = 12.8ns → 128周期

2. 设计512深度的流控FIFO：

   • 低水位线：128（触发XOFF）
   • 高水位线：384（触发XON）

verilog复制// 流控状态机
always @(posedge aurora_clk) begin
    case(state)
        IDLE: if (fifo_usedw < 128) state <= SEND_XOFF;
        SEND_XOFF: if (fifo_usedw > 384) state <= SEND_XON;
        SEND_XON: if (fifo_usedw < 128) state <= SEND_XOFF;
    endcase
end

3. 软件驱动修改与系统集成

3.1 寄存器映射扩展

新增寄存器组（偏移地址从BAR0开始）：

关键寄存器示例：

• Aurora控制状态寄存器(0x9200)：
  • bit0：LANE_UP状态
  • bit1：CHANNEL_UP状态
  • bit[31:29]：环回模式控制

3.2 驱动修改要点

1. 在xblockdata驱动中添加Aurora状态检查：

c复制int aurora_check_status(void)
{
    u32 reg = ioread32(bar0 + 0x9200);
    if (!(reg & 0x3)) {
        printk(KERN_WARNING "Aurora link down!\n");
        return -EIO;
    }
    return 0;
}

2. GUI增加环回模式选项：

python复制self.aurora_loopback = tk.IntVar()
tk.Checkbutton(frame, text="Aurora PMA Loopback", 
               variable=self.aurora_loopback).pack()

4. 性能优化与实测数据

4.1 吞吐量影响因素分析

通过实测发现三个关键因素影响系统吞吐：

1. Packet FIFO开销：

   • 控制字插入带来约1.5%的带宽损失
   • BLOCK_SIZE=64时吞吐：1.398Gb/s
   • BLOCK_SIZE=256时吞吐：1.423Gb/s

2. MCB端口仲裁：

   • 四端口轮询仲裁引入约3ns延迟
   • 可通过调整仲裁优先级优化

3. Aurora NFC延迟：

   • 保守阈值设置导致吞吐下降约5%
   • 实际应用中可根据链路延迟优化阈值

4.2 资源利用率统计

在XC6SLX45T器件上的资源占用：

4.3 实际部署建议

1. 硬件配置：

   • 使用FMC-HPC连接器提供GTP差分对
   • 推荐时钟方案：

     code复制125MHz晶振 → IBUFG → PLL_ADV → 
         ├→ 62.5MHz(PCIe)
         ├→ 78.125MHz(Aurora)
         └→ 125MHz(MIG)
     

2. 调试技巧：

   • 初始测试使用PMA环回模式
   • 通过ChipScope监控关键信号：
     • aurora_tx_tvalid
     • packet_fifo_wr_en
     • mcb_cmd_full

3. 性能调优：

   • 根据实际包长调整BLOCK_SIZE
   • 优化NFC阈值公式：

     code复制阈值 = (链路延迟 × 线速率) / (8 × 接口宽度)
     

5. 常见问题解决方案

5.1 链路训练失败

现象：LANE_UP信号不稳定
排查步骤：

1. 检查参考时钟质量（jitter < 50ps）
2. 验证PCB差分对阻抗（100Ω±10%）
3. 测量电源噪声（<50mV纹波）

5.2 数据包校验错误

现象：Packet Error Register置位
解决方案：

1. 降低DDR3时钟频率（从667MHz降至600MHz）
2. 调整MIG输入延迟参数：

   tcl复制set_input_delay -clock sys_clk 1.2 [get_ports ddr3_dq*]
   

5.3 吞吐量不达标

优化方法：

1. 修改DMA突发长度：

   c复制#define BURST_LEN 256 // 原值128
   

2. 调整Packet FIFO水位线：

   verilog复制parameter ALMOST_FULL = 480;
   parameter ALMOST_EMPTY = 32;
   

6. 设计扩展思路

基于本平台可进一步实现：

1. 多通道聚合：使用多个GTP通道提升带宽
2. 安全传输：在Packet FIFO阶段添加AES加密
3. 时间同步：集成IEEE 1588协议栈

实际项目中，我们曾利用类似架构实现雷达数据采集系统，持续吞吐稳定在1.2Gb/s，验证了该方案的可靠性。关键经验是：DDR3控制器的校准参数需要根据具体板卡特性精细调整，特别是ZQ校准电阻的阻值容差应控制在1%以内。