Spartan-6 FPGA实现PCIe与Aurora协议桥接方案

1. 项目概述：Spartan-6 FPGA的PCIe-Aurora桥接方案

在高速数据采集和实时处理系统中，FPGA与主机之间的数据传输效率往往成为系统瓶颈。传统方案采用PCIe接口配合DMA引擎，但当需要将数据转发至其他FPGA或背板时，需要额外的协议转换层。Xilinx的这份参考设计（XAPP492）给出了一个优雅的解决方案：在已有的Spartan-6 PCIe-DMA-DDR3-GbE TRD平台上，扩展支持Aurora 8B/10B轻量级串行协议。

这个设计的核心价值在于：

• 协议透明转换：通过PCIe端点与Aurora协议的协同工作，实现主机内存与串行链路间的无缝数据传输
• 硬件加速架构：利用Northwest Logic的Scatter Gather DMA引擎，将CPU从数据搬运任务中彻底解放
• 双路径设计：保留原有的千兆以太网路径（1000BASE-X/GMII）的同时，新增Aurora高速串行路径
• 可扩展存储：采用多端口DDR3控制器构建Packet FIFO，支持同时处理来自不同协议的数据流

2. 硬件架构深度解析

2.1 核心组件选型与交互

设计基于SP605开发板（XC6SLX45T-3FGG484C），关键IP核配置如下：

时钟域交互设计要点：

1. PCIe与DMA共享62.5MHz时钟域，通过Virtual FIFO隔离时序
2. Aurora用户接口运行在78.125MHz，与PCIe域间采用异步FIFO桥接
3. DDR3控制器采用2:1时钟分频（333MHz→166MHz），通过MIG生成的PHY处理高速时序

2.2 多端口Packet FIFO设计

原始TRD中的Virtual FIFO仅支持流模式，无法识别数据包边界。本设计创新性地实现了Packet FIFO架构：

verilog复制// Packetizer关键逻辑示例
always @(posedge user_clk) begin
    if (ll_sop_i) begin // 检测LocalLink帧头
        ctrl_word <= {1'b1, 1'b0, 2'b00, 12'd0}; 
        blk_cnt <= BLOCK_SIZE - 1;
    end else if (blk_cnt == 0) begin
        ctrl_word <= {1'b0, ll_eop_i, ll_rem_i, pkt_len};
        blk_cnt <= BLOCK_SIZE - 1;
    end else begin
        blk_cnt <= blk_cnt - 1;
    end
end

Packet FIFO工作流程：

1. 写入阶段：Packetizer将LocalLink的SOP/EOP/REM等边带信息编码为控制字，按BLOCK_SIZE参数分段插入数据流
2. 存储管理：使用两个MCB端口分别处理发送和接收方向，每个端口分配1MB DDR3区域
3. 读取阶段：根据控制字重建数据包，自动剥离填充字节并恢复原始帧结构

关键细节：当BLOCK_SIZE=64时，每个控制字后跟随63个DW有效数据。对于510字节的测试包，实际存储占用为(63+63+2)4 + 34 = 524字节，存储效率达到97.3%

2.3 Aurora协议实现要点

Aurora 8B/10B IP核的关键配置：

• 参考时钟：125MHz（来自SP605板载晶振）
• 线速率：3.125Gb/s（对应符号率3.125Gbaud）
• 收发器：GTPA1_DUAL的X1Y0通道
• 流控模式：立即型Native Flow Control(NFC)

NFC机制实现：

verilog复制// 流控状态机示例
always @(posedge aurora_clk) begin
    case(nfc_state)
        IDLE: if (fifo_used > LOW_TIDE) begin
                nfc_req <= 1'b1;
                nfc_state <= WAIT_XOFF;
              end
        WAIT_XOFF: if (nfc_ack) begin
                nfc_req <= 1'b0;
                nfc_state <= HOLD_OFF;
              end
        HOLD_OFF: if (fifo_used < HIGH_TIDE) begin
                nfc_req <= 1'b1;
                nfc_state <= WAIT_XON;
              end
        // ...其他状态转移
    endcase
end

时序约束关键点：

• 从NFC请求发出到数据流停止的最大延迟必须小于256个符号周期（1638.4ns @3.125Gb/s）
• 在78.125MHz时钟域下，这等效于128个时钟周期，因此设置LOW_TIDE=128作为流控触发阈值

3. 软件驱动与系统集成

3.1 Linux驱动修改要点

原始TRD的blockdata驱动需要扩展以下功能：

1. 寄存器映射扩展：

   • 新增0x9200-0x92FF区域用于Aurora状态监控
   • 添加0x9300 Packet Error Register用于诊断包重组错误

2. 流控参数配置：

c复制// 驱动程序片段示例
void configure_nfc(struct pci_dev *dev) {
    u32 low_tide = 128;  // 最坏情况阈值
    u32 high_tide = 384; // 75% FIFO深度
    
    pci_write_config_dword(dev, AURORA_LOW_TIDE_REG, low_tide);
    pci_write_config_dword(dev, AURORA_HIGH_TIDE_REG, high_tide);
}

3. 链路状态检查：

c复制int aurora_link_check(struct pci_dev *dev) {
    u32 status = pci_read_config_dword(dev, AURORA_STATUS_REG);
    
    if (!(status & CHANNEL_UP_MASK)) {
        printk(KERN_WARNING "Aurora link down! Code: 0x%x\n", status);
        return -EIO;
    }
    return 0;
}

3.2 图形界面增强

基于GTK的GUI增加以下功能元素：

• Aurora链路状态指示灯（红/绿）
• 环回模式选择下拉菜单：
  • 正常模式
  • 近端PMA环回
  • 近端PCS环回
• 实时吞吐量显示图表

4. 性能优化与实测数据

4.1 吞吐量影响因素分析

通过基准测试发现三大关键影响因素：

1. 数据包大小：

   • 小包（256B）吞吐：0.594Gb/s
   • 大包（4KB）吞吐：1.423Gb/s

2. BLOCK_SIZE参数：

   BLOCK_SIZE	控制字开销	有效载荷比
   64	1.56%	98.44%
   256	0.39%	99.61%

3. NFC阈值设置：

   • 保守阈值（LOW_TIDE=128）：确保不丢包但吞吐较低
   • 激进阈值（LOW_TIDE=64）：吞吐提升15%但需硬件验证稳定性

4.2 资源利用率统计

在XC6SLX45T上的资源占用：

布局布线建议：

• 对DDR3控制器和Aurora IP核施加区域约束（PBlock）
• GTP收发器固定位置约束（X1Y0）
• 对跨时钟域路径设置多周期约束

5. 实战经验与问题排查

5.1 常见问题速查表

5.2 调试技巧分享

1. ILA核配置技巧：

   • 同时捕获PCIe TLP和Aurora LocalLink信号
   • 设置多条件触发：SOP+EOP+特定数据模式
   • 采用分段存储模式延长捕获时间

2. 眼图测量要点：

   tcl复制# Xilinx ChipScope控制命令示例
   set_property PORT.GTXD0.LOOPBACK 2 [get_hw_sio_links]
   set_property PORT.GTXD0.TXPRECURSOR 5 [get_hw_sio_links] 
   set_property PORT.GTXD0.TXPOSTCURSOR 3 [get_hw_sio_links]
   

3. 性能调优记录：

   • 将BLOCK_SIZE从64增至256，吞吐提升4.2%
   • 优化NFC阈值后，小包性能提升22%
   • 启用DDR3 Burst模式后，内存带宽利用率达85%

6. 设计扩展与变体方案

6.1 多通道扩展

对于需要更高带宽的场景：

1. 改用Spartan-6 LX75T或LX100T器件
2. 启用GTPA1_DUAL的第二个通道（X1Y1）
3. 配置Aurora为4通道模式（需修改IP核参数）

6.2 协议栈扩展

当前设计可进一步扩展为：

• 添加AXI4-Stream接口适配层
• 集成Protocol Offload引擎（如TCP/IP校验和计算）
• 支持JESD204B等高速串行协议

在调试过程中，最耗时的环节是DDR3与Aurora的时钟域协同。一个实用技巧是先在Vivado中生成时钟交互报告（report_clock_interaction），确保所有跨时钟域路径都得到适当约束。另外，建议在初期验证时启用Aurora的环回模式，这样可以隔离PCIe因素，快速定位问题。