1. 项目概述与系统架构
最近完成了一个基于FPGA的UDP数据处理系统开发，使用优数科技PCIe-404信号处理卡搭载国产690T FPGA芯片。这个项目的核心目标是实现上位机与FPGA之间的高速稳定数据传输，并通过FPGA协调数据处理流程。系统工作流程可以概括为：上位机通过UDP下发数据和配置→FPGA接收并暂存数据→协调算法模块处理→将结果回传至上位机。
1.1 硬件平台选型考量
选择PCIe-404信号处理卡主要基于三个关键因素：
- 国产化需求：采用国产690T FPGA芯片，满足特定场景下的国产化要求
- 接口丰富性：板载千兆以太网接口和PCIe接口，便于与上位机通信
- DDR容量：配备足够容量的DDR3存储器，满足数据缓存需求
690T FPGA的资源分配情况如下：
- 约30%的逻辑资源用于实现UDP协议栈
- 25%用于DDR控制器和数据处理流水线
- 15%用于算法模块接口
- 剩余资源留作调试接口和未来扩展
1.2 系统数据流设计
系统采用分层架构设计，数据流向严格遵循以下顺序：
-
下发阶段：
- 上位机通过UDP发送配置包(1500字节MTU)
- 紧接着发送数据包(每个包1400字节有效载荷)
- FPGA接收后分离配置和数据，分别存入不同区域
-
处理阶段：
- 配置信息写入cfg_interface寄存器组
- 原始数据通过AXI总线写入DDR0
- 写完成后触发中断通知上位机
-
算法处理：
- FPGA从DDR0读取数据帧(每帧8KB)
- 送入用户算法模块处理
- 处理结果写入DDR1
- 采用严格的门控机制确保帧顺序
-
回传阶段：
- 所有数据处理完成后触发回传中断
- 上位机请求读取DDR1数据
- FPGA通过UDP包分片上传结果数据
关键设计要点：在DDR0和DDR1之间建立物理隔离，避免读写冲突。同时为每个DDR控制器分配独立的AXI总线，确保带宽。
2. 核心模块实现细节
2.1 UDP协议栈实现
在FPGA内实现轻量级UDP/IP协议栈，主要优化点包括：
接收路径：
verilog复制// 简化的接收状态机
always @(posedge clk) begin
case(rx_state)
IDLE: if(eth_rx_valid) rx_state <= ETH_HEADER;
ETH_HEADER: if(mac_match) rx_state <= IP_HEADER;
IP_HEADER: if(ip_protocol==UDP) rx_state <= UDP_PAYLOAD;
UDP_PAYLOAD: begin
// 处理有效载荷
if(eth_rx_last) rx_state <= IDLE;
end
endcase
end
发送路径优化：
- 预计算IP和UDP头部的checksum
- 采用双缓冲机制避免发送间隙
- 实现128位宽度的TX路径满足线速要求
2.2 DDR控制器配置
针对690T的DDR3控制器进行特殊配置：
| 参数 | 配置值 | 说明 |
|---|---|---|
| 时钟频率 | 800MHz | 实际运行在792MHz |
| 突发长度 | 8 | 匹配AXI总线位宽 |
| 读写调度策略 | Read优先 | 确保算法模块数据连续性 |
| tRFC | 350ns | 根据芯片手册调整 |
关键时序约束：
code复制set_input_delay -clock [get_clocks ddr_clk] -max 1.5 [get_ports ddr_dq*]
set_output_delay -clock [get_clocks ddr_clk] -max 1.2 [get_ports ddr_dq*]
2.3 算法模块接口
用户算法模块采用AXI-Stream接口，关键设计参数：
- 数据位宽：128位
- 时钟频率：200MHz
- 背压机制：基于TREADY的流控制
- 帧同步信号：每8KB数据产生1次frame_sync
接口FIFO配置：
- 深度1024
- 近满阈值800
- 异步时钟域(200MHz<->125MHz)
- 内置字节序转换功能
3. 典型问题与解决方案
3.1 Checksum计算错误
现象：
上位机接收200MB测试数据时出现丢包，Wireshark显示checksum错误，且错误值总是比正确值大1。
根因分析：
Verilog代码中checksum累加逻辑在字节数为奇数时少加最后一个字节的最高位：
verilog复制// 原错误代码
always @(posedge clk) begin
if(byte_cnt[0]) // 奇数字节
sum <= sum + {8'h00, last_byte}; // 漏掉了高8位
else
sum <= sum + {last_byte, current_byte};
end
解决方案：
修改为完整的16位累加：
verilog复制always @(posedge clk) begin
if(byte_cnt[0])
sum <= sum + {last_byte, 8'h00}; // 补上高8位
else
sum <= sum + {last_byte, current_byte};
end
验证方法：
- 构造包含奇数字节的测试包
- 对比软件计算和硬件计算的结果
- 压力测试发送10万次变长包
3.2 ARP包干扰问题
现象：
当UDP包后紧接ARP包时，回环测试出现数据错误。
问题本质：
MAC地址匹配逻辑在高速流量下出现时序问题：
- ARP包的MAC头被误认为属于前一个UDP包
- 导致后续数据解析错位
解决方案：
增加MAC信息FIFO并预读一拍：
- 将MAC匹配信号延迟1周期
- 使用深度16的FIFO缓存源MAC地址
- 添加包间隔检查逻辑
改进后的数据路径：
code复制以太网MAC → MAC FIFO → UDP解析
↑
1周期延迟
效果验证：
- 使用Scapy构造UDP+ARP混合流量
- 测试不同间隔时间的包序列
- 统计误码率降至10^-9以下
3.3 数据连续性问题
用户需求：
算法模块要求输入数据严格连续，不能有任何气泡周期。
初始方案：
尝试通过DDR突发读保证连续性：
- 突发长度16
- 每64周期发起1次读请求
- 理论带宽满足要求
实际问题：
DDR响应时间存在波动，导致：
- 某些周期没有有效数据
- 带宽利用率仅达到70%
最终方案：
采用两级缓存架构：
-
DDR缓存区：
- 大容量(8KB)缓存
- 容忍DDR访问延迟
- 异步时钟域转换
-
流控FIFO：
- 深度512
- 保证128位连续输出
- 精确的背压控制
verilog复制// 连续性控制逻辑
assign data_valid = (fifo_count >= burst_length) && !module_busy;
性能指标：
- 连续性：100%满足
- 带宽利用率：提升至95%
- 最大延迟：增加约200ns
4. 系统优化实践
4.1 MDIO参数调优
通过MDIO接口调整PHY参数解决误码问题：
| 参数 | 默认值 | 优化值 | 效果 |
|---|---|---|---|
| RX_DELAY | 0x0 | 0x3 | 改善setup时间 |
| TX_DELAY | 0x0 | 0x2 | 改善hold时间 |
| DLL_BYPASS | 0 | 1 | 减少时钟抖动 |
调试步骤：
- 通过AXI-Lite配置MDIO寄存器
- 发送PRBS测试码型
- 用示波器观察眼图
- 迭代调整直到误码率<10^-12
4.2 调试接口增强
添加的状态监控接口包括：
- 包计数器(32bit)
- 错误状态寄存器
- FIFO水位指示
- DDR访问统计
通过UDP封装调试信息，上位机可实时读取：
code复制typedef struct {
uint32_t rx_pkt_cnt;
uint32_t tx_pkt_cnt;
uint32_t ddr0_rd_cnt;
uint32_t ddr1_wr_cnt;
uint32_t err_status;
} debug_info_t;
4.3 反压系统设计
完善的反压系统包含：
-
局部反压：
- 每个FIFO设置合理的水位线
- 近满信号阻止上游写入
-
全局反压：
- 关键路径上的联合流控
- 基于最拥堵模块限制整体流量
-
应急机制：
- 超时检测(10us)
- 自动复位挂死的通道
- 错误统计和上报
反压信号传递逻辑：
code复制algorithm_busy → ddr_read_pause → udp_rx_pause
5. 关键经验总结
在本次项目开发中，有几个特别值得分享的经验点：
时序收敛技巧：
- 对跨时钟域信号采用"两次寄存+格雷码"处理
- DDR接口添加适当的输出延迟约束
- 对关键路径使用MAX_FANOUT属性
调试效率提升：
- 实现基于UDP的在线逻辑分析仪接口
- 设计可动态配置的触发条件
- 保存信号波形到DDR供事后分析
性能优化发现：
- UDP包长设置在1400-1472字节时吞吐量最优
- DDR突发读长度8比16在实际应用中更稳定
- 适当降低时钟频率(200MHz→180MHz)可显著改善时序裕量
这个项目中最有挑战的部分是保证数据连续性的同时维持高吞吐量。经过多次迭代，最终采用的预缓存方案虽然增加了少量延迟，但换来了100%的稳定性。对于实时性要求不高的数据处理系统，这种权衡通常是值得的。