基于YOLOv11与DyHead的错题自动切分系统实战

大概在半年前，我给自己定了个小目标：做一个能自动把错题从一整页试卷里切出来的工具。原因是我的手机相册里存了几百张拍歪的试卷图，每张上面都有两三道需要整理的错题，光靠手动裁剪就花了大量时间。试过直接用OCR方案，结果发现它只能把文字识别出来，根本不知道哪一段文字属于哪道题，更别提把“一道题”作为一块完整区域切出来了。后来我把问题重新定义成目标检测任务，用YOLOv11做骨架、接入DyHead动态检测头，搭了一套错题自动切分系统。这篇文章就把整个过程中的技术决策、训练记录、踩坑经历都整理出来，给正在做类似版面分析或目标检测需求的人参考。

1. 从一张拍歪的试卷说起：错题切分为什么不能只靠OCR

1.1 真正要解决的是“版面区域的定位”，不是文字识别

很多人第一反应是“错题切分不就是把题目的文字识别出来再截取吗”，但实际做下来会发现完全是另一个问题。OCR解决的是“这张图里有什么文字”，错题切分解决的是“这些文字和图形在版面上怎么划分成一个个独立题目”。一张真实的试卷，除了题干和选项，还有很多干扰元素：页码、标题、批改痕迹、订正贴纸、公式、图表、手写答案。OCR可以把这些内容全部识别成文本流，但文本流打乱之后你并不知道第3段和第7段是不是属于同一道题。

我拍过的试卷里最典型的情况是双栏排版。一道大题分成左右两栏，左侧是题干，右侧是图形，中间还夹着一堆小字注释。如果只是按文字顺序切分，左侧文字识别完之后跳到右栏，题目就被硬生生拆开了。这类问题本质上需要的是“版面区域”概念，一个区域代表一道题的完整视觉范围，OCR只是后续的增值能力，不是切分本身的解决方案。

另外，拍照场景和扫描件完全不一样。扫描件是正射投影、光照均匀、文字清晰，而手机拍的试卷基本都有透视变形、倾斜角度、光照不均、阴影遮挡。同一个版面在不同照片里呈现出的形状完全不同，这恰恰是目标检测模型擅长处理的：它学习的是“某个区域看起来像一道题”的模式，而不是依赖固定坐标或者版面模板。

1.2 把问题建模成目标检测：三类目标，而不是一类

我在定义检测目标时，一开始很自然地标注了“整道题”一个类别。但跑完第一轮实验后发现一个问题：系统把整页试卷里有字的地方全检测成了“错题”，因为整个版面都是题目。后来我重新设计了类别体系，把目标拆成三类：

• question: 一道完整错题的整体区域，包含题干、选项、图、解答，是最终需要切出来的主体。
• stem: 题干文字区域，通常是题目最上面的几行文字，用于辅助判断题目序号和内容。
• option: 选项区域，A/B/C/D的集合，定位它有助于后续把一道选择题和下面的解答部分分离。

用三类目标的原因很实际。第一，检测器在训练时如果只有一个“整题”类，它缺少内部的语义锚点，很难学懂“这个框的边界应该画在哪里”。题干和选项区域提供了更清晰的视觉边界，模型在特征层面会更好地理解题目的内部结构。第二，后处理阶段需要根据 stem 里识别出来的题号信息来判断这是一道新的题还是上一题的续写，如果只有整题框，这个逻辑就无从谈起。

我还是用了框（bounding box）而没有一开始就上实例分割。错题切分的最终产物是一张张矩形图片，矩形框足够满足需求。实例分割要标注多边形掩码，成本高三倍以上，而且在倾斜拍摄、书页弯曲的场景里，掩码边缘本身也很难标准，误差带来的收益不如框来得直接。

2. 模型结构怎么搭：YOLOv11管特征、DyHead管难例

2.1 YOLOv11选型：这个版本改动的地方正好踩中需求

YOLO系列的迭代到v11之后，整体架构相比更早的版本做了不少效率相关的调整。如果纯粹为了做个检测任务，老版本也能跑，但v11有几个点让我决定用它的理由是：

一是官方仓库自带分类、检测、分割、姿态估计等多种任务的直接支持，模型导出到部署端很顺。二是我注意到v11在训练阶段会做更强的自动增强策略优化，这对于我只有一千多张训练图的情况来说，相当于白送了一部分数据的抵抗过拟合能力。三是v11在检测头前面的一些结构改动（比如更高效的基础卷积块和个人觉得对特征融合有帮助的注意力模块）让模型在特征提取阶段对“文字密集区域”这类纹理敏感目标有更好的表征能力，这在错题场景里很重要，因为一道题目的视觉特征很大程度来自于文字行密度和版面布局，而不是某个物体轮廓。

我选的是规模中等的s版本。选s不选n是因为错题区域的边界判定其实是个细活，模型太小容易把“题干区域”和“旁边的注释区域”混在一起；不选m和l是因为我需要把输入分辨率拉到960甚至1280，大模型的显存开销和推理延时都会成倍上涨。s版本在当时是一套平衡点。

2.2 DyHead 是干什么的：三种注意力机制逐个拆解

DyHead最早是在一篇研究通用检测头的论文里提出的，它的核心思想很直接：特征金字塔里不同层级的特征，对最终检测任务的贡献应该不是固定权重的，而应该根据目标大小、空间位置、任务需求动态调整。它把检测头里的三种注意力统一在一起：

• 尺度感知注意力（scale-aware）：决定模型更看重哪一层金字塔特征。错题切分里的目标尺度差异非常大，一道物理大题的区域可能占据整张图片的三分之一，而一个填空题的空格可能只有三四十个像素高。尺度感知机制让模型不再用固定权重去融合多层特征，而是根据候选区域自适应当前需要的信息层级。
• 空间感知注意力（spatial-aware）：关注特征图上哪些空间位置值得被重点激活。它会让模型更关注“有文字聚集的区域”，而不是把注意力均匀分布在整张图上。在错题版面里，这相当于对标题、页码、页眉这些噪声区域做了隐式抑制。
• 任务感知注意力（task-aware）：分类和回归其实需要不同敏感度的特征。检测头里分类分支希望特征能区分“这是题目”和“这不是题目”，回归分支则更关心位置的精确边界。任务感知通过动态卷积让两条分支各自激活对自己有用的通道。

这三种感知机制的串联效果，对于错题检测来说最直观的收益是：小目标漏检率降下来了，尤其是那些只有几个字的填空选项。另一个收益是框的边界更贴合真实内容，偏移量变小了，这直接影响到后续切图时会不会多切进旁边一题的答案。

2.3 接入位置和组合成本：加在neck之后而不是直接替换检测头

YOLOv11原本的检测头已经是解耦结构，分类和回归分两条分支。直接把DyHead整个替换进去，理论上可行，但实践里改动面太大，容易把原本训练好的特征分布弄乱。我采用的方案是在neck特征金字塔的输出之后、进入检测头之前，插入一个简化版的DyHead模块，对 P3、P4、P5 三层特征先做注意力增强，再把增强后的特征送给原有检测头。

这个做法可以理解为：不让DyHead颠覆检测头的原有逻辑，只是让送入检测头的特征更“聪明”一些。

python复制# 结构示意：neck输出特征列表，先过DyHead动态增强，再接检测头
features = neck_output()   # [P3, P4, P5]，逐层下采样
enhanced = dyhead_module(features)  # 尺度/空间/任务三种注意力增强
cls_preds = cls_head(enhanced)
reg_preds = reg_head(enhanced)

这个模块带来的额外参数量在s模型上大概是几十万级别的增加，占整体参数量比重不大，但训练时会比原版多消耗大概5%到8%的整体时间。换取的是小目标召回率明显提升，这个账是值得的。

3. 数据标注和样本扩充：这场实验真正的主角

3.1 标注规格和质检规则：三类目标怎么定边界

整个项目里最容易被我低估的环节其实是数据标注。模型结构再花哨，数据不对都是白搭。错题切分的数据标注有几个必须提前定下来的规则，否则标注人员标到后面会精神分裂。

首先是边界规则。question 类别要求包含题干、选项、图形和解答区域的整体外接矩形，但不允许跨过页面中缝或者两栏之间的空白列。如果一道题真的被分栏拆开了，宁可标成两个question框，也不能强行拉一个大框把两栏内容全包进去。stem 的边界是从题目开头到第一个选项之前，如果题目里没有选项（比如解答题），那就是题干和解答的分界行。option 的边界是所有选项整体的外接框，不是单个A/B/C/D分别标。

其次是重叠规则。同一张图里，question 框和内部的 stem、option 框天然是重叠的，这没问题。不允许出现的是两个 question 框之间有超过5%面积的重叠，这种通常是标错了。质检时我让标注助手重点检查这种重叠度，发现一次就打回一次。

数据来源上，我没有一开始就幻想直接从互联网拿现成数据集。我用的是三部分数据混合：一部分是公开的文档版面数据做预训练基础，一部分是自己拍摄的真实试卷做fine-tune，还有一部分是程序生成的合成错题版面。最终实验集是1250张真实拍摄图加4000张合成图。

3.2 合成数据加增强策略：把训练集做出立体感

合成数据的价值在错题切分这个场景里被大大低估了。程序渲染的版面图可以精确控制布局、字体、行距、题号格式，天然带标准边界框标签。我用的渲染方案是：先准备一个题库文本文件，程序从中随机抽若干道题，按双栏或单栏模式排布在A4白色背景上，再随机加上标题行、页脚、页码这些“干扰版面元素”，最后输出高分辨率图和对应的标注文件。

合成数据的关键不在数量，而在覆盖真实场景中的变化。我配合的增强策略包括：

• 随机旋转负5度到正5度，模拟手拍斜了的情况。
• 随机透视变换，模拟从侧面拍照的变形。
• 随机亮度扰动和局部阴影模拟，模拟室内灯光不均匀。
• 随机叠加红色笔迹线条、圆圈，模拟老师批改痕迹。
• 手写字合成的随机位置覆盖，模拟学生作答笔迹。

这里面最有效的是红笔批改痕迹的合成。真实试卷里老师批改的红色对勾、圆圈、横线，在模型眼里其实是很强的视觉信号，很容易让模型把“哪里有红笔”当成“哪里是错题”。我把红笔痕迹的渲染程度调成一个随机变量，有时候整页都有，有时候完全没有，帮助模型学会忽略它而不是依赖它。

3.3 数据规模、切分和评估指标

数据集的训练、验证、测试拆分我用的是真实图按来源分层抽样，确保同一本练习册的照片不会同时出现在训练集和测试集里，否则测出来的指标会虚高。合成图只用训练集，验证和测试只用真实拍摄图。

评估指标不能只看mAP。模型最终做的是切图，我额外定义了一个“切分正确率”：检测出的question框与人工标注框的IoU大于0.8，且框内包含完整题干和答案区，才算一次正确切分。这个指标更贴近真实体验，因为IoU只有0.5的话切出来的图会缺一块或者多一块。

表里的结果是我实验尾声时的最终数据：

光看mAP可能觉得不高，但只要切分正确率能稳定在85%以上，配合后面的后处理兜底，实际使用体验已经非常接近能自动整理错题的状态了。

4. 训练与调参过程：从模型飘红到收敛的完整记录

4.1 先把基线跑通，再谈改结构

我最早跑的是一个完全原版的YOLOv11s，输入分辨率设为640，算是整个实验的基线。这个阶段的目标不是追求精度，而是验证数据链路跑得通不通。训练命令很简单，就是用官方脚本指定数据配置，大致长这样：

bash复制yolo detect train \
  data=./configs/wrong_question.yaml \
  model=yolov11s.pt \
  epochs=120 \
  imgsz=640 \
  batch=16 \
  device=0

第一轮基线跑完，mAP@0.5大概是0.71左右，看着还行，但我把预测结果可视化之后发现一个致命问题：双栏试卷的右栏大面积漏检。原因不是模型看不懂题目，而是640的输入分辨率对A4纸拍出来的双栏版面来说，每一栏里的文字行已经被压缩得很严重，特征模式变得模糊。漏检最多的恰恰是右栏的填空题和选择题，它们的面积比左栏的解答题小很多，在低分辨率下几乎失去辨识度。

4.2 接上DyHead之后，训练配置怎么变

基线跑通之后我开始改造结构，在neck之后接入DyHead模块。这个阶段我同时把输入分辨率从640提到960。这两个改动放一起会让显存使用量大幅上涨，所以我做了两个调整：一是batch从16降到8，二是训练轮数从120提到150，同时把初始学习率从0.01降到0.0075，因为DyHead带来的额外参数让模型需要更长的收敛过程。

训练命令变化不大：

bash复制yolo detect train \
  data=./configs/wrong_question.yaml \
  model=./models/yolov11s_dyhead.yaml \
  epochs=150 \
  imgsz=960 \
  batch=8 \
  device=0 \
  lr0=0.0075

加DyHead之后，最初两三个epoch的loss比原版高了不少，我一度怀疑是不是结构改错了。后来观察到的现象是：它的loss下降速度虽然慢，但loss曲线更平滑，没有原版那种训练前期猛降然后大幅震荡的节奏。到了第60个epoch左右，验证集上的mAP超过了原版全程的峰值。最终在测试集上，加DyHead相比原版在同一分辨率下mAP大概提升了2.3个点，其中主要贡献来自于尺寸较小的option类目标。

4.3 训练过程中遇到的三个问题

第一个问题是过拟合来得比预期早。我的训练集里真实拍摄图只有1250张，模型跑到第80轮之后验证loss开始回升。解决的方案不是调正则化，而是把合成数据的比例拉高。4000张合成图全部混进训练集之后，过拟合明显缓解。

第二个问题是高分辨率带来的显存压力。960输入下batch=8已经接近显存上限，我想试1280分辨率但直接爆显存。最后的替代方案是把实验机的batch降到4，配合梯度累积步数补足有效batch。梯度累积设成2之后，训练效果和batch=8基本一致，显存却稳住了。

第三个问题是mAP涨了但切分正确率没明显跟着涨。我对比了预测结果后发现，很多框中心位置正确但边缘偏大，IoU卡在0.7上下。这其实是回归分支的边界不够精准。解决的方式是在后处理里加了一步框边缘收缩：对检测出的question框，以中心为基准向内收缩2%到3%的像素宽度，切分正确率从79%提到了87%。这个后处理操作让我很惊讶，模型训练的边界偏大，居然在推理时通过一个简单的几何操作解决了一大半。

5. 部署步骤与真实场景适配：导出、加速、后处理流水线

5.1 导出模型时容易翻车的几个算子问题

训练完成后要落地，第一步就是导出推理引擎。YOLOv11导出流程已经很成熟，但在接入DyHead之后有几个算子需要特别留意。导出过程中最常见的问题是注意力模块里的动态卷积在某些加速引擎上不支持，报错信息很隐蔽，只说某个节点无法解析。我的处理方式是退一步，把除去最后一个block之外的大部分注意力层在导出时按静态权重固化。

另一个问题是输入尺寸的灵活性。很多部署框架要求固定输入shape，但错题拍摄场景里图片长宽比变化很大。我用的是固定长边策略：把输入固定成长边1280、短边按比例计算并补齐到32的倍数。这样同一套模型可以处理横拍和竖拍的图片，代价是短边方向上有一点空白填充，模型需要适应这种letterbox后的图像，所以训练时最好也把letterbox效果加入增强。

python复制letterbox参数示例：
img_size = 1280        # 固定长边
stride = 32            # 对齐网络下采样倍数
# 短边 = round((H / W) * 1280 / 32) * 32

5.2 后处理流水线：排序、去重、联动OCR

模型推理输出的只是一堆框，后处理才是让整个系统好用起来的关键。我的后处理流程按顺序做了这几件事：

1. 置信度过滤：只保留置信度大于0.45的框。这个阈值不是随便定的，我统计过验证集上误检框的置信度分布，大部分误检集中在0.1到0.4区间，0.45可以过滤掉大部分页眉页码产生的噪声。
2. 重叠框合并：用加权框融合替代普通NMS。当两个question框的重叠IoU超过0.5时，按置信度加权合并边界，而不是简单保留高分框。这样合并出来的框边界更稳，尤其在连续页面上同一道题被拍出两条近似框时特别好用。
3. 排序：按框中心点从上到下、从左到右排序，生成切分顺序，这样自动整理出的错题命名可以和试卷页码、题号顺序对应起来。

排序之后我会把每个切分结果送到OCR服务里识别一次文字，提取题号信息。如果OCR识别出的题号和stem区域检测到的序号一致，这个切分结果就标记为高置信度；如果不一致，转人工复核列表。这套流水线是我在整个系统里体验收益最直观的部分，单独的检测模型只能给出一堆框，但配合OCR之后，系统输出的就是一份带题号和顺序的错题清单。

5.3 端侧性能：一台普通手机能不能跑起来

我把模型导出并适配到一个中端手机上测试了实际推理速度。在1280输入下，纯推理耗时稳定在大概0.9到1.2秒之间，加上前后处理和切图，单页试卷总耗时要2秒左右。这个速度对离线整理错题来说完全可接受。如果要做实时扫描预览，就需要换轻量方案：输入尺寸降到960，耗时约0.6秒。

如果完全跑不动大模型的旧手机，我又加了一个分块策略：先用一个很快的版面检测判断页面分成几栏，然后按栏切块后再分别送入模型。每块小图的推理量小，整体速度反而提升，还顺带解决了960分辨率下双栏右栏漏检的老问题。

6. 最容易翻车的五类输入，以及对应的兜底策略

6.1 多栏长卷，右栏集体漏检

前面提到过，低分辨率下双栏右栏容易漏检。这个问题的排查链路是这样的：先怀疑是模型大小不够，换了更大的模型发现改善有限；然后怀疑是数据偏差，但按左右栏分别统计漏检率发现比例并不极端；最后定位到是resize逻辑的问题。因为模型输入是方形或长边固定的，宽幅试卷缩放到固定长度时，每一栏宽度在特征图里占的像素远远小于左栏，小目标特性太强。最终的解决方法是两条腿走路：训练时把更多双栏样本切成单栏再拼装成类似布局，推理时如果检测到页面宽度显著大于高度，就自动走分栏分块流程。这个策略落地之后，右栏漏检率下降了约一半。

6.2 红笔批改比题目本身还抢眼

红笔痕迹是我踩过最深的坑。最开始模型很容易把一整块被红笔圈过的区域整体识别成一个question框，即使那个区域只是某道题的一部分。看起来像是模型学到了“红色圈圈=错题区域”。我做了两类修复：一是在合成数据里增加红笔痕迹渲染的数量和形式，红笔对勾、红笔圆圈、红笔划横线，全部随机出现；二是把原来紧贴红笔框的标注规则改掉，要求标注时优先以版面结构为界，而不是以红笔痕迹为界。两轮迭代后，模型对红笔的响应基本恢复正常。

6.3 同一道题拍出两个高度重叠的框

出现重叠框的原因通常是题目区域在特征层面被激活了两次，在不同层级上各出一个高置信度响应。普通NMS会保留置信度高的扔掉另一条。但问题在于同一次拍摄里，视角轻微偏移，两个框可能一个偏向题目左边、一个偏向题目右边，单独拿任何一个切出来都有点歪。我用加权融合解决之后，框的稳定性和切分正确率都有改善。具体操作很简单：把iou阈值设为0.5，如果两个框互相包含且中心距离在30像素以内，就按置信度占比对四个坐标做加权平均。

6.4 手写答案遮住题干，文字叠在题目上

学生在题目旁边手写解题步骤时，文字和打印体叠加在一起，人眼能区分，但模型特征的纯净度会下降。这个很难完全从检测层面解决，我的兜底策略是：检测结果先保留，反正最后切出来的图是要给人看的，手写答案本身也是错题整理的一部分。真正需要处理的是另一层情况——手写笔迹把题干文字完全糊掉，导致OCR提取题号失败。此时我用一个粗略的规则：如果当前切分块的stem区域识别不出文字，就向上下文相邻的已确认切分块借用题号，并给这条记录打上“需人工确认”的标记。这种系统里20%的不完美，交给人工处理远比强行让模型做到100%可靠更划算。

6.5 逆光拍摄，题目区域和背景几乎融在一起

拍照不总是光线充足，逆光和阴影下的试卷，模型漏检率会明显上升。我试过在训练数据里加亮度扰动，有效果但不彻底。后来在推理侧加了一个预处理步骤：检测前用自适应Gamma校正做一次亮度均衡。这个操作极轻量，几乎不增加耗时，但能让暗光下的文字区域对比度恢复到一个模型更熟悉的范围。实测逆光图片的切分正确率提升了10个百分点左右。不要小看这类图像预处理，它对最终体验的影响经常比调几个训练参数更直接。

7. 一点后话

做这套错题切分系统的过程中，我最大的体会是：模型结构带来的精度提升，远不如“数据定义清楚”和“后处理策略合理”来得重要。DyHead和YOLOv11的组合确实在小目标和多尺度场景里有实实在在的收益，但如果我把同样精力花在标注规范和推理分块策略上，效果可能也接近。最后想给后来者一个建议：先花一周时间搞清楚你到底要切什么，定义好目标的边界，再去纠结选哪个模型、哪个注意力模块，你会少走弯路。另外，数据合成工具值得用心做，水平越高的合成数据，越能弥补真实样本数量不足的短板。