相机标定实战：从单目到多传感器协同

1. 单目相机标定实战：从原理到避坑指南

单目相机标定是计算机视觉中最基础却最关键的环节。简单来说，标定就是通过一系列已知空间坐标的物体（通常是棋盘格），计算出相机的内部参数（焦距、主点坐标、畸变系数等）和外部参数（相机在世界坐标系中的位置和方向）。

1.1 棋盘格选择与准备

棋盘格作为最常用的标定板，其选择有讲究：

• 推荐使用不对称数量的角点（如9×6），这样能避免标定板旋转180度后产生歧义
• 物理尺寸要精确测量，建议使用激光切割的金属标定板，普通打印的纸张容易受温湿度影响变形
• 方格大小要根据拍摄距离选择，一般保证在图像中每个方格占据30-100像素为宜

实际经验：我曾用普通打印纸制作的棋盘格，在空调房和室外温差大的环境下，标定结果差异达到15%。后来改用铝板蚀刻的标定板，稳定性大幅提升。

1.2 OpenCV标定代码深度解析

原始代码中几个关键点需要特别注意：

python复制# 角点精细化参数
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

这个停止条件决定了角点搜索的精度：

• MAX_ITER=30表示最多迭代30次
• EPS=0.001表示当位置变化小于0.001像素时停止
• 窗口大小(11,11)需要根据图像分辨率调整，对于4K图像可能需要增大到(21,21)

角点检测的完整流程应该是：

1. 先用findChessboardCorners找到粗略角点位置
2. 转换为灰度图像
3. 使用cornerSubPix进行亚像素级精细化
4. 可视化检查角点检测结果（建议每张图都保存检测结果图）

1.3 标定质量验证方法

标定完成后，必须进行严格的验证：

python复制# 计算重投影误差
mean_error = 0
for i in range(len(obj_points)):
    img_points2, _ = cv2.projectPoints(obj_points[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(img_points[i], img_points2, cv2.NORM_L2)/len(img_points2)
    mean_error += error
print("平均重投影误差: {}".format(mean_error/len(obj_points)))

重投影误差的判断标准：

• <0.3像素：优秀
• 0.3-0.5像素：可用

• 0.5像素：需要重新标定

常见问题排查：

1. 误差过大：检查棋盘格是否平整，拍摄角度是否多样（需要包含俯视、仰视、倾斜等）
2. 部分图像误差突增：可能是该帧检测角点不准确，建议剔除
3. 径向畸变系数异常大：可能是拍摄角度不够多样，或标定板移动轨迹单一

2. 双目相机标定：立体视觉的精密协同

双目标定不仅需要分别标定两个相机，还需要精确计算两个相机之间的相对位置关系（旋转矩阵R和平移向量T）。

2.1 双目标定数据采集要点

1. 同步采集：确保左右相机同时拍摄，使用硬件同步触发最佳
2. 覆盖范围：标定板需要在两个相机共同视野内移动
3. 位姿变化：建议采集30组以上不同位姿，覆盖整个视野范围
4. 光照条件：保持稳定，避免一侧过曝或过暗

2.2 立体标定核心参数解析

python复制ret, _, _, _, _, R, T, E, F = cv2.stereoCalibrate(
    obj_points, img_points_l, img_points_r,
    mtx_l, dist_l, mtx_r, dist_r,
    image_size, criteria=criteria, flags=cv2.CALIB_FIX_INTRINSIC)

关键输出参数：

• R：右相机相对于左相机的旋转矩阵
• T：右相机相对于左相机的平移向量（单位通常与标定板方格尺寸一致）
• E：本质矩阵
• F：基础矩阵

特别注意：T向量的第一个分量（通常是水平方向）决定了双目系统的基线长度，直接影响深度测量范围。

2.3 双目极线校正与验证

标定后必须进行极线校验：

python复制# 立体校正
R1, R2, P1, P2, Q, _, _ = cv2.stereoRectify(
    mtx_l, dist_l, mtx_r, dist_r,
    image_size, R, T)

# 计算极线
lines_r = cv2.computeCorrespondEpilines(img_points_l, 1, F)

验证标准：

1. 极线应接近水平
2. 对应点的极线距离应小于1像素
3. 整个图像区域的极线约束误差均匀

常见问题解决方案：

1. 极线不水平：检查标定板位姿是否覆盖足够多的旋转角度
2. 边缘误差大：可能是镜头畸变校正不充分，需要增加标定板边缘位姿
3. 视差范围小：增大基线距离或使用更长焦距镜头

3. 相机-IMU联合标定：多传感器时空对齐

视觉-惯性系统(VINS)的核心挑战在于解决传感器间的时空对齐问题。

3.1 时间同步问题处理方案

时间不同步会直接导致运动估计偏差，处理方法：

1. 硬件同步：使用PPS信号或硬件触发确保时间戳对齐

2. 软件估计：将时间偏移作为标定参数优化

   python复制# 时间偏移估计模型
   def imu_to_camera_time(imu_time):
       return imu_time + time_delay
   

3. 运动激励：采集数据时需要充分的旋转和平移运动，特别是高频运动有助于时间偏移估计

3.2 空间标定：手眼标定原理与实现

手眼标定解决的是相机与IMU之间的外参标定问题，主要分两种情形：

1. 眼在手外(EYE_TO_HAND)：相机和IMU固定在外界
2. 眼在手上(EYE_IN_HAND)：相机和IMU固定在移动平台上

使用Kalibr工具箱时的注意事项：

1. 采集数据时需要充分激励所有自由度
2. 避免长时间静止状态
3. IMU需要预热至工作温度
4. 相机曝光时间不宜过长（建议小于10ms）

3.3 标定质量验证方法

1. 静态验证：固定传感器，检查输出是否稳定
2. 动态验证：执行特定运动（如画8字），比较视觉和IMU估计的轨迹
3. 闭环验证：回到起点检查位置漂移

典型问题排查表：

4. 实战经验与避坑指南

4.1 数据采集的最佳实践

1. 环境控制：

   • 光照均匀，避免反光
   • 温度稳定（IMU对温度敏感）
   • 减少振动干扰

2. 运动模式：

   • 包含所有轴向运动
   • 不同速度组合（特别是高速运动）
   • 自然运动轨迹，避免机械式移动

3. 数据量：

   • 单目标定：15-20组不同位姿
   • 双目标定：30组以上共同视野位姿
   • 视觉-惯性标定：2-3分钟连续运动数据

4.2 标定失败的常见原因

1. 硬件问题：

   • 标定板变形
   • 相机/IMU固定不牢
   • 镜头松动

2. 数据问题：

   • 运动激励不足
   • 图像模糊
   • 标定板部分遮挡

3. 算法问题：

   • 初始值不合理
   • 优化权重设置不当
   • 收敛条件太宽松

4.3 高级技巧与优化

1. 多阶段标定：

   • 先标定相机内参
   • 再标定双目外参
   • 最后标定视觉-惯性参数

2. 在线标定：

   • 运行时持续优化参数
   • 使用滑动窗口管理计算量
   • 异常检测剔除不可靠数据

3. 标定自动化：

   • 自动检测标定板
   • 自动评估标定质量
   • 自动筛选最优数据

在实际项目中，我发现最容易被忽视的是环境因素。曾经有一个室内定位项目，标定时空调开启，而实际使用时关闭空调，温度变化导致IMU偏置变化，最终定位误差增加了3倍。后来我们建立了环境-参数对照表，在不同温度下进行标定，使用时根据实时温度选择最接近的参数集，效果显著提升。