ICRA 2023 | 最新激光雷达-相机联合内外参标定，一步到位！( 三 ) _相机

图三图3 所述方法的不同阶段概述。首先，进行目标检测，然后通过棋盘标定板计算相机内参、棋盘标定板和相机的外参，以获得激光雷达和相机的3D-2D对应点。最后，进行非线性优化以获得最终标定参数。通过传感器坐标的相关性可以设置不准确的激光雷达和相机初始外参。3、方法论
这一部分介绍了我们方法的细节，包括标定目标设计、标定目标检测、标定数据收集和标定优化过程。图3显示了所提出方法的概述。
A、标定目标设计
根据之前的介绍，在实践中，准确地标定相机内参并不容易。标定的目标是通过内参和外参来对齐激光雷达的点云和相机图像。只要点云和图像的配准精度越高，标定的内参和外参就可以认为越准确。所以我们设计了一个联合优化方程。联合优化的目的是增加激光雷达点云和图像配准精度。最终，我们需要设计一种新颖的标定板来实现内参和外参的联合优化。设计良好的标定目标应该满足以下特性：（i）所有相关的传感器都可检测到；（ii）提取用于定位的可检测特征。基于激光雷达和相机的工作原理，自从它们可以被检测到具有较高鲁棒性和准确性的时候，深度不连续（如点云边缘和图像中的角点）被广泛应用在特征标定。正如文献[28]所讨论的那样，圆形目标比矩形更易于检测，因为它们可以水平和垂直地与几次激光雷达扫描交互，而不会丢失边缘信息。如图2所示，我们标定目标的设计结合了几何和视觉特征两方面，它适合于激光雷达和相机模型中关键点的检测。我们把黑白棋盘格放中间，四周是4个圆形孔。一方面，孔洞可以利用激光雷达点云中的几何不连续性，另一方面，标定板的4个角也可以提供空间约束。图2也展示了具有特殊尺寸的标定板的详细信息。值得一提的是标定板图案在此设计基础上进行了进一步修改以使数据采集更加方便。
B、标定目标检测
基于目标标定，第一步是在每个传感器帧中定位校准空间位置。相机返回目标的二维彩色图像，激光雷达传感器返回目标的3D位置信息。在这里，我们分别进行了对黑白棋盘格和圆孔的提取。现有很多技术从图像中检测棋盘格，例如使用流行的计算机视觉库。在本项工作中，我们用库[29]进行棋盘格检测。对于激光雷达数据，不同于论文[30]中所提到的方法，我们通过生成点云掩膜来定位每个孔的中心，它具有与标定目标相同的几何结构。我们假设激光雷达传感器所扫描的初始点云数据表示为。首先，为了滤除异常值和移除周围环境的噪声，我们通过预设检测范围来分割感兴趣区域。然后，然后，通过带有方向约束的平面拟合，将校准目标平面从中分割出来，分割后的数据表示为。之后，我们遵循该论文[24]中描述的网格搜索方法在激光雷达坐标系{L}中来发现和和最佳的匹配。在这里，我们聚焦于标定板平面相关联的旋转偏航角和x、y方向的位移，而不是搜寻6个自由度。
图四图4 在标定板上精确提取圆心的过程
图4说明了配准过程的原理，当实现完美配准时，落入圆孔的点将达到最少，因此每个孔中心的3D位置都位于激光雷达相机坐标系{L}中。与论文[30]中方法比较，我们的方法只需要三维点云的坐标，而不使用额外的强度和线束ID的信息，生成的掩膜固定孔之间的相对位置关系，这大大提高了圆心检测的鲁棒性和准确性。最后，每个标定板可以获得lidar坐标系中四个圆孔的中心点。

文章插图
标定数据的采集过程类似于相机内参数据采集过程。如图11所示，为了确保标定精度，需要在图像中的每个区域收集棋盘格角点特征和圆孔特征。在实际应用中，可以将多个标定板同时放置在不同的姿态位置，这样我们就可以通过仅收集一帧数据来执行标定。与无标定目标方法相比，这种方法保证在所有图像区域点云和像素对齐，确保近距离特征对齐足够精确来保证远距离特征对齐的准确性。该解决方案主要用于标定间或生产线上标定。在标定板环境设置并固定后，可用于对大量的自动驾驶车辆进行lidar-内参和外参标定。