2.4 摄像机标定_计算机视觉教程（第2版）-QQ阅读男生轻小说网

上QQ阅读APP看书，第一时间看更新

2.4 摄像机标定

成像模型建立了根据给定的世界坐标点W（X，Y，Z）计算它的图像平面坐标（x，y）的表达式。实际中，摄像机采集到的图像是存储在计算机中的，以像素为单位表示的。这中间，不同摄像机的自身特点和摆放情况都对世界坐标点与计算机图像像素间的联系有决定作用。这些自身特点和摆放情况都可用一系列参数来描述。尽管这些参数可以通过对摄像机的直接测量得到，但用摄像机作为测量装置来确定它们通常更为方便。为此需要先知道一组基准点（它们在对应坐标系中的坐标都已知），借助这些已知点获取摄像机参数的计算过程常称为摄像机标定（也称为摄像机定标、校准或校正）。

2.4.1 标定程序和步骤

下面先介绍摄像机标定的一般程序和步骤。

1.标定程序

在2.2.1小节中讨论的几何成像模型中，重合模型是分离模型的一种特例。对分离模型的摄像机标定可讨论如下。参考式（2.2.23），令A = PRT，A中的元素包括摄像机平移、旋转和投影参数，则有Ch= AWh。如果在齐次表达中令k = 1，可得到

基于对齐次坐标的讨论，笛卡儿形式的摄像机坐标（图像平面坐标）为

将以上两式代入式（2.4.1）并展开矩阵积得到

其中Ch3的展开式因其与z相关而略去。

将Ch4代入式（2.4.4）中的前两个方程，可得到共有12个未知量的两个方程。

由此可见，一个标定程序应该包括：① 获得M ≥ 6个具有已知世界坐标（Xi，Yi，Zi），i = 1，2，…，M的空间点（实际应用中常取25个以上的点，再借助最小二乘法拟合来减小误差）；② 用摄像机在给定位置拍摄这些点以得到它们对应的图像平面坐标（xi，yi），i = 1，2，…，M；③ 把这些坐标代入式（2.4.5）和式（2.4.6）以解出未知系数。

2.标定步骤

为实现上述的标定程序，需要获得具有对应关系的空间点和像点。为精确地确定这些点，需要利用标定靶，其上有固定的标记点（参考点）图案。最常用的标定靶上有一系列规则排列的正方形图案（类似国际象棋棋盘），这些正方形的顶点可作为标定的参考点。如果采用共平面参考点标定的算法，则标定靶对应一个平面；如果采用非共平面参考点标定的算法，则标定靶一般对应两个正交的平面。

前面讨论成像模型时，考虑的是从世界坐标系统到图像平面坐标系统的变换。实际进行摄像机标定时，需要建立的是从世界坐标系统到计算机图像坐标系统的联系。这时，除了要考虑世界坐标系统、摄像机坐标系统以及像平面坐标系统的不重合外，还有两个因素要考虑。一是摄像机镜头会有失真，所以在像平面上的成像位置会与用前述理想公式算出的透射投影结果有偏移。二是计算机中使用的图像坐标单位是存储器中离散像素的个数，所以对像平面上的坐标还需取整转换，且计算机图像坐标系统与像平面坐标系统也是不重合的。

从理论上讲，摄像机镜头会有两类失真，即径向失真和切向失真。实际机器视觉应用中只需考虑径向失真，且径向失真常与图像中一点与该点到镜头光轴点的距离成正比，所以需要引入一个镜头径向失真系数k。它帮助建立了（无失真）图像平面坐标系统x′y′与失真图像平面坐标系统x*y*之间的联系。

计算机图像坐标系统MN也是一个笛卡尔坐标系统，其中M和N对应计算机存储器中像素的行数和列数。该坐标系统的原点为（Om，On），它们分别为计算机存储器中心像素的行数和列数。根据传感器的工作原理，逐行扫描时由于图像获取硬件和摄像机扫描硬件间存在时间差或摄像机扫描本身时间上的不精确性而会引入某些不确定性因素。这些不确定性因素可通过引入一个不确定性图像尺度因子µ来描述。它帮助建立了失真图像平面坐标系统x*y*与计算机图像坐标系统MN之间的联系。

如果考虑到这些参数，从世界坐标系统到计算机图像坐标系统的成像变换共有4步，如图2.4.1所示。其中每步都有需标定的参数。

第1步：需标定的参数是旋转矩阵R和平移矢量T。

第2步：需标定的参数是焦距λ。

第3步：需标定的参数是镜头径向失真系数k。

第4步：需标定的参数是不确定性图像尺度因子µ。

图2.4.1 从3-D世界坐标到计算机图像坐标的4步变换和需标定的参数

图2.4.1所示的变换中需标定的参数可分成外部参数和内部参数两类。

（1）外部参数（在摄像机外部）

图2.4.1中的第1步是从3-D世界坐标系统变换到其中心在摄像机光学中心的3-D坐标系统，其变换参数称为外部参数，即摄像机姿态参数。旋转矩阵R一共有9个元素，但实际上只有3个自由度，可借助刚体转动的3个欧拉角来表示。如图2.4.2所示（这里视线逆X轴），其中XY平面和xy平面的交线AB称为节线，AB和x轴间的夹角 θ 是一个欧拉角，称为自转角（也称为偏转角 yaw），这是绕 z 轴旋转的角；AB和X轴间的夹角 ψ 是另一个欧拉角，称为进动角（也称为倾斜角tilt），这是绕Z轴旋转的角；Z和z轴间的夹角φ是第3个欧拉角，称为章动角（也称为俯仰角pitch/slant），这是绕节线旋转的角。

图2.4.2 欧拉角示意图

利用欧拉角可将旋转矩阵表示成θ，φ和ψ 的函数：

这样共有6个独立的外部参数，即R中的3个欧拉角θ，φ，ψ和T中的3个元素Tx，Ty，Tz。

（2）内部参数（在摄像机内部）

图2.4.1中的后3步是从摄像机坐标系统中的3-D坐标变换到计算机图像坐标系统中的2-D坐标，其变换参数称为内部参数，即摄像机自身参数。这里一共有 5 个内部参数：焦距 λ，镜头失真系数k，不确定性图像尺度因子µ，图像平面原点的计算机图像坐标Om和On。

区分外部参数和内部参数的主要意义：当用一个摄像机在不同位置和方向获取多幅图像时，各幅图像所对应的摄像机外部参数可能是不同的，但内部参数不会变化，所以移动摄像机后只需重新标定外部参数而不必再标定内部参数。

例2.4.1 摄像机标定中的内外参数

摄像机标定就是要将摄像机的坐标系统与世界坐标系统对齐。从这个观点出发，另一种描述摄像机标定中内外参数的方式如下。将一个完整的摄像机标定变换矩阵 C 分解为内部参数矩阵Ci和外部参数矩阵Ce的乘积：

Ci在通用情况下是一个4×4的矩阵，但一般可简化成一个3×3的矩阵：

其中sx和sy分别是沿X和Y轴的缩放系数，px和py分别是沿X和Y轴的偏斜系数（源自实际摄像机光轴的非严格正交性，反映在图像上就是像素的行和列之间没有形成严格的90°），tx和ty分别是沿X和Y轴的平移系数（帮助将摄像机的投影中心移到合适的位置），λ是镜头的焦距。

Ce的通用形式也是一个4×4的矩阵，可写成：

其中，R1，R2，R3分别是3×3旋转矩阵（只有3个自由度）的3行矢量，而T是3-D的平移矢量。

由上可见Ci有6个内部参数而Ce有6个外部参数。但注意到两个矩阵都有旋转参数，所以可将内部矩阵的旋转参数归入外部矩阵。因为旋转是缩放和偏斜的组合，将旋转从内部矩阵中除去后，px和py就相同了（px= py= p），所以内部矩阵中只有5个参数，即sx，sy，p，tx和ty。这样一来，一共有11个校正参数，与其他方法一致。在特殊情况下，如果摄像机很精确，则p = 0，且sx= sy，此时内部参数只有3个。进一步，如果将摄像机对齐，则tx= ty= 0。这样就剩1个内部参数，即s = sx= sy，或sλ。

2.4.2 两级标定法

根据前面的讨论，可采用两级的方法对摄像机进行标定（先外部参数，后内部参数）[Tsai 1987]。该方法已广泛应用于工业视觉系统，对3-D测量的精度最好可达1/4000。标定可分为两种情况。如果µ已知，标定时只需用一幅含有一组共面基准点的图像即可。此时第1步计算R和Tx与Ty，第2步计算λ，k，Tz。这里因为k是镜头的径向失真，所以对R的计算可不考虑k。同样，对Tx和Ty的计算也可不考虑k，但对Tz的计算需考虑k（Tz变化带来的对图像的影响与k的影响类似），所以放在第2步。另外如果 µ 未知，标定时需用一幅含有一组不共面基准点的图像。此时第1步计算R和Tx与Ty以及 µ，第2步仍计算λ，k，Tz。

下面讨论具体的标定方法。先计算一组参数si（i = 1，2，3，4，5），或s = [s1s2s3s4s5]T，借助这组参数可进一步算出摄像机的外部参数。设给定M个（M ≥ 5）已知其世界坐标（Xi，Yi，Zi）和它们对应的图像平面坐标（xi，yi）的点，i = 1，2，…，M，可构建一个矩阵A，其中的行ai可表示如下：