1.3　视觉测量中的关键步骤及分析

视觉测量是将计算机视觉技术应用到测量上的方法。视觉测量首先对被测物体进行多角度拍摄，得到多幅图像；然后利用图像之间的信息得到被测物体的模型；最后通过分析得到被测物体的尺寸。视觉测量可分为3个关键步骤：图像采集、图像处理和三维重建，其流程如图1.3所示。

1.3.1　图像采集

视觉测量[43,44]方法研究是从获取客观世界的图像开始的。在图像采集阶段影响视觉测量精度的因素主要有两个：摄像机的选择和光源的选择。

图像采集需要使用一定的采集装置或设备（如照相机、摄像机），采集装置和设备的性能会影响图像采集的质量，具体因素包含所用摄像机镜头的质量、图像的分辨率、摄像机拍摄的角度、被测物体在图像中所占的比例等。此外，被测物体需要受到光源的照射才能被采集装置或设备采集到。若选择光源合适，则图像中的特征提取定位精度高。常用的LED光源如图1.4所示。因此，数据采集设备的性能和光源的选择等因素会直接影响图像数据采集的质量。

1.3.2　图像处理

图像处理在视觉测量过程中主要有3个步骤：图像预处理、图像特征的检测与描述及特征匹配。

1. 图像预处理

由于采集的图像受到光照、阴影等因素的影响，因此在特征检测之前需要对图像进行预处理。目前，常用的图像预处理方法有曝光矫正、彩色平衡、图像降噪、图像增强、改变色调[45, 46]等。很多学者将这些概念归到信号处理范畴，但是很多计算机视觉应用为了获得更好的效果，常常需要用到图像的预处理技术。本节主要研究提高视觉测量精度的方法，因此，图像预处理技术不作为本书的重点研究内容。

2. 图像特征的检测与描述

总体来说，视觉测量过程中的图像特征的检测与描述可以通过以下步骤实现：首先检测图像中的特征信息；然后对检测出来的特征信息进行描述。

在计算机视觉领域，特征检测主要包括边缘、角点、直线及圆（孔）等特征的检测，有时也采用结合的方式进行检测，如直线和特征点的结合、图像边缘和角点的结合等。如何高精度且稳定地提取能够表达图像内容的特征，一直是图像检测领域研究的主要内容。具体提取特征如下。

（1）特征点：特征点可以定义为二维图像亮度变化剧烈的点或图像边缘上具有曲率极大值的点。特征点的检测与描述在过去20多年间发展迅速，已经提出了很多有效的算法。按照所利用的图像信息来分，检测算法可分为三大类：基于灰度的图像特征检测、基于梯度的图像特征检测和基于相位的图像特征检测。其中，基于灰度的图像特征检测算子主要设计特征模板，通过图像特征之间的灰度相似性进行特征匹配；基于梯度的图像特征检测主要通过查找图像极值的方法进行，典型的检测算子有Roberts算子[47]、Sobel算子[48]、LoG算子[49, 50]、Canny算子[51]等。常用到的检测算法有：1988年，Harris[52]提出了一种旋转不变的角点检测算法；2000年，Schmid对Harris角点检测算法进行了改进，提出了Hessian[53]检测算子与CSS[54]检测算子；1999年，Lowe采用DoG滤波函数给出了一种尺度不变的特征检测算法，DoG[56]是LoG[55]的一种改进，它大大提高了特征检测处理的速度；2003年，Schmid[57]将Harris角点检测算法扩展为尺度不变算法，使得Harris角点检测算法不仅具有旋转不变性，而且对尺度空间也有很好的不变性；Zheng[58]等提出了改进型的Harris算子。

（2）直线检测：如Hough变换[59-64]、LSD算法[65]等。

（3）区域检测：2002年，Matas等[66]通过分水岭（Water-shed）算法提取的具有良好的仿射不变性的最大稳定极值区域（Maximally Stable Extremal Region，MSER），是采用一种类似分水岭算法的方法检测灰度区域的，然后利用椭圆拟合不规则区域的边缘。

就图像特征本身而言，特征拥有的信息量很少，直接利用特征自身的信息进行多幅图像之间的匹配是很不现实的。因此，图像特征检测后，需要通过一些不变属性对检测的特征进行特征描述。视觉中的特征描述是指使用具有不变属性的量来表示提取出的图像特征，以达到可靠地进行匹配的目的。目前，对于特征的描述，主要采用两种方法：一种是利用灰度信息描述特征，该方法是最简单的特征描述方法；另一种是构造局部描述子描述特征。不论是灰度描述子，还是特征描述子，描述的不变属性量需要具有以下特征：①特征描述子需要对假设的图像几何形变具有不变性，如假设图像的几何形变是仿射变换，则相应的特征描述子需要具有仿射不变性；②需要对不同图像的特征具有足够强的分辨能力；③对于各种图像变换和几何形状变化具有稳定性和很好的鲁棒性，即若当图像受到噪声干扰或几何形变与假设模型有非显著变化时，则对应的特征描述子应能够非常接近原始特征的描述子。目前使用较广泛的特征点的描述子有：Lowe提出的SIFT[56]描述子，该描述子在大量的应用中表现出很好的性能，主要将区域分割成子区域分别计算位置和方向的三维直方图，从而构造高维向量描述检测的特征；加速的特征描述子如Surf[67]描述子、Daisy[68]描述子等，直线描述子如Schmid[69]描述子、MSLD[70]描述子等。

3. 特征匹配

特征匹配是指在两幅或多幅图像中检测出的图像特征之间自动建立匹配关系的过程，特征匹配是视觉测量的难点之一。按照匹配的基元来分，特征匹配可分为基于点的匹配、基于直线的匹配、基于区域的匹配及基于其他基元的匹配。特征匹配主要是基于描述子的匹配，即通过度量图像特征描述子之间的相似性以进行图像之间的特征匹配。常用的相似性度量有欧氏距离、马氏距离等[71]。而直线之间的匹配主要采用两种方法：①以直线上的关键点信息为基础，将关键点的信息进行统计[72]，以找到最匹配的直线；②采用直线的邻域信息[73-76]，这种方法以王志衡、樊彬等提出的均值标准差描述子[74,75]为代表，计算直线邻域范围内的关键点信息，并以具有仿射不变性的均值标准差描述子为基础进行直线的匹配。

1.3.3　三维重建

在视觉测量过程中，三维重建是指在多幅图像中对应点确定后，如何恢复被测物体的三维几何结构的过程。三维重建方法主要有两大类：直接重建；与自标定相结合的分层重建。

直接重建是指在已知摄像机参数的情况下，计算已知图像点的三维空间信息，进而恢复物体的三维结构的过程。该方法需要在场景中放置精确的标定物，依据标定物精确求出摄像机的参数（包括内参数和外参数）。因此，这种方法虽然精度很高，但是应用场合限制条件多、应用范围不广泛。

自1995年Faugeras提出分层重建的思想以来，分层重建已成为三维重建中最活跃的一个研究领域。实际上，从二维图像到三维空间经历了一系列的变换，分层重建是指首先对图像进行射影重建，然后将射影重建提升到仿射空间，进而提升到欧氏空间逐层进行结构恢复。射影重建过程相对于双视图几何而言，主要确定的是基本矩阵的估计。关于基本矩阵的估计，主要采用鲁棒性的估计方法。然而，仿射重建是分层重建中至关重要的一个环节，通常需要确定无穷远平面在对应射影坐标系下的法向矢量坐标。在确定了无穷远平面的法向矢量后，便可以计算无穷远平面的单应矩阵，从而将重建结果从射影空间提升到仿射空间。

不论是直接重建还是分层重建，摄像机模型的确定及参数标定都是三维重建中一个重要的步骤。

1.3.4　大型物体视觉测量中的关键问题

视觉测量是指采用计算机视觉技术，获取被测物体表面三维数据和信息的过程。目前，视觉测量针对的大多是被测对象数据采集环境稳定、被测物体较小、被测物体结构简单、被测物体图像纹理清晰的情况。大型物体具有以下特征。

（1）大型物体多在室外，因此数据采集环境复杂。

（2）被测物体体积较大。

（3）很多大型被测对象颜色相近（如起重机桥架、履带吊、焊接机械手臂等机械装备）。

针对大型物体进行数据采集，摄像机采集的图像具有以下特点。

（1）被测对象数据采集环境复杂，则采集图像含有的噪声高。

（2）被测对象体积较大，则图像采集景深大。

（3）被测对象颜色相近，则采集图像纹理差。

若采用目前的视觉测量方法，则大型物体视觉测量过程存在以下难点。

（1）若数据采集环境为室外，则采集的图像噪声高。采用目前的视觉测量方法，存在关键点匹配困难、测量方法稳定性差等缺点。

（2）被测物体的弱纹理导致采集的图像纹理差。若采用现有图像特征的检测及对应方法，则检测结果有以下问题：①检测的关键点较少且对应关键点不易确定，这个缺点将直接影响图像匹配及三维重建结果；②针对直线提取，直线断线情况比较严重，而且提取的线段端点信息不准确，会直接影响视觉测量的精度；③基于关键点（如圆等）的检测方法对特征的拟合效果不佳。

（3）被测物体体积大导致图像采集过程景深大。若采用现有的视觉测量方法，则图像特征点定位信息存在一定的误差，将会对视觉测量精度带来很大的影响。因此，针对体积较大的被测物体，在视觉测量过程中如何准确、可靠地提取图像特征点及如何准确匹配图像之间的特征点仍然是一个极具挑战的问题。

（4）若在视觉测量过程中测量环境复杂、测量对象景深大，则采用现有的摄像机标定算法，标定结果存在以下问题：①由于景深大，导致摄像机模型参数不易确定；②目前的摄像机标定算法针对的大多是室内的情况，均是针对小型被测物体，如鼠标、脸谱等，而针对室外的对象进行测量，测量环境的变化会严重影响摄像机模型的选取和参数的标定精度。

（5）在视觉测量过程中存在许多影响视觉测量精度的因素，如摄像机镜头的质量、图像的分辨率、摄像机拍摄的角度、特征定位误差、摄像机模型选择误差等。因此，采用某一种视觉测量方法，单次测量结果并不能代表该方法的测量精度。