单目立体三维重建技术及应用
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.2 视觉测量的国内外现状

20世纪60年代后期,美国、加拿大、日本等发达国家已经开始视觉测量技术的研究。20世纪80年代,视觉测量已经在美国机械制造业中广泛应用[13],针对的大多是小型机械产品。经过多年的研究与开发,各国已经生产出很多成熟的对象测量仪器和测量系统。我国视觉测量研究从20世纪90年代才开始得到重视,与国外相比至少有30年的差距[18],国内采用计算机视觉方法对机械产品测量的研究主要集中在直径或跨度小于50cm的机械产品,如机械零件的几何尺寸测量、冶金工业中的钢板厚度检测、机械产品外形尺寸检测(高度、直径等)等。视觉测量方法按照摄像机的数目不同可以分为单目视觉测量法、双目视觉测量法和多目视觉测量法。

1.2.1 单目视觉测量法

单目视觉测量法是指仅使用一台摄像机(或单幅图像)对被测对象进行三维测量的方法。如果仅有一台摄像机,没有其他设备或场景约束,那么理论上来说,只能通过场景平面与图像平面之间的单应矩阵(Homography Matrix)来测量平面物体,不能测量一般三维空间的物体。

在具体应用中,一般通过增加一些附加条件,如增加其他硬件设备、基于已知被测物体的运动或加入可控制光源(如结构光源)等,进行被测物体的三维测量。国外基于单目视觉测量方法研究的系统,典型的有:Lecia[19]公司开发的V-STARS/S测量系统,在单台摄像机的基础上增加了一个手持式探头,产品测量的精度达到5µm;Metronor[20]公司开发的SCS系统,在单台摄像机的基础上增加了光笔和测头,以测量被测对象;3D-MV[21]三维坐标检测系统,在单台摄像机的基础上,结合LED光源以获得被测对象的三维坐标,最终将被测对象的三维坐标信息直接转换为CAD模型进行模型重建。

国内基于单目视觉测量的方法主要有以下3类。

(1)主动视觉测量方法。主动视觉测量方法是指向被测对象投射可控制光源,然后根据投射光束在被测对象表面形成的图形,通过光束、被测对象之间的几何关系计算被测对象的三维形状信息的方法。主动视觉测量方法需要额外的光源,如光点式结构光、光条式结构光、光面式结构光等。主动视觉测量系统如图1.1所示,测量系统主要包括摄像机、可控制光源和计算机三部分。主动视觉测量方法测量精度高,但测量系统不易移动,并且测量对象体积一般不能太大。有关主动视觉测量方法的国内研究成果如下。重庆大学[22]针对96mm的工件采用单目视觉测量法进行测量,首先设计均匀散射的LED光源和背向照明的方式组成照明系统,以获得前景与背景对比度较大的图像;然后根据图像前景与背景对比度大的特点,设计了一种基于阈值的边缘检测方法,进行边缘快速检测;最后,针对工件进行标定,完成了工件尺寸的快速测量。四川大学[23]将相位测量轮廓技术和傅里叶变换轮廓技术相结合,开发了一套基于数字光栅投影的在线三维检测技术。主动视觉测量方法受光源约束较大,而投射的光源对距离、表面粗糙度、漫反射率等因素敏感。

图1.1 主动视觉测量系统

(2)基于已知运动的测量方法。基于已知运动的测量方法是利用摄像机的移动信息和摄像机获得的图像信息进行测量的方法。这种方法具有测量过程简单的优点,但是测量结果受摄像机的移动信息及摄像机参数的影响较大。

(3)增加约束条件的测量方法。增加约束条件的测量方法主要利用客观世界中存在的一些特性,如共面性、平行性、垂直性等性质,对客观物体进行测量。典型的方法有:Criminisi[24,25]假定被测场景平面中存在4个或4个以上的可控点,通过计算客观世界被测对象的空间平面与图像平面之间的单应矩阵,测量平面被测场景的距离。这种方法的优点是测量过程简单、容易计算,但测量精度要求被测物体平面上至少存在4个可控点,因此,测量精度严重依赖于可控点的选取、位置和数量。但是,在实际情况中,可控点很难选取,并且无法保证精度。王光辉等[26]假设被测场景中存在相互垂直的平行线段,通过代数和几何方法测量被测平面场景中的度量信息,并恢复其单应矩阵。文献[27]假设被测场景中存在3个垂直方向上的消隐点,通过消隐点计算摄像机参数模型,该方法的测量精度取决于消隐点的计算精度。总之,该方法主要利用被测场景中存在的边缘、共面性、平行性、垂直性等信息从单幅图像中对物体进行部分重建。

单目视觉测量法具有计算过程简单的优点,但需要在被测场景中附加额外的设备或场景约束条件,因此适用于特定的场景测量。

1.2.2 双目视觉测量法

双目视觉测量法首先通过两台摄像机获取同一被测对象的图像,然后通过建立同一对象在两幅图像投影之间的对应关系(视差),进行深度估计。双目视觉测量法具有精度高、效率高、自动化程度高等优点。采用双目视觉测量法进行测量的研究较多,除了进行被测物体的三维测量,在其他领域也得到了广泛应用。国内外采用双目视觉测量法进行测量的具体工作和系统如下。

国外开发的双目视觉系统有:Lecia[19]公司推出的V-STARS/M系统、Metronor[20]公司推出的DCS系统、3D Digital[28]公司生产的MODEL 300系统等;GOM[29]公司推出的ATOSII系统,将结构光投射到被测物体,然后采用两台摄像机测量比较小的物体,精度达到了0.02mm;Beccari C.V[30]采用双目视觉测量法开发了FRIES系统,首先采用双目视觉测量法采集被测对象表面的三维数据,然后根据采集的三维数据设计新的CAD模型;Yin等[31]将双目视觉测量法应用到齿轮的测量中,用于测量齿轮的磨损程度。德国VMT公司生产的双目视觉测量系统(见图1.2),主要用于检测汽车前盖的缝隙。

图1.2 德国VMT公司生产的双目视觉测量系统

国内双目视觉测量法相关工作如下。吉林大学[32]将双目视觉测量法应用到机械零件中,主要对机械零件中的基元直线及圆的边缘提取进行了研究,提出了一种快速检测圆的Hough算法。该方法主要采用最小二乘回归直线拟合法对直线边缘进行亚像素定位,并将结果应用到复杂结构尺寸——石墨电极锥接头螺纹几何参数的测量和微小结构尺寸测量中。电子科技大学[33]将双目视觉测量法应用到了薄圆孔的机械零件测量中。该方法首先对原始图像进行预处理、边缘检测;然后设计了一种圆心提取算法;最后计算圆孔之间的半径大小和圆孔之间的距离。西南交通大学[34]采用双目视觉测量法将视觉测量应用到了规则工件测量中,首先通过Hough变换检测工件的边缘;然后通过边缘信息求边缘的交点并计算交点的图像坐标;最后结合三角测量法求解各交点的世界坐标,进而计算出工件的三维尺寸。华南理工大学[35]利用双目视觉测量法对数控机床上有斜面及孔结构的工件进行了在线测量。其过程为:首先对摄像机进行标定;然后通过阈值分割出被测对象,采用Canny算子检测特征点,并通过特征点匹配算法获得特征点的三维坐标数据;最后对匹配的特征点进行数据处理和特征拟合,最终获得工件的关键尺寸,系统的测量误差在1.3%以内。武汉理工大学[36]采用双目视觉测量法进行了机械产品的在线测量。浙江大学[37]采用双目立体视觉匹配技术,采用极线约束获取被测物体的三维坐标信息。

1.2.3 多目视觉测量法

多目视觉测量法是使用多台摄像机,或者一台可运动的摄像机获取同一个对象的多幅(至少3幅)图像进行物体测量的方法。利用多目视觉测量法进行测量可简化图像之间的对应关系,同时利用冗余信息可提高测量精度,但由于增加了摄像机的数目,应用范围也受到了很大限制,因此目前基于多目视觉测量法的测量系统应用不多。一些相关报道有:布尔戈斯大学[38]采用LED光源,结合3台CCD摄像机进行了产品数字化测量;Rothganger等[39]采用移动摄像机的方法对被测对象进行了三维坐标的测量及模型重建;天津大学[40]对多目视觉测量法也进行了系统研究。

1.2.4 大型物体的视觉测量

上述视觉测量方法均针对测量环境稳定、被测物体体积较小、被测物体纹理丰富的情况进行测量。对于体积较大的被测物体,由于其景深大,视觉测量方法的精度和效率较低,因此无法满足大型被测物体的测量需求。目前,国内外学者主要采用测量光棒、激光等辅助手段,作为大型被测物体的视觉测量方法,进一步提高了视觉测量精度。国内典型研究工作有:南京大学将激光引入进行大尺度三维几何对象的测量,将相位一致性变换与极限约束条件引入结构光条中心提取之中,以提高测量的精度[41];哈尔滨工业大学对机械装备的在线测量进行了研究,开发了一套在线测量系统,系统采用光学测棒以提高测量精度,光学测棒主要用于被测点空间坐标的接触测量[18];燕山大学将视觉测量应用于室内大型锻件的在线检测,测量精度达到了10mm[42]。本书从计算机视觉的角度出发,研究大型物体的单目视觉测量中的理论与方法。