偏微分与变分技术在图像分割中的应用研究
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.2 国内外研究现状

1.2.1 图像分割的传统方法综述

图像分割的广泛应用,促使众多学者不断致力于图像分割理论和技术的研究,提出了基于不同理论的各种分割算法。信息技术在21世纪的发展日新月异,基础学科在创新中不断发展,同时跨学科理论被不断引入图像分割领域,图像分割技术也发展出了多个分支方向。图像分割的方法大致可以分为7种类型:基于阈值、基于边缘检测、基于区域、基于聚类、基于图论、基于能量泛函、基于卷积神经网络。

1.基于阈值的图像分割方法

基于阈值的图像分割方法是一种最常用的分割技术,其原理主要是利用图像中目标和背景在灰度特性上的差异,选取一个或多个比较合适的阈值,从而达到分割出特定目标的目的。根据现有的研究,阈值法主要可以分为全局阈值法[22]和局部阈值法[23]。全局阈值法的阈值是根据全局信息产生,在整幅图像中将灰度阈值的值设置为常数,将图像中像素点的灰度值与阈值相比较,以此来确定该像素点是前景还是背景,通常也叫作单阈值分割。局部阈值分割是指利用图像的局部信息,将整幅图像分为若干个子图像,再对每个子图像选取合适的阈值,以实现对图像的局部分割,所以也叫作多阈值分割。

阈值法的分割结果在很大程度上依赖于阈值的选取。针对这个问题,研究者们提出了多种阈值判定方法。Otsu等人[24]利用类间方差作为判别准则,适用范围广,并得到了广泛应用,其阈值的选取依据为使得背景和目标之间的类间方差最大,目标(或背景)的类内方差最小。该方法仅对类间方差为单峰的图像能够得到较好的分割效果,但是当图像中目标与背景大小比例悬殊,类间方差呈现双峰和多峰时,分割效果不会很好,且该方法对噪声比较敏感。此外,信息熵也被应用到阈值分割[25-29], Kapur等人[26]提出了最大Shannon熵阈值法,通过分析图像灰度直方图的熵,使图像中目标与背景分布的信息量最大,找到最佳阈值。这种方法一般不需要先验知识,而且对于直方图的双峰分布不均匀的图像也可以进行很好的分割。然而,由于该方法使用穷举法求解,在处理多阈值问题时运算速度太慢,从而难以满足应用要求。

基于阈值的图像分割方法从数学角度看比较简单,可以分割灰度差异明显的简单图像,这种方法在对像素比较的同时进行分类,可以获得较高的分割效率,但其只考虑像素自身的灰度信息,忽略了图像的语义空间特征。近年来,加入像素点与邻域的图像空间相关的算法被相继提出[30-32],提高了算法的抗噪性能。

2.基于边缘检测的图像分割方法

一幅图像的不同目标区域或者目标和背景总是呈现灰度的显著不连续性,基于边缘检测的图像分割方法正是利用图像这种灰度不连续的特点来检测区域(或目标)的边缘点,再按照一定策略进行连接而形成封闭的轮廓,从而实现图像分割。该方法通常是通过检测图像灰度特征的突变来实现的,这种突变性的检测可以使用不同阶的梯度算子来完成。常用的边缘检测算子有:Sobel算子[33]、Roberts算子、LoG算子[34]和Canny算子[35]等。其中,LoG算子和Canny算子都是先对图像进行高斯平滑,再通过计算其一阶微分算子或二阶微分算子来求解图像梯度的极大值。遇到目标区域与背景的对比度明显且受噪声干扰较小的图像时,这类方法会展现出良好的分割能力;当图像的目标和背景灰度变化不是很明显时,这类方法不但不能保证生成连续、封闭的区域轮廓,而且会存在大量的细碎边缘,带来很多分割噪声点,即使进行后处理,一般也得不到理想的效果。

由此可见,由于图像的复杂性和特异性,单纯的基于边缘的方法并不能获得令人满意的分割效果。目前,研究人员一般将这种方法作为前置处理环节,与其他方法融合使用。为了提高边缘检测法对噪声的鲁棒性,Grossmann[36]利用小波的多尺度思想来进行边缘检测,并取得了重大突破。Elder[37]通过逐点选择滤波尺度,采用控制局部尺度的思想,将滤波和微分算子结合,能够较好地对边缘进行定位和提取,这种方法在过滤噪声的同时尽可能地保存了目标边界。随后研究人员提出了很多针对具体领域的基于边缘检测的图像分割方法[38-41]

3.基于区域的图像分割方法

基于区域的图像分割方法的思想是先将图像按照某些规则分成不同的区域块,然后根据既定相似性准则(关于灰度、纹理等),对具有相同特征的区域进行合并,对具有不同特征的区域进行分裂,直至形成若干稳定的区域图像。区域生长法和区域分裂合并法是两种典型的区域分割方法[42-44]。区域生长法[45][46]是从单像素出发,其基本思想是从初始区域开始,选择一个像素作为种子,将其相邻的具有相同特性的像素(或区域)与种子所在的区域进行合并,并将合并后的新区域作为种子进行迭代、更新与合并,重复这一过程,直至满足准则的像素点都被合并进来,停止生长,实现目标分割。该方法有两个关键点:一个是初始种子点的选取,不同的种子会有不同的分割结果;另一个是生长模式的制定,生长规则直接影响分割结果,有效的生长模式可以获得较为满意的分割效果。该方法的算法实现简单,时间复杂度低,但其种子点的选取需要人机交互,同时对噪声的鲁棒性也不强。区域分裂合并法的基本思想是从整幅图像开始分裂,得到各个区域,再将相邻的具有相似性的区域合并,最后实现目标分割。该算法排除了人工选择种子点的干扰,但也存在有时分裂会破坏区域的边界,分割效果较差的缺陷。

基于区域的图像分割方法可以直接获得目标的封闭边界曲线,比基于边缘的方法更加直观。通常,在没有先验知识的情况下,只要给出相似性准则,基于区域的图像分割方法就能获得较为理想的分割效果。

4.基于聚类的图像分割方法

基于聚类的图像分割算法的主要思想是:将满足一定的相似性准则的像素点收集起来,以达到分类的目的,尽可能使同一类中的像素点具有相同的特征,而不同类的像素点其特征各异。K均值聚类算法[47]、模糊C均值聚类算法[48]和均值漂移算法[49][50]都是此类算法的典型应用。K均值聚类算法的基本思想是:在所要分割的图像区域中随机选择K个点作为初始的聚类中心,依据像素与聚类中心的相似距离将像素进行归类,通过迭代的方法,逐次更新各聚类中心的值,直到收敛。K均值聚类算法将待处理的某个数据对象严格地归属于某个类。然而,在图像处理中,许多信息并没有严格的属性。随后,Dunn提出以模糊C均值聚类算法为代表的软划分概念的聚类方法[51],该方法在聚类过程中通过计算隶属度来衡量各像素与聚类中心的距离,不对像素进行直接归类,其分割效果较K均值聚类算法更优。此后,基于模糊理论的聚类方法得到了极大的发展,并广泛应用于图像分割[52]。Bezdek[53]将Dunn提出的算法进一步推广,讨论了模糊C均值聚类算法与K均值聚类算法的关系,并建立了模糊聚类理论,证明了该算法的收敛性。Wang等人[54]提出了一种模糊聚类算法,该方法利用核函数作为测度并对灰度进行变换,转换到更高维的空间,在新的高维空间中进行聚类,将其应用于图像分割,并取得了较好的效果。此外,研究人员还将小波变换、遗传算法和马尔可夫随机场等与模糊C均值聚类算法进行融合,提出了许多改进方法[55-60],分割性能更好,分割效果更优。基于聚类的图像分割方法能对大型数据进行高效分类,并得到了广泛应用。但是,由于需要设定类的数目,且较少考虑数据间的联系,因此基于聚类的图像分割方法具有一定的局限性。

5.基于图论的图像分割方法

基于图论对图像进行分割是研究领域的新方向、新热点,其基本思想是:将一幅图像映射成一幅加权的图,图的节点集由图像的像素映射,图的边集由像素间的关系映射,边上的权重集由相邻的像素间的相似度或者差异性映射。分割原理依据图论中的成熟理论,分割的过程其实是一个寻优的过程。20世纪80年代,Greig等人[61]将GraphCuts理论引入图像处理领域,但没带来太大的影响。随后,Boykov等人[62]将图论首次应用到图像分割领域,这种方法将特殊模型和上下文信息相结合,被广泛应用于解决计算机视觉中的标记问题。在2004年,Boykov等人[63]将以上算法进行改进,提出了基于增广路径最大流最小割算法,增加了两条增广路径并改进了其算法,边搜索边标记,当所有的点被搜索并且标记后,最小割就形成了路径,该方法可行性高、运行速度快,但是不适合较短的增广路。Blake等人[64]将高斯混合模型应用于图像的分割方法,对前景和背景的颜色空间进行高斯建模,用可进化的迭代算法取代一次最小估计来完成能量的最小化,在一定程度上影响了该分割算法的效率。Tang等人[65]在能量函数中加入了新的距离项来表示相邻像素之间的相似性,改进了网络图的结构,从而提升了求解的效率,并能提高分割的质量。基于图论的图像分割方法在后续还发展出了许多结合遗传算法、神经网络、活动轮廓模型的新方法,是图像分割领域的一个研究热点。近年来,基于图论的图像分割技术获得了比较广泛的关注和研究,取得了很多不错的成绩[66]

6.基于能量泛函的图像分割方法

近年来,基于能量泛函的图像分割方法是典型的模型驱动方法,因其具有良好的数学可塑性而被国内外研究人员作为研究的热点[67-69],该方法在目标分割过程中不断寻找先验信息匹配图像特征,是一种融合了先验信息的分割模型。能量泛函的极小化问题是基于偏微分技术的图像分割方法的基本问题,先定义一个闭合曲线及其能量函数,用变分法最小化该能量泛函,在最小化的过程中形成向目标区域运动的驱动力,该驱动力由轮廓曲线演化的自身内力和图像数据蕴含的拉升外力共同构成,驱动轮廓向目标边界移动,直到能量达到极小值,图像的轮廓曲线到达目标边界,分割结束。相对于传统的图像分割方法,基于变分理论的图像分割方法可以提取连续、封闭的目标轮廓,并且结合了很多先验知识,提高了轮廓提取的可靠性和准确性,在边缘检测、噪声图像分割以及运动跟踪中已经得到了广泛应用并取得了很大的发展。同时,这种方法具备良好的人机交互能力,各领域学者可以在具体的工作领域对分割过程和结果进行专家干预,从而获得更真实的分割结果,改善了分析结果数据。在近十几年中,研究者们成功地将其应用于各个行业的细分领域,与该方法相关的研究工作取得了众多有价值的研究成果,已然成为计算机视觉和模式识别的热点领域。

7.基于卷积神经网络的图像分割方法

近年来,深度学习技术和卷积神经网络在图像分类、目标检测和图像分割等经典图像问题上取得很大发展。该类方法使用深度学习技术训练卷积神经网络以有效提取特征图,将待分割图像转换为易于处理的特征图像,进行像素级分类,实现对待分割图像与期望分割结果间的映射关系的拟合。该类方法具有学习能力,可有效拟合自然图像与对应分割真值(Ground Truth)间的函数关系,可处理复杂的自然图像分割问题与多目标分割问题,对光照不均匀、阴影等干扰因素有着非常出色的鲁棒性,甚至实现了图像语义理解和实例分割。但深度学习方法对标注数据量的要求与分割任务难度正相关,且运算量极大,通常需要海量数据才能准确分割自然图像。在不使用数据扩增技术及其他模型训练技巧的前提下,Mask R-CNN等基于大型卷积神经网络的现代深度学习图像分割方法难以在小规模数据集上得到有效训练,难以满足分割实时性的要求。

1.2.2 基于偏微分方程图像的分割方法综述

近年来,基于偏微分方程的方法作为图像处理领域的一个重要分支,以其出色的表现吸引了越来越多的研究者,得到了迅速发展,逐渐成为图像处理领域的研究热点。用偏微分方程进行图像处理的基本思想是:将所要研究的问题归结为一个泛函极值问题(带约束条件或不带约束条件的),再利用变分法导出一个(或一组)偏微分方程(需要初始条件或边界条件),用数值计算方法求解此偏微分方程(或方程组),最后求得的解是一幅图像(图像复原或图像增强),或是图像及其边界(图像分割)。

随着计算机技术的发展和人类对图像本质的理解不断深入,基于偏微分方程的图像处理也获得渐进有序的发展,这方面的研究工作最早可以追溯到Keonderink[70]对于图像结构的探索以及Nagao[71]、Rudin[72]等人关于图像光滑和图像增强的研究。用偏微分方程技术进行图像处理真正开始于Witkin[73],其引入了尺度空间(Scale Space)的理论。尺度空间把一组图像同时在多个尺度上表述。在他们的研究工作中,图像的多尺度表示是通过高斯滤波来完成的(等价于利用经典的热传导方程来演化图像),这个理论成为偏微分方程在图像处理应用领域的基础。20世纪80年代末,Hummel[74]在这个基础上提出了热传导方程并不是唯一可以构成尺度空间的抛物方程,并提出了构成尺度空间的准则。Perona和Maliktl[75]提出了在这个领域最具有影响力的各向异性扩散方程,用一个可以保持边缘的有选择性的扩散来替换高斯(Gaussian)扩散,从而实现了图像处理过程中平滑噪声和锐化边缘的平衡,他们的工作引发了很多理论和实际问题的研究。随后,在这个领域中,Osher和Rudin[76][77]提出了冲击滤波器以及关于全变差(Total Variation, TV)模型的研究工作,更突出了偏微分方程图像处理中的必要性和重要性。上述方法的成功之处在于,能够将图像视为由跳跃边缘连接而成的分片光滑函数(曲面),从而与某种偏微分方程的分片光滑解联系起来。

偏微分方程图像分割技术是在20世纪80年代产生并逐渐发展起来的一种非线性分割方法[78]。利用动力学模型的思想,通过在图像的定义域内定义一条初始曲线,再给这条曲线施加演化驱动力(驱动力由演化内力和图像信息蕴含的外力共同构成),驱动曲线向着目标演化,从而得到目标的轮廓。偏微分方程图像分割方法的最大优点是曲线在演化获得目标边界的过程中始终保持连续性和光滑性,这种内在的数学演化能力是传统方法所无法比拟的。基于偏微分方程的图像分割技术作为一种较新颖且有效的图像分割方法,其鲜明的特点和有效性为传统图像分割技术存在的诸多困惑提供了一种崭新的研究思路。

在这个领域最为突出的是主动轮廓模型,该方法直接用连续曲线模型来定位图像边缘。由于模型有严谨的数学理论作为支撑,因此具有高效的数值分析和计算能力,可以获得良好的分割效果,使其成为近年来备受关注的持续的研究热点。其原理是:设置一条带有能量的初始闭合曲线,使其在图像信息和给定条件的约束驱动下不断发生演化,使曲线持续向着能量减小的方向形变。这是一种将轮廓提取和先验知识结合在一起发生的自主运动形变,不需要用户的交互,因此被称为主动轮廓模型。

依据曲线的表示方式,主动轮廓模型可以分为参数主动轮廓模型和几何主动轮廓模型。

1.参数主动轮廓模型

由Kass等人[79]提出的Snake模型是一个经典的参数主动轮廓模型(parametric active contour model),也称Snake模型。该模型提出了一个整体性分割框架,将图像信息、目标特征、先验知识和初始轮廓都集中到一起进行考虑,将提取目标边界的问题转化为一个求解能量泛函极小值的问题。尽管该模型是图像分割方法的一个重大突破,但是它仍存在一些缺陷:对演化曲线的初始位置敏感;能量泛函具有非凸性,曲线在演化过程中容易陷入局部极小导致分割失败;曲线的拓扑结构发生的突变无法自动进行处理;计算时空复杂度高;等等。

研究者们提出了各种相关的改进模型,以解决Snake模型存在的缺陷。Cohen等人[80]在Snake模型的基础上增加了一项气球力,增强了模型的外力力度,进而扩大了捕捉范围,降低了曲线对初始轮廓位置的依赖性,但该模型容易导致边界泄漏且受参数设置的影响较大。Xu和Prince提出了梯度向量流(Gradient Vector Flow, GVF)[81]和广义梯度向量流(Generalized GVF)Snakes模型[82],该模型扩大了轮廓的形变范围,能够有效地收敛到凹陷很深的区域,在一定程度上减弱了对初始轮廓的依赖性,但容易受到伪目标的干扰导致分割失败。Williams等人[83]将贪心算法(Greedy Algorithm)引入活动轮廓模型中,加快了曲线迭代的速度,但是容易陷入局部极小。另外,Li等人[84]提出了向量场卷积(Vector Field Convolution)模型,解决了轮廓的自动初始化问题和曲线在演化过程中的分裂问题。Hafiane等人[85]通过相位分析对GVF提供可靠的边缘,利用概率模型增大目标区域的似然能量项,产生了一个新的外力场,提高了抗噪声能力,改进了分割过程。

尽管研究者们针对参数主动轮廓模型提出了很多改进算法,但是依然存在很多固有的问题,这些模型的闭合曲线是由曲线的参数形式来描述的,在演化过程中,曲线的内在参数(如法向矢量和曲率等)的计算复杂度较高,也无法处理曲线的拓扑变化,这就为基于几何主动轮廓模型的提出创造了条件。

2.几何主动轮廓模型

近年来,水平集方法和曲线演化理论被广泛应用于图像分割。Caselles等人[86]和Malladi等人[87]提出了基于几何特征的几何主动轮廓模型,这类模型利用图像的边缘梯度信息和曲线的平均曲率来构造水平集的速度函数,很好地克服了演化曲线的拓扑结构变化问题。其基本思想是:通过一个高维函数曲面来表达低维的演化曲线(或曲面),即将演化的曲线(或曲面)表达为高维函数曲面的零水平集的间接表达形式,将演化曲线(或曲面)的演化方程转化为高维水平集函数的演化偏微分方程,避免了变形曲线(或曲面)的参数化过程和时刻对曲线演化过程的跟踪,从而能够适应曲线拓扑形状的变化。

几何主动轮廓模型可以简单分为两类[88]:一类是基于边缘的几何主动轮廓模型;另一类是基于区域的几何主动轮廓模型。基于边缘的模型是指将图像的梯度信息引入模型,驱动曲线向着目标边界演化。基于区域的模型是利用图像的区域信息,抽取区域特征进而分区,完成目标提取。相较于基于边缘的模型,基于区域的模型在分割边界特征模糊的图像时展现出良好的分割效果。

测地线主动轮廓(Geodesic Active Contour, GAC)模型[89]是基于边缘的代表方法之一,其原理就是将目标轮廓的提取问题转化为寻找一条最短测地线的问题。GAC模型在一定程度上改善了弱边缘带来的边界泄漏问题,但其存在一个明显的缺陷,即演化曲线只能向一个方向运动,初始轮廓线的位置选取对分割结果的影响非常敏感。为了解决此类问题,国内外学者提出了很多算法来改善分割效果,基于区域的图像分割方法逐渐被研究并提出。Zhu等人[90]将区域竞争的思想、主动轮廓线模型和贝叶斯准则结合起来,提高了对区域统计估计的正确性,从而提高分割精度,并将区域分割模型和主动轮廓线模型结合在一起,提出了测地主动区域轮廓模型。Mumford和Shah提出的MS模型[91]是经典的基于区域的主动轮廓模型,其认为分割后的图像与原图像之间的误差比所有使用其他边界分割得到的图像差值都小,进而获得更好的分割结果。此方法由于考虑了图像区域的统计信息,其分割结果与初始曲线的位置无关,对图像中的弱边缘或灰度间断等问题有较好的鲁棒性,但是其计算过程比较复杂,运行效率不高,导致模型的进一步发展受限,实际应用不多。为了解决这个问题,Chan和Vese[92]以MS模型为基础,提出了著名的CV(Chan-Vese)模型,该模型是MS模型的简化形式,即假设待分割的图像的目标和背景分别是由两个光滑的不同的灰度值构成的区域,近似轮廓内外的图像,可以更好地拟合图像。为了保证数值求解的有效性和稳定性,CV模型在实际演化过程中为了保持符号距离函数的性质,需不断重新初始化水平集函数。此外,CV模型利用的是图像的全局信息,有效规避了灰度的分布均匀性问题,对于灰度均匀的图像呈现出良好的分割效果,但对于灰度不均匀(intensity inhomogeneity)的图像的分割不够理想。近年来,许多学者从不同角度对CV模型进行了扩展或改进。

CV模型是基于水平集来进行图像分割的,而水平集方法由于其自身的数学特性,在演化的过程中,水平集函数会发生震荡而变得不再光滑,逐步失去符号距离函数的特性,慢慢造成误差的累积,从而导致计算结果偏离真实情况,是不可避免的[93][94]。为此,有学者提出重新初始化的方法对函数的光滑性和符号距离函数进行修正,但是这种方法在提高精度的情况下牺牲了时间效率。为了解决水平集函数的初始化问题,针对其初始化问题的算法大量涌现,目前应用得最广泛的是Li等人[98][99]提出的一种变分水平集方法,其在原模型的能量泛函的基础上加入一个惩罚项,从而使水平集函数在演化的同时保证了对符号距离函数的近似,无须对函数进行重新初始化,也提高了算法的数值精度。Zhang等人[95]在算法迭代的过程中利用高斯滤波的方式来代替对水平集函数进行重新初始化的方法,使函数在演化过程中的光滑特性得到增强,从而降低数值计算的不稳定性。

CV模型对低对比度和灰度不均匀图像无法获得理想的分割结果,为此学者们提出了很多方法,其中改进的分段常量模型的方法,即分段光滑模型备受关注,Chan等人[96]对此模型进行拓展,将多个区域通过多个水平集函数表示,提出了分片光滑(Piecewise Constant, PC)函数模型。然而,由于这些算法都以区域内的平均灰度值作为测度,平均值显然丢失了灰度的分布信息,CV模型和PC模型都存在天然的缺陷,即无法有效区分灰度的分布属性,对灰度不均匀图像的分割效果较差。为了很好地解决这个问题,Tsai[96]和Vese[97]等人分别提出了两个相似的分段光滑(Piecewise Smooth, PS)函数模型,用分片光滑的函数逼近真实图像,从而代替CV模型中的分片常数,该模型在一定程度上消除了灰度的分布信息,可以分割灰度不均匀图像,并能实现复杂拓扑结构的分割。但是,PS模型在算法实现的过程中,每隔一定的迭代次数,便要计算两个偏微分方程,因此整个模型的计算量比较大,从而限制了该模型的应用。

上述模型都是基于全局信息,Li等人[98][99]针对CV模型丢失了图像的灰度分布信息和PS模型计算时间复杂度大等缺点,提出了局部二值拟合(Local Binary Fitting, LBF)模型,这种方法使用高斯核函数来提取图像局部灰度分布信息,可以较好地解决前述模型无法分割灰度不均匀图像的问题,但是这种模型对于图像噪声和初始位置敏感性极高,容易引起局部极小。Zhang等人[95]提出了局部图像拟合(Local Image Fitting, LIF)能量模型,可以看作拟合图像与原始图像差异的约束条件,该算法与LBF分割准确度相似,但加快了分割速度。Wang等人[100]提出了局部高斯分布拟合模型,将图像的局部灰度分布使用不同均值和方差的高斯分布来描述,对噪声和灰度的不均匀性表现出良好的鲁棒性,还可以区分灰度均值相似但方差不同的纹理区域,但计算时间较长。Zhang等人[101]用图像的全局信息构造符号压力函数,代替GAC模型中的边缘停止函数,提高了抗噪的能力。Wang等人[102]将局部信息引入CV模型,提出了基于局部信息的CV改良模型(LCV),同时利用图像的全局与局部信息构造出演化曲线的驱动力。该模型具有计算复杂度较低和对初始轮廓不敏感的优势。Li等人[103]提出了一个基于局部聚类图像拟合(Local Clustering Image Fitting, LCIF)模型,用于对医学图像进行分割和偏移校正,算法在迭代过程中交替对偏移场和水平集函数进行计算。该算法能够对较高程度的灰度不均匀图像和医学图像进行有效分割,且取得了较好的分割结果。He等人[104]将熵的概念和LBF模型结合在一起,提出了基于局部熵的图像分割模型,将局部灰度熵作为权值加入能量积分函数,提高了对同质区域的分割能力,增强了模型对初始轮廓和强噪声的鲁棒性。Li等人[105]提出了基于局部二值拟合和统计信息的水平集图像分割模型,在分割精度和噪声鲁棒性方面得到较大的提高。Yuan等人[106]提出了一种融合模型,这种模型使用图像局部灰度统计信息和局部梯度信息共同构造曲线演化驱动力,局部均值的能量项在目标边界附近起主要作用,而局部梯度能量项能在远离目标真实边界的地方驱使轮廓曲线迅速变化,得到最终的能量泛函,提高了分割的准确性和稳定性。Wang等人[107]使用局部相关性系数判别正常像素点与噪声点,提出了局部的相关熵K均值算法。Huang等人[108]提出了一种基于局部统计信息和全局相关熵度量的图像分割方法,可以更好地解决图像中的噪声点、孤立点等引起分割失败的问题。廖祥云等人[109]提出了引入局部全局信息的区域自适应快速活动轮廓模型,并根据灰度分布情况动态调节局部区域的半径大小,提高了模型分割准确度,但是该算法在调节局域半径时引入过多的参数,在实现过程中需要进行大量的调试工作,同时分割精度还有待提高。Niu等人[110]提出了一种基于局部相似性系数(Local Similarity Factor)的能量拟合模型RLSF,该模型考虑了邻域内每个像素点与邻域中心的欧氏距离代替RSF模型的高斯核函数,有效平衡了像素点与所在邻域平均灰度的差异,更好地克服了灰度不均匀对分割的影响。近年来,国内外学者对基于图像的局部灰度特征方法进行了大量研究,提出了很多模型,可以参考文献[111-124]。

多目标轮廓提取也是图像分割的一项重要研究内容,CV模型将图像定义为前景(目标)和背景,正是由于这种假定的二值属性,模型天然地无法对含有多个目标的图像有效分割。同时,参数主动轮廓模型由于其参数化的性质,通常只具备单目标区域轮廓的提取能力,图像中不同的目标区域通常被不同的封闭曲线所围,互不重叠,因此将所有封闭曲线所围区域的目标特性进行统一处理是不合适的。而几何主动轮廓模型对参数采用一种非参数的表述,能够利用水平集自动处理拓扑变化的能力,从而使零水平集函数所代表的轮廓线能够正确地分裂,实现多目标轮廓的提取。正因为如此,几何主动轮廓模型一般被用于含有多个分割目标的分割模型。单个水平集函数在通常情况下只可以描述两相图像,而多相图像通常用多个水平集函数来描述。多相分割开始于Zhao等人[125]对该问题进行研究之后,他们提出了用N个函数划分N个不同的图像区域,并附加相应的约束条件,避免了水平集函数的重叠覆盖,同时也可避免其遗漏覆盖。随后,Samson等人[126]对其进行深入研究,该模型用于对分段图像的分类。Vese[177]在后来的几年中对其不断改进,减少了分割水平集的个数,用N个水平集函数来表达2N个图像区域。但是分目标的数量和计算数据的存储量基本成线性关系,并且受到多个水平集函数相互间的影响,随着分割目标的增加,算法的时间复杂度和空间复杂度也显著增加。Tsai等人[97]提出了使用层级单水平集函数的方式来解决这个问题,但效果并不明显。Brox等人[127]在区域竞争模型的基础上,创建了多步分裂合并方案,首先利用单水平集函数来对整个区域进行预分割,接着对其进行第二次分割,将两次分割后相仿的区域进行合并。两年之后,Mansouri等人[128]使用最小化的贝叶斯估计得到了所有目标轮廓线的耦合演化方程,然后代入标准的水平集演化方程,不同的目标区域获得了不同的水平集函数。对于多相图像分割的研究虽取得了一定成绩,但还是存在很多问题,如多个水平集函数的设置、区域的划分方法、分割区域数量的自动确定等。

由于CV模型的能量泛函具有非凸性,能量泛函在取极小值时,得到的可能是局部极小,而不是全局极小值,这种情况可能导致水平集的不同的初始条件(大小和位置),会得到完全不同的分割结果,图像分割的结果过于依赖初始条件,有的不是预期的理想的分割结果,而有的是完全错误的分割结果。针对这些问题,Chan等人[129]对建立在L1空间的图像分割总变分(Total Variation, TV)模型[130]进行了深入分析,给出了解存在的唯一性条件。随后他们公布了一种求解全局极小值的算法[131],这种方法可以对模型中能量泛函的非凸属性进行转化,获得凸的能量泛函,再通过极小化该能量泛函来求解全局极小值。Bresson等人[132]提出了一种等效的全局凸分割模型,该方法借助松弛的水平集函数的Heaviside函数,可以将原局部优化问题转化为全局优化问题,降低了分割结果对初始轮廓线的敏感性。Goldstein等人[133]则将分裂(Split)方法和Bregman迭代相结合,提出了Split Bregman方法,该方法在分裂迭代的同时具有较高的计算效率,而且在算法上也易于实现,但是此算法最初用来解决图像的扩散问题。后来,Goldstein等人[134]将Split Bregman迭代算法应用到图像分割领域中,用于求解全局凸优化模型。Lee等人[135]提出了一个具有全局极小解的基于水平集方法图像分割模型,该模型引入一个位移Heaviside函数,以此来避免水平集函数陷入局部极小,使得分割结果可以不依赖初始曲线位置的选择。