前言

人脸是人们日常生活中信息交流和情感表达最重要的载体。通过人脸，我们不仅可以获取一个人的身份、种族信息，还可以获取对方当前的情感状态。随着计算机视觉技术的不断发展，人们对自然、便捷的人机交互技术的要求不断提高，真实感三维人脸建模技术作为人机交互技术中最重要的组成部分自然成为研究的热点。目前，三维人脸建模技术已经取得了长足的发展，并被广泛地应用于影视动画、游戏娱乐、人机交互、医疗技术、辅助教学等诸多领域。

传统的三维人脸建模方法在模型的建立效果和建模过程的自动化等方面还存在着很大的不足。基于形变模型的三维人脸建模方法是目前建模效果最好的方法之一，该方法是基于统计学习理论建立的。与其他的建模方法相比，该方法在建模效果、建模过程的自动化程度等方面都有比较好的表现。本书的研究工作围绕基于形变模型的三维人脸建模方法展开，针对形变模型方法存在的不足和问题进行了深入探讨和研究，并以此为基础讨论了三维人脸样本在人脸动画方面的研究。本书的研究内容主要包括以下几个方面。

1.基于组合模型匹配的样本规格化

规格化三维人脸样本集是建立形变模型的关键前提。由于建库目的和采集方法的不同，不同数据库中的三维人脸样本在拓扑结构、数据形式、信息含量上有着很大的差异。为了能够在不同人脸样本之间实施线性运算，需要对初始三维人脸样本进行规格化处理，使得这些样本具有相同的拓扑结构和点面信息，并可以使用统一的向量形式进行表示。本书在深入分析三维人脸样本结构特性的基础之上提出了基于组合模型匹配的三维人脸样本规格化方法。该方法首先基于规格化样本集建立三维人脸组合模型，然后通过将组合模型与目标样本进行匹配的方式实现样本规格化。由于组合模型是建立在规格化样本集上的统计模型，所以基于组合模型匹配得到的规格化样本不仅可以满足几何的约束，还可以满足人脸的合理性约束。

2.基于遗传算法的三维人脸样本扩充

三维人脸样本是三维人脸研究进行算法设计、模型训练以及性能比较所不可缺少的数据资源。由于受采集设备和条件的限制，目前的三维人脸数据库的数据规模都很小，样本的覆盖范围相对不足。为了解决这个问题，本书提出了一种基于已有的三维人脸样本集，通过遗传算法进行样本扩充的方法。该方法的基本思想是将三维人脸样本看作由有限固定器官组成的对象，利用遗传算法可以引导搜索进行的特点，通过选择、交叉、变异等操作将各样本的不同器官重新组合在一起来产生新的三维人脸样本。使用该方法不但可以产生大量的三维人脸样本，还可以增大样本集所涵盖的变化范围，大大增强现有样本集的可用性。

3.基于典型相关性分析的三维人脸建模

形变模型的假设前提是人脸空间是一个线性子空间，然而研究表明人脸是嵌套在高维空间当中的一个非线性流形。基于形变模型的建模方法必定会忽略人脸的某些细节特征，从而使得该方法难以得到更好的建模效果。为了进一步提高该方法的建模精度，本书提出了一种非线性三维人脸建模方法。该方法的基本思想是使用分段线性的方法来解决形变模型的线性假设前提和人脸的非线性特性之间的矛盾。该方法以典型相关性分析方法为基础，通过计算二维人脸图像与三维人脸样本之间的相关性来计算二者之间的距离，并以此为基础得到与输入图像相关的三维人脸样本集。在进行三维人脸建模时，首先基于这组样本集建立形变模型，并通过将形变模型与输入图像进行匹配的方式得到三维人脸建模结果。由于该模型是建立在与输入图像相关的三维人脸样本集之上，因此使用该模型可以对输入图像进行更好的表示。所以基于典型相关性分析的三维人脸建模方法可以进一步提高形变模型方法的建模精度。

4.基于粒子群优化算法的模型匹配

基于形变模型的三维人脸建模过程就是形变模型的匹配过程。由于在匹配求解过程中涉及形状、纹理、摄像机和光照等一系列参数的求解，所以形变模型的匹配问题是一个大规模、多参数的优化问题。对该问题进行优化求解时，会遇到计算复杂度高、计算时间长和容易陷入局部极值点等问题。粒子群优化算法是一种基于群体智能的随机优化算法，该算法具有高度并行、易于实现等特点。本书在深入分析形变模型匹配特点的基础上，提出了基于粒子群优化算法的多层次模型匹配算法，进一步提高了模型匹配的速度和效率。由于粒子群优化算法是一种有信息反馈的随机优化算法，该方法对模型匹配问题具有很高的鲁棒性且对初值不敏感，因此使用本书提出的模型匹配算法可以极大地提高形变模型的匹配速度和匹配精度。

5.三维人脸动画研究

MPEG-4是一个真正地把视频和声音以及计算机三维图形和图像结合在一起的多媒体标准。该标准的提出，进一步拓宽了虚拟人脸的应用，使得即使在低带宽的网络上也可以实现高质量的人脸动画。为了实现基于在MPEG-4人脸建模的自动化，避免不必要的重复劳动，讨论了基于三维重建人脸的特定化方法。首先利用基于重采样的三维可变形组合模型（形变模型）三维重建该特定人脸模型，然后利用这个特定人脸模型将中性的通用网格模型特定化，有了这种对应，可以将稠密网格简化为适用于模型基编码的稀疏网格，任何特定人只要有一张二维纹理图片，就可以通过三维可变形组合模型完成面向MPEG-4的人脸建模。

6.三维人脸识别研究

与二维数据相比，三维数据包含了人脸的空间信息，是人脸本身固有的信息，对外界条件的变化具有很好的鲁棒性。文本基于三维人脸特征讨论几种三维人脸识别研究方法，包括基于几何特征的三维人脸识别、基于局部二值模式的三维人脸识别、基于稀疏表示的三维人脸识别和基于三维模型的人脸识别。

书中讨论的内容以笔者读书期间的工作为基础，由于时间仓促、本书水平有限，书中难免有不足和疏忽之处，恳请各位专家和广大读者批评指正。

盖赟

2014年4月24日

北京