1.1.3 无监督生成模型

根据前两节内容可知，生成模型意味着对输入特征X和标签信息Y的联合分布进行建模，无监督学习意味着不存在标签信息，所以无监督生成模型是对输入特征X的概率密度函数p（X）建模。假设存在一个由N个训练样本{x（1）,x（2）,…,x（N）}构成的训练集（N足够大），则可以使用训练集训练一个概率模型（X），训练完成后，概率模型（X）应接近于X的概率密度函数p（X），接着我们就可以从概率模型（X）中采样来“生成”高质量的样本了。

无监督生成模型是近些年深度学习的热门方向，其具有较长的发展历史［2］。在经典的统计机器学习中，对生成模型的主要问题——概率密度函数的估计有着丰富的讨论。概率密度函数的估计方法主要分为参数估计和非参数估计。参数估计通常对研究的问题已知某种数学模型（例如混合高斯分布、伯努利分布等），然后利用样本估计模型中的未知参数，常用的估计方法有极大似然估计、贝叶斯估计、最大后验估计等；非参数估计对数学模型没有先验知识，直接使用样本估计数学模型，常见的方法有直方图估计、核概率密度估计（Parzen窗）、k近邻估计等。

同样地，基于神经网络方法的生成模型也已被研究许久，例如20世纪80年代Hinton已经使用玻尔兹曼机［3］学习二值向量的任意概率分布。截至目前，已经涌现出许多非常优秀的深度生成模型，例如深度信念网络［4］、神经自回归网络［5-6］、深度玻尔兹曼机［7］、流模型等，其中2013年提出的变分自编码器模型和2014年提出的生成对抗网络是里面最优秀的两个代表。需要说明的是，包括生成对抗网络在内的大多数深度生成模型仍属于参数估计的范畴，即使用样本估计神经网络模型的权重参数。

生成模型的研究对人工智能技术的发展具有重要的意义。它不仅可以产生逼真的图像、视频、文本或语音等，在图像转换、超分辨率图像、目标检测、文本转图像等领域也取得了满意的效果。生成模型和强化学习、半监督学习、多模输出问题等均有密切联系，另外，生成模型的训练和采样是对我们表达和处理高维概率分布问题能力的非常好的测试。本书将围绕生成对抗网络展开。