3.4.2　GPLVM的理论来源

GPLVM的初衷和GMM、HMM并不相同，它起源于概率PCA（Probabilistic Principal Component Analysis），更主要的是为了解决高维数据的降维问题，特别是在无法确定高低维空间映射关系的情况下的降维问题。

PCA是一个实现数据降维的高效方法（详见第4章），它本质上是将方差最大的方向作为主要特征，并在各个正交方向上将数据“去相关”，通过保留能量最大的特征向量上的分量实现数据降维。

PCA方法的有效性可以从不同的角度解释。Tipping和Bishop从概率的角度分析PCA的处理过程，并提出了概率PCA。给定N个D维观测数据Y=［y₁，y₂，…，y_n，…，y_N］，希望找到它们在低维空间ℝq中的表示X=［x₁，x₂，…，x_n，…，x_N］。同样地，假设高维和低维空间对应的两个点的关系满足：

y_n=Wx_n+η_n

（3-27）

其中，W是从低维向高维的映射。η_n∈ℝD，服从均值为零的高斯分布，，β-1为噪声方差。概率PCA的目标就是解出这个映射W。

该问题可以通过最大似然估计来求解。在已知X、W和β-1的条件下，y_n的条件分布为。进一步，假设x_n也服从正态分布（x_n|0，I），则可以计算y_n的边缘分布为

可以证明，基于式（3-28）计算令观测数据Y似然最大化的映射，所得的就是PCA的解。

从上述过程可以看出，GPLVM和概率PCA在模型上极为相似，两者存在紧密的联系。所不同的是，GPLVM将高低维空间的映射视为服从高斯分布的概率形式，采用的函数从线性函数形式推广至概率核函数形式，这样可以减少对模型先验的要求，只要设置待求空间的协方差函数，就能学习到更为丰富的函数形式。具体分析可以进一步阅读相关论文[8]。