1.1　表示学习

我们在《统计学习必学的十个问题》中，已经对机器学习重要的十个问题作了详细的讲解。尤其需要注意的是特征空间的变换，在统计学习中，特征空间变换的方式可以分为显式变换和隐式变换两种。显式变换主要有两种，去掉冗余特征和无关特征，发展了特征选择的方法，和为了将特征进行组合为更有意义的变量，发展了特征提取（降维）的方法，显式的办法较为直观，它直接对特征空间做了线性或者非线性变换。

隐式变换最典型就是核方法，核函数的出现往往包含了一个非线性的特征变换，有x→ϕ（x），比如说高斯核函数定义为：

它隐含着一个无穷维的特征变换：

虽然并非所有的模型都必须包含特征变换，比如决策树模型就是在原始的特征空间中进行学习的，但是特征变换可以发挥巨大的作用，它可以将线性的特征空间转化为非线性的特征空间，模型在一个“好”的特征空间中学习会取得非常好的效果。但问题是，统计学习中，我们往往固定好了特征变换的形式，核函数也并非随意构造，而是需要满足Mercer Condition，所以特征变换的形式均是设计的结果。

那么，如果我们将特征变换也当作一个可以学习的过程，那么特征变换就具有了相当大的灵活性，并且与数据的相关性更高，可以预想到“学习特征变换”的方法可能会取得更好的效果，我们把这个过程叫作表示学习（Representation Learning）。