2.5　深度学习

2.5.1　前深度学习时代

神经网络是几十年前建立的。在20世纪80年代和20世纪90年代，许多研究人员已经研究了多层感知器（MLP），它们与当今使用的深度神经网络非常接近。当时流行使用反向传播训练众多的神经网络。Hornik等人证明只有一个隐藏层的神经网络可以用作通用函数逼近器[65]。神经网络已成功应用于各个领域，例如图像识别[52,66-67]、语音识别[68-69]、时间序列预测[70-71]和控制问题[72-73]。

但是，当时发现与其他流行的机器学习工具（例如支持向量机（SVM））相比，神经网络的性能并不特别出色。而且当时人们通常认为，对于神经网络，一个隐藏层就足够了，因为更多的隐藏层似乎无助于提高分类精度。此外，由于许多问题（例如过拟合和梯度消失），训练深度神经网络是一项艰巨的任务。在认识到这些困难之后，人工智能（AI）领域的研究人员逐渐将注意力从神经网络转移到其他机器学习方法。