1.1.1　深度学习发展历史

深度学习的出现主要是为了解决那些对于人类来说很容易执行，但却很难形式化描述的任务。对于这些任务，我们可以凭借直觉轻易解决，但对于人工智能来说却很难解决。

2006年是深度学习的元年，Hinton教授在《科学》杂志上发表论文，提出了深层网络训练中梯度消失问题的解决方案，其主要思想是先通过自学习的方法学习到训练数据的结构（自动编码器），再在该结构上进行有监督训练微调。

2011年，ReLU激活函数被提出，该激活函数能够有效地抑制梯度消失问题，并且微软首次将深度学习应用在语音识别上，取得了重大突破。

2012年，深度神经网络（Deep Neural Network，DNN）技术在图像识别领域取得惊人的效果，Hinton教授的团队利用卷积神经网络（Convolutional Neural Network，CNN）设计了AlexNet，使之在ImageNet图像识别大赛上打败了所有团队。

2015年，深度残差网络（Deep Residual Network，ResNet）被提出，它是由微软研究院的何凯明小组提出来的一种极度深层的网络，当时提出来的时候已经达到了152层，并获得了全球权威的计算机视觉竞赛的冠军。

这个历程如图1-1所示。

图1-1　深度学习发展历史