第1章 深度学习导论
1-1 人工智能的三波浪潮
人工智能（Artificial Intelligence, AI）并不是最近几年才兴起的，目前已经是它第三波热潮了，前两波热潮都经历了十余年，就迈入了寒冬，这一波热潮至今已超过十年（2010至今），是否又将迈入寒冬呢？如图1.1所示，我们就先来重点回顾一下人工智能的三波浪潮吧。
图1.1 人工智能的三波浪潮
（1）1956年在达特茅斯（Dartmouth）学院举办了AI会议，确立了第一波浪潮的开始。
（2）1957年Frank Rosenblatt创建了感知器（Perceptron），即简易的神经网络，然而当时并无法解决复杂多层的神经网络问题，直至1980年代才想出解决办法。
（3）1969年美国国防部高级研究规则局（DARPA）基于投资报酬率过低，决定缩减AI研究经费，AI的发展迈入了第一波寒冬。
（4）1980年专家系统（Expert Systems）兴起，企图将各行各业专家的内隐知识外显为一条条的规则，从而建立起专家系统，不过因不切实际，且需要使用大型且昂贵的计算机设备，才能够建构相关系统，适逢个人计算机（PC）的流行，相较之下，AI的发展势头就被掩盖下去了，至此，AI的发展迈入了第二波寒冬。
（5）2012年多伦多大学Geoffrey Hinton研发团队利用分布式计算环境及大量影像数据，结合过往的神经网络知识，开发了AlexNet神经网络，参加了ImageNet影像辨识大赛，该神经网络大放异彩，把错误率降低了十几个百分比，就此兴起了AI的第三波浪潮，至今方兴未艾。
第三波热潮至今也已超过十年，是否又将迈入寒冬呢？如图1.2所示，观察这一波热潮，相较于过去前两波，具备了以下几个优势。
图1.2 第三波AI浪潮的触媒
1．发展方式由下往上
先架构基础功能，从影像、语音、文字辨识开始，再逐步往上构建各式的应用，如自动驾驶（Self Driving）、聊天机器人（ChatBot）、机器人（Robot）、智慧医疗、智慧城市等，这种由下往上的发展方式比较扎实。
2．硬件的快速发展
（1）摩尔定律的发展速度：IC上可容纳的晶体管数目，约每隔18个月至两年便会增加一倍，简单来说，就是CPU每隔两年便会提速一倍，过去50年均循此轨迹发展，此定律在未来十年也可能会继续适用，之后量子计算机（Quantum Computing）等新科技可能会继续接棒，目前计算机要计算几百年的工作，量子计算机预计只要30分钟即可完成，如果成真，那时又将是另一番光景。
（2）云端数据中心的建立：大型IT公司在世界各地兴建大型的数据中心，采取“用多少付多少”（Pay as you go）的模式。由于模型训练时，通常需要大量运算，因此采用云端方案，一般企业就不需在前期购买昂贵的设备，仅需支付必要的运算费用，也不需冗长的采购流程，只要几分钟就能开通（Provisioning）所需设备，省钱省时。
（3）GPU/ NPU的开发：深度学习主要是以矩阵运算为主，GPU这方面比CPU快很多倍，专门生产GPU的NVIDIA公司因而大放异彩，市值超越了Intel公司[1]。当然其他硬件及系统厂商不会错失如此良机，因此各式的NPU（Neural-network Processing Unit）或XPU纷纷出笼，积极抢食这块“蛋糕”，各项产品使得运算速度越来越快，模型训练的时间大幅缩短，通常模型调校需要反复训练，如果能在短时间得到答案，对数据科学家而言，也将是一大福音。另外，连接现场装置的计算机（Raspberry pi、Jetson Nano、Auduino等），体积越来越小，运算能力越来越强，对于边缘运算也有很大的帮助，如监视器、无人机等。
3．算法推陈出新
过去由于计算能力有限，许多无法在短时间训练完成的算法一一解封，尤其是神经网络，现在已经可以建构上百层的模型，运算的参数也可以高达上兆个，都能在短时间内调校出最佳模型，因此，模型设计就可以更复杂，算法逻辑也能够更完备。
4．大量数据的搜集及标注（Labeling）
人工智能必须依赖大量数据，让计算机学习，从中挖掘知识，近年来因特网（Internet）及手机（Mobile）盛行，企业可以透过社群媒体搜集到大量数据，再加上物联网（IoT）也可以借由传感器产生源源不断的数据，作为深度学习的“养分”（训练数据），而这些大型的网络公司资金充足，可以雇佣大量的人力，进行数据标注，确保数据的质量，使得训练出来的模型越趋精准。
因此，根据以上的趋势发展，笔者猜测第三波的热潮在短期内应该不会迈入寒冬。