2.2　机器学习的新里程碑

机器学习是人工智能领域最重要的共性技术，指的是计算机系统不断从解决一类问题的经验中获取知识，学习策略，在遇到类似问题时，运用经验知识解决问题并积累新的经验，对问题进行预测和判断。因而，机器学习对“经验”的依赖性很强。

经典的机器学习算法包括分类与回归树、朴素贝叶斯、神经网络、支持向量机、K-均值、AdaBoost、K近邻等。根据提供的样本数据的信息丰富程度和训练反馈方式，机器学习大致可分为有监督学习、无监督学习、强化学习等类型。有监督学习主要实现分类、回归、预测等能力，无监督学习重点应用于聚类、降维、知识抽取等任务。深度学习是机器学习中在样本丰富条件下进行有监督学习的最成功范例，小样本学习、无监督或半监督学习等是当前仍有待发展的更富挑战性的机器学习问题。

从20世纪90年代开始，学术界关于多种机器学习方法曾经历了相当长的诸侯纷争期，以BP网络为代表的神经网络、支持向量机、贝叶斯学习等不同学术路线各有所长。支持向量机基于统计学习理论实现了学习能力，并且由于其优雅而严谨的数学基础，以及在小样本条件下优秀的泛化能力，从20世纪90年代到2010年左右曾引领了世界机器学习领域的潮流。

然而在深度学习出现之前，所有的机器学习方法都在受限于70%～80%准确度水平，很难突破性能瓶颈。最终，以深度学习为代表的连接主义方法打破了这一僵局。

深度学习源于连接主义学派发展起来的神经网络技术。对神经网络的研究已有近半个世纪，只不过以前通常研究的是只有一层隐层节点的浅层神经网络。在此基础上，从2006年发展起来的各种深层网络结构的神经网络模型，通常都被称为深度学习。目前，深度神经网络已经可以具备数十万个神经元节点，实现多达10亿连接权重，可以建模非常复杂的非线性映射关系。

借助进入大数据时代的海量数据和以GPU图形处理器为代表的强大计算力的支撑，深度学习通过模型深度化的途径使机器学习实现了实质性的性能突破，连接主义在机器学习方面一枝独秀的优势越来越凸显。常见的深度神经网络类型包括卷积神经网络、递归神经网络、图神经网络、生成对抗网络（GAN）等。

1．它具备了更强大的数据的知识抽取和建模能力

深度学习的成功既有硬件的进步，也有神经网络模型与参数训练技巧的进步。之前近邻法、决策树、支持向量机等传统机器学习方法，往往不做特征变换，浅层神经网络也只进行一次特征变换。神经网络隐层数越多，特征变换次数就越多，可以抽象出丰富的特征量，多层非线性映射的堆叠使模型建模能力和判别能力越来越强。通过足够多的转换的组合，非常复杂的函数也可以被学习。

传统的浅层神经网络受到表达能力限制，在超过一定样本量后，模型性能就会趋于饱和，很难再往上提升，甚至会走向过拟合。而深度学习对大数据表现出天生的亲和力，随着数据量的增加，深度学习算法的准确性会继续大幅度上升。而且深度学习通过先用非监督学习预训练将网络初始参数进行优化，再用监督方法学习调整各层参数，使如此庞大规模的网络最终能够收敛下来。深度学习擅长发现高维数据中的复杂结构，除了在图像识别、语音识别等领域打破了纪录，在预测潜在的药物分子活性、分析粒子加速器数据、重建大脑回路、预测在非编码DNA突变对基因表达和疾病的影响等应用上的性能也远远超过传统方法⁽¹⁾。

比如在金融领域，原来使用传统机器学习方法建立的预测模型，进行基于股票交易历史数据的建模和定量化预测。当前，大数据驱动的深度学习模型所能捕获的信息量极大拓展，不仅是历史交易数据，还可以囊括企业运营、行业事件、政策变动等各类可能影响股民心态和决策的环境信息等，所建模的知识远远超过传统模型，可实现对态势的更深层认知和更准确预测。

2．它具备机器自主发现知识的智能涌现能力

智能涌现体现的是机器自主发现知识和形成智能的能力。自人工智能创立以来，大量学者都在采用仿生、交互反馈等方式研究怎么使机器实现智能增长和涌现。深度学习走的是从数据中获取智能的习得智能技术路线，或者说是基于历史数据和案例经验的学习模式。人工智能早期的基于逻辑学和规则决策的专家系统，可以称为线性人工智能，其知识和能力是随知识输入和系统规模线性增长的。而深度学习在智能生成方面属于非纯性增长，其模型可从超过人类大脑处理能力的数据中，自行抽象和挖掘出新的关联、新的规律，能够超出人类自身对这一问题的原有认知，实现更强的智能涌现能力。

3．其自动特征抽取使实用性大幅度提升

传统的机器学习需要通过数据预处理、特征抽取、特征选择、模型训练等几个环节，才能使用训练好的模型进行推理预测识别，系统性能很大程度上取决于特征提取和特征设计。深度学习是一种特征学习方法，借助强大特征变换能力，可以生成并自动筛选最适合的抽象特征，大大简化了传统机器学习所需的特征工程手工操作环节，使建模规模可以受益于可用计算能力和数据量而大规模增加。而最早在AlexNet中得到采用的Dropout舍弃法，使得深度学习不容易陷入过拟合，已经成为提升各类深度学习模型泛化能力的关键方法；批量归一化方法则能够大大加快网络收敛速度：这些训练优化策略和方法，使得深度学习不仅在建模能力方面实现了质的飞跃，其实用性也不断增强。

因此，深度神经网络成为机器学习技术创新的新里程碑，在解决计算机视觉、自然语言处理和机器翻译领域中的长期问题方面取得了极大成功。见图2-2，2012年，辛顿（Hinton）团队在ImageNet比赛中首次使用8层的深度卷积神经网络完胜其他团队，其图像识别误差率大幅度降低到16.4%。2014年，Google做了22层深度神经网络，将图像识别误差率降低到6.7%。2015年，来自微软的ResNet做到152层深度神经网络，其图像识别误差率低至3.57%，超过人类水平。

目前，深度学习已经成为人工智能领域的主导范式，过去在专家系统时代难以解决的知识规模扩张难题，采用大数据驱动的方法都已不再是问题。甚至类似人类的直觉等能力，也可以通过复杂模型建模的方式让机器掌握。

如1.4节所述，20世纪60年代集成电路推动了以计算机为代表的数字化进入大规模产业化，20世纪80年代万维网推动了以互联网为代表的网络化进入大规模产业化，而深度学习最大的贡献就是推动了人工智能从实验室阶段向产业化阶段的历史性跨越。

ARK认为，20年间互联网大约为全球股权市场创造了10万亿美元的市值，而深度学习在未来20年有望创造3倍于互联网的市值，达30万亿美元。2018年图灵奖授予约书亚·本吉奥（Yoshua Bengio）、杰弗里·辛顿（Geoffrey Hinton）和雅恩·乐昆（Yann LeCun）深度学习“三巨头”（见图2-3），这也是全球学术界对于深度学习对人工智能发展的里程碑式贡献的肯定⁽²⁾。

近年来，有监督学习与无监督学习的界限越来越模糊，比如目前越来越热的预训练模型往往先采用无监督学习方式构建一个通用性较强的庞大模型，之后再基于特定问题的带标签小样本，采用有监督学习方式实现更具体任务的学习。同时，生成对抗网络、随机森林、联邦学习等新的机器学习方法演进发展也很快。