前言

为什么要写这本书

“人工智能”“机器学习”“深度学习”“联邦学习”“自动化”等已经成为互联网行业使用最频繁的词汇，在人工智能发展日益成熟的今天，越来越多的研究者将目标聚焦于“自动化”。出于对AutoML技术出现的振奋和对人工智能的热情与投入，我们逐渐萌生了撰写这本书的想法，我们想让更多的人了解AutoML，了解我们身边最前沿的技术和知识，最终能够让天下没有难的AI，实现普惠AI。如果一定要问我们写这本书的原因，我觉得可以归结为如下三点：

首先，已经有多家互联网公司发布了AutoML平台，毫无疑问AutoML已经成为目前各大公司的“护城河”，我们希望通过本书来揭开AutoML平台的神秘面纱。基于AutoML平台，专业编程人员和非专业人员均可快速创建项目并训练模型，但是，由于国内至今还没有一本关于AutoML算法介绍的书籍，平台用户只知其然却不知其所以然。

其次，我们想要通过本书建立一套完整的AutoML知识体系。很多AutoML从业者懂技术，但是缺少一套完整的知识体系来支撑自己的核心技术，有鉴于此，我们在开始撰写本书前做的第一件事就是建立知识体系，包括自动化机器学习、神经架构搜索的核心算法、自动化模型压缩、模型调参、深度学习的垂直领域应用以及元学习等。这套知识体系可以帮助很多从业者认清技术方向，也可以帮助初期从业者选择研究领域。我们期望有更多人来为AutoML这个诞生仅仅一年半的新技术添砖加瓦，共建AutoML生态。

最后，我们希望这本书能为更多非专业人员带来价值。本书的初期定位是AutoML入门书籍，换句话说，我们撰写的初衷是想为更多不懂算法但是热爱AI技术的爱好者提供一些思路和理解角度。因此，我们在本书中尽量使用白话来解释算法思想，从人工智能的初期发展到AutoML技术的成熟，可以让每一个非技术人员快速理解AutoML。

对于本书，我们倾注了很多热情和心血，从2017年年底AutoML技术开始出现就开始深入探索，接着起草最初书稿框架到成型历时一年多，其中经过了多次章节结构调整和修改，查阅并解读近百篇AI前沿论文，才有了今天大家看到了这本书。在本书中，我们从0到1介绍了AutoML技术的方方面面，希望这本书能带给你惊喜。

读者对象

本书适用于非计算机专业研究人员、期望转型AI领域的技术爱好者，同样也适用于初级、中级和高级的人工智能算法工程师、项目经理和产品经理等。

本书特色

AutoML技术的发展日新月异，诸多科学家和研究者会在论文中发表自己的研究成果，但是目前国内还没有一本讲解AutoML发展和技术的书籍。本书聚焦于AutoML，从无到有地介绍了AutoML的发展过程以及相关的算法。本书涉及AutoML技术的多个方面，从AutoML到AutoDL，最后延伸到元学习，为读者提供了一套完整的知识体系。

如何阅读这本书

本书是关于自动化人工智能的一本入门级书籍，书中涵盖了大部分基础知识，因此非专业人士也可以读懂。自动化人工智能的最重要的两个分支是自动化机器学习和自动化深度学习，因此，本书的核心和聚焦在这两大研究领域，旨在为专业人士和刚入门的学者提供一些研究方向和思路。

从逻辑上，全书一共分为四个部分。

第一部分（第1～2章）是关于人工智能的基础概述，并介绍了现有的AutoML平台。

第二部分（第3～6章）是自动化机器学习，这里的机器学习是指统计机器学习，这一部分主要介绍了基本的机器学习知识以及自动化特征工程、自动化模型选择和自动化超参优化。

第三部分（第7～13章）是自动化深度学习，众所周知，近年来深度学习的研究开展得如火如荼，为了拓展读者的知识领域和研究思路，我们在这一部分花费了大量的篇幅来介绍近几年最前沿的算法和技术，这也是全书最核心的章节。

第四部分（第14章）是关于元学习的内容，我们认为元学习应该是独立于统计机器学习和深度学习的一个研究领域，因为元学习跳出了学习“结果”的这种思想，学习的是“学习过程”，这也是自动化人工智能的理想目标。因此，我们将元学习单独作为一个部分，作为全书内容的升华，读者可以在本书的引导下展开更深入的研究。

我们将本书的重点内容罗列为以下几点：

1）自动化特征工程生成方法，分别是深度特征合成算法、Featuretools自动特征提取以及基于时序特征的自动化特征工程。

2）自动化模型选择方法，包括贝叶斯优化算法、进化算法、分布式优化等。

3）自动化超参优化，主要有序列超参优化、进化算法的运用以及迁移学习方法。

4）神经架构搜索，主要搜索算法有强化学习和进化算法。

5）神经架构搜索加速方案，包括权值共享法、超网络、网络态射法、代理评估模型以及可微分神经架构搜索。

6）模型压缩和加速方案，包括量化、修剪法、稀疏化以及轻量级模型设计。

专业读者或具体从业者可根据自己的研究领域以及感兴趣情况选择以上部分内容重点阅读。对于非专业读者，本书中也有最基本的算法入门介绍，可以将本书作为一本AutoML入门书籍进行全书通读。

勘误和支持

本书并没有涵盖AutoML研究领域的全部知识，因为这个领域的知识体系之庞大，不是一本书就可以介绍完的。譬如我们书中所涉及的图计算网络、超网络、蒙特卡洛树搜索以及元学习都可以成为一个独立的研究课题。在AutoML技术的发展过程中，很多前沿算法会不断被提出和更新，因此书中的内容会存在一定的局限性。

本书的很多思想和知识体系都是作者基于自己的理解建立的，难免会出现理解不当或者不准确的地方，恳请读者批评指正。如果你有更多的宝贵意见，欢迎发送邮件至邮箱yfc@hzbook.com，我们会认真采纳你的意见和建议。这本书的结束并不意味着我们的研究就此结束，我们还需要不断挖掘其中的精华与奥妙，期待能够得到你们的真挚反馈和支持。

致谢

在本书的撰写和研究期间，感谢多名AutoML技术爱好者（赵淑贞、尚迪雅、曾昱为、吴文启、唐彦玺、张君婷、贺凡等）的参与支持。

感谢出版社对本书的耐心修订和整理，没有他们，就没有今天这本书的出版。

最后，我要感谢读者，感谢读者对我们的信任。我们尽最大努力想要给大家呈现一本逻辑清晰、技术易懂的入门书籍，感谢读者选择了这本书，选择就是对我们最大的信任。

谨以此书献给AutoML的技术爱好者和研究者们！

王健宗

2019年8月于深圳