MindSpore深度学习高阶技术
上QQ阅读APP看书,第一时间看更新

FOREWORD 序一

近年来,各行业已经进入全方位数字化转型的新时期,而人工智能作为一种新的通用目的技术(General Purpose Technology,GPT),毫无疑问成为释放产业变革潜能的重要力量。经过半个多世纪的发展,特别是在互联网、大数据、高性能计算、脑科学等新理论、新技术及经济社会发展的共同驱动下,人工智能呈现出飞跃式的进步。

但是,全面拥抱人工智能仍然面临严峻挑战。一是人工智能技术必须与行业实践紧密结合,才能发挥效能。在数据收集上,需要针对行业需求制定数据收集策略,才能获取高质量的数据集;在模型训练过程中,需要拆解业务指标、设定精准的优化函数,这将影响项目的成败;在获取数据、建立模型之后,需要对模型超参数调整及对当前模型持续优化,这也是重要的挑战,因为各行业对准确率、召回率、过拟合等衡量指标的要求程度各不相同。二是在技术研发方面,精通人工智能全栈技术仍十分困难。人工智能的工程经验涵盖多个维度,不仅包括芯片、存储和网络等硬件系统,还包括开发框架等软件平台,而且还需要针对算法模型有扎实的理论基础,才能依据实际业务情况选择合适的算法并寻找出最优超参数组合,以便在不同场景下进行优化。三是在生态支持方面,本土支持与国际生态的不足制约人工智能的广泛应用。国内很多企业缺乏与人工智能技术相关的系统架构设计、开发、集成、测试、运维等能力,而且缺乏与此相关的开源组织对技术框架演进方向进行影响的能力,这些都阻碍了人工智能技术在企业中的应用。

面对这些挑战,在人工智能的发展上,华为公司在基础研究和AI人才培养方面持续投入,力求打造全栈全场景AI解决方案和开放的全球生态。为此,华为公司在2018年发布了全栈全场景AI解决方案,并在2019年8月发布了其中的全场景AI框架MindSpore,在2020年3月的华为开发者大会上,宣布全场景AI框架MindSpore正式开源。

在AI解决方案中,MindSpore作为华为公司面向端边云协同、全场景部署的AI框架,有着十分重要的地位,是“承上启下”的核心枢纽。MindSpore是新一代全场景AI框架,支持端边云全场景灵活部署,开创全新的AI编程范式,降低AI开发门槛,旨在实现开发态友好、运行态高效、部署态灵活三大目标,推动人工智能软硬件应用生态繁荣发展。MindSpore框架具备三大特点:全场景协同——一套框架可以满足多样性算力支持,同时框架可大可小,满足端边云多场景设备需求,实现统一架构;全流程极简——打通从研究到企业生产的全流程场景,保持安全可信、高效执行,实现一次开发多次部署;自适应演进——面向未来,一套框架支持“AI+科学计算”等多样性应用,适应技术演进趋势,实现生态繁荣。

随着MindSpore版本的发展,在MindSpore开发团队和社区开发者的共同努力下,MindSpore打造了众多关键特性,比如自动并行——只需要少量的代码设置,就能够实现模型从单机自动扩展到多机并行执行,提升执行效率;动静态图结合——统一的自动微分引擎,保证动态图和静态图语法一致,一行代码完成动静态图模式切换,兼顾开发效率和执行性能;二阶优化——通过矩阵求逆优化,能够带来更快的收敛速度并高度逼近最优值,大幅提升训练效率。随着MindSpore逐渐广为人知,很多优秀的业界实践也脱颖而出,比如基于MindSpore框架构建的全球最大中文语言预训练模型“鹏程·盘古”,在2021年4月23日权威的中文语言理解评测基准CLUE榜单中,总成绩及阅读理解、分类任务单项均排名第一,刷新三项榜单纪录。在整个开源过程中,MindSpore开发团队始终践行开源原则,通过快速的版本迭代,让AI开发更简单便捷,帮助开发者提升效率,持续不断地为开发者带来惊喜。

本书是华为智能计算技术丛书中的一本,书中,陈雷老师及其团队从杰出AI(Best AI)、可信AI(Trust AI)和超越AI(Beyond AI)三方面,深入浅出地讲解了深度学习的高阶技术,并基于MindSpore AI框架进行了实践。书中不仅系统地介绍了数据处理、网络构建、训练和推理优化,让读者能够根据实际的业务场景,快速打造自己的网络模型并优化,而且针对AI领域的固有问题,如AI可解释性、安全性、模型可靠性、网络模型安全和隐私等,也展开深入翔实的讨论,并结合团队实践给出了相应的实践样例。在对AI未来的展望中,陈雷老师结合MindSpore在数据驱动AI建模、AI求解科学计算方程等领域中的应用,展示了MindSpore在科研领域广阔的应用前景。总之,本书对于深度学习领域的工程技术人员、科研人员和高校学生,都是一本值得花费时间和精力认真研读的好书。

在这里,希望广大的AI开发者、高校的老师和学生、各行各业的合作伙伴能够更多地应用MindSpore,在MindSpore框架上进行开发和实践,积极参与MindSpore开源社区,相信MindSpore一定能带给大家不一样的惊喜。

(汪涛)

华为技术有限公司常务董事、ICT产品与解决方案总裁

2021年9月