第2版前言

2020年3月，“智能计算系统”课程的同名教材《智能计算系统》第1版正式出版。之后，我们又出版了课程实验教材《智能计算系统实验教程》和英文教材AI Computing Systems。得益于各位读者对智能计算系统课程理念和内容的认同，第1版教材已重印7次，被国内超过百所高校使用。在此，我们衷心感谢各位读者对这本教材的大力支持。

本书第1版出版至今已有四年之久，智能计算系统领域的发展日新月异，其中影响最深远的就是以GPT系列为代表的大型语言模型（Large Language Model，LLM）的出现。GPT-4已拥有接近人类水平的语言理解和生成能力，并在知识储备上远超人类水平，因而在大量智能任务上有着优异的表现。例如GPT-4能够像文字工作者一样完成各类文档的写作任务，像软件工程师一样完成程序编码任务，像翻译人员一样实现自然语言文本间的转换。

如果说四年前，业界都认为通用人工智能还是一件很遥远的事情，那么到了今天，GPT的进展让我们不得不正视这场由大模型引发的通用人工智能革命。图灵奖获得者、深度学习之父杰弗里·辛顿（G.Hinton）也说：“这些东西（大模型）与我们完全不同。有时我认为这就像外星人登陆了，而人们还没有意识到。”

大模型取得巨大进步的一个关键因素是智能计算系统所提供的巨大算力。例如GPT-3的模型参数量达1750亿，其训练使用了1万颗英伟达V100 GPU组成的高性能智能计算系统，单次训练用时14.8天，单次训练成本约为1000万美元。GPT-4有1.76万亿个参数，其训练更是使用2.5万颗A100 GPU运行了近100天，对智能计算系统算力的需求达到了GPT-3的67倍。未来如果还要训练出人脑规模的大模型（100万亿个参数），我们对智能计算系统算力的需求还将进一步提升。因此，大模型的发展使我们必须重新审视智能计算系统课程的知识体系。

第2版保留了原有深度学习计算系统的精髓，以大模型为牵引，大幅度调整了各个章节的内容，希望能够从各个层面系统讲解如何使智能计算系统获取持续增长的计算能力，为未来更大、更通用的模型提供支撑。其中包括如何构建大模型算法（第2、3章），如何让编程框架支撑海量处理器分布式训练大模型（第4、5章），如何在单个处理器层面实现算力提升（第6、7章），如何面向大模型进行智能计算系统的编程（第8章）。我们还专门增加了第9章，将前面各个章节串联起来，介绍完整的面向大模型的智能计算系统。[1]

具体而言，在第1章中，我们整体回顾了人工智能、智能计算系统的发展历程，并介绍了大模型对智能计算系统的需求。

在第2、3章中，我们在第1版介绍深度学习算法知识的基础上增加了大模型算法的相关知识，包括大模型算法基础、自然语言处理大模型、图像处理和多模态大模型。同时新增了应用于图像生成的神经网络相关知识，包括扩散模型和相关应用，使读者能够全面了解深度学习算法基础与新兴的大模型算法。

在第4章中，我们不再以TensorFlow为重点来介绍编程框架的使用，而是改为介绍目前业界影响力更大的深度学习编程框架PyTorch的发展历程、基本概念、编程模型和使用方法。然后在第5章中，我们跳出具体的编程框架，介绍编程框架的工作原理，尤其是如何通过分布式训练机制来高效地处理大模型任务。

此次改版我们完全重写了第6、7章。在第6章中，我们回顾了深度学习所用的处理器结构从通用逐步走向专用的过程，使读者能够更直观地理解深度学习处理器的基本原理、掌握智能计算系统的设计准则。在第7章中，我们展开介绍了深度学习处理器的体系结构应当如何应对大模型处理中的计算、访存、通信瓶颈。

在第8章中，我们介绍了基于BCL语言（BANG C Language）的高性能算子开发优化实践，使读者能够学习如何高效编写面向大模型的智能算法。

第9章在前几章的基础上全面介绍当代面向大模型的智能计算系统，并以开源大模型BLOOM作为驱动范例，介绍大模型在智能计算系统上的运行实例，以及系统软件、基础硬件层面的优化技术。

本书凝聚着中国科学院计算技术研究所处理器芯片全国重点实验室以及中国科学院软件研究所智能软件研究中心很多老师和学生的心血。其中，我负责整理第1章，李玲研究员和张蕊副研究员负责整理第2、3章，李威副研究员负责整理第4章，文渊博负责整理第5章，赵永威副研究员负责编写第6、7章，郭崎、周晓勇和李宝亮负责整理第8章。张振兴、文渊博和张蕊负责编写第9章。我和李玲研究员负责全书的统稿。此外，刘畅、李昊宸、李文毅、阮庭峰、毕钧、刘子康、樊哲、刘晰鸣、陈亦、杨志浩、刘天博、张洪翔、岳志飞、刘洋、李夏青等也参与了本书的编写。王麒丞、陈文瑞、余悉越、张炀、陈惠来、韩沛轶、王昱昊、吕涵祺等负责本书多幅图的绘制。张欣、张振兴、严彦阳、黄迪、彭少辉、何同辉、万海南、吕涵祺等参与了本书的校对。张曦珊副研究员对教材内容提出了宝贵意见。由于我们学识水平有限，书中一定还有错漏之处，恳请读者多多批评指正。如有任何意见和建议，欢迎发邮件至aics@ict.ac.cn。

本书的写作受到了处理器芯片全国重点实验室、中国科学院战略性先导计划、科技部重点研发计划、国家自然科学基金、腾讯科学探索奖和中国科学院大学教材出版中心的支持。

大模型的发展预示着通用人工智能快要到来。这个“快要到来”可以用毛主席的一段名言来描述：“决不是如有些人所谓‘有到来之可能’那样完全没有行动意义的、可望而不可即的一种空的东西。它是站在海岸遥望海中已经看得见桅杆尖头了的一只航船，它是立于高山之巅远看东方已见光芒四射喷薄欲出的一轮朝日，它是躁动于母腹中的快要成熟了的一个婴儿。”因此，我期盼本书能为通用人工智能的真正到来贡献一份微小的力量。或许未来实现通用人工智能的科学家和工程师，曾经是本书的读者，那将会是我人生的无上光荣。

中国科学院计算技术研究所

陈云霁

2024年1月

[1]由于《智能计算系统实验教程》已经出版，我们去掉了第1版原有的第9章（实验）和附录。