1.3 ChatGPT“果实”的培育逻辑
ChatGPT作为一款问答机器人产品,它的问世让大家眼前一亮,如同智能手机、互联网、汽车一样以前所未有的速度影响着人们。如表1-1所示,我们可以把ChatGPT看作一棵果树上结出的“果实”,那么大语言模型(Large Language Model,LLM)就是树干,我们经常提到的GPT-3.5、GPT-4都属于这个大模型范畴。果实(ChatGPT)的成长周期相对较短,但是一棵果树从树苗变成能够能结果的果树,需要的时间则会很长。同样,作为树干的大模型,从GPT-1到GPT-4也经历了6年多的时间。
表1-1 人工智能与果树的对应关系
要想有树干、果实,首先需要树根,我们类比到人工智能领域,树根就是基础模型(Foundation Model),大语言模型的基础模型就是Transformer。2021年,李飞飞教授联合多位人工智能领域的专家发表了名为“On the Opportunities and Risks of Foundation Models”的文章,这篇文章专门介绍了Transformer这一基础模型是基于自监督学习的模型,该模型在学习过程中会体现出各种不同方面的能力,从而为下游应用提供动力和基础理论。因此可以将基础模型看作果树的树根,它为整个果树的发芽、成长、结果提供了基础能力。
有了树根(基础模型,例如Transformer)和树干(大模型,例如GPT-4)之后,一棵果树能够存活还需要土壤和养料。对于大模型来讲,土壤就是算力资源和高质量的语料资源,这是模型训练和能力提升的重要保障。
在人工智能时代,数据的重要性不言而喻。大语言模型的训练需要大量数据。研究报告“Will we run out of data”显示,未来人类的原始数据可能会越来越稀少,尤其是高质量的自然语言数据最快将在2026年就会被大语言模型耗尽。因此,如何获得合法合规、符合商业逻辑的数据源,成为大模型时代可持续发展的关键。
因此,我们在关注ChatGPT这款人工智能产品,并被它优秀的表现所惊艳的同时,也要意识到ChatGPT的发展离不开大模型、基础模型、算力资源、高质量语料所形成的工程化创新,这一过程并非一蹴而就,而是在多年的实践过程中发展的。可以说,从来就没有横空出世的爆款产品,只有一种看不见的日积月累的强大势能。