从虚拟现实到实时的真实

用虚拟现实技术塑造出能超越实体的世界，是人们一直以来想用计算机做的事之一。狭义的元宇宙，通常指的就是视觉上让我们感觉身临其境的虚拟世界，但我们又明确知道，它是“假的”或“人造的”。最初，这样的计算机制造的世界，首先是由目镜在我们的眼前塑造出来的3D虚拟现实影像。这个领域中的典型公司是Facebook收购的Oculus虚拟现实头盔公司，它已经推出多代Oculus Quest头盔产品。

之后又逐渐演化，变成实体与屏幕的结合。谷歌眼镜（Google Glass）展示了在眼镜上叠加信息的可行性，这就是把计算机信息叠加在眼睛看到的现实景象之上，形成所谓的增强现实（augmented reality，AR）的场景。这激发了一系列应用，当前真正实地应用的多是这一类，工程师戴着增强现实眼镜可以看到工厂里机器的实际运行数据，安防人员戴着专用的眼镜进行人的识别、锁定可疑目标。

微软公司则用全息显示设备Hololens试图实现所谓的混合现实（mixed reality，MR），在电脑生成的接近真实的虚拟场景上叠加真实世界的场景。但是这种分类并不严格，在真实场景中叠加虚拟场景有时候也被称为混合现实。按微软的说法，它更强调将人体全息影像、高保真全息3D模型及周围的现实世界结合起来。在电影《星球大战》中，我们看到过类似的未来想象：在通话时，莱娅公主的全息影像出现在主角天行者卢克面前。

另外，很多人曾经看过获得谷歌投资的Magic Leap所展示的视频，在视频中，人们无须佩戴任何设备，肉眼就可以看到鲸鱼从体育场中跃起。这是用“光场”（light field）投射技术取代屏幕呈现，光场投射出的、由机器生成的人工场景可以和现实场景叠加，让你以为那些物体就在那儿。微软的Hololens和Magic Leap都是采用光场投射技术，后者官网首页现在写着：“元宇宙已在这里。”

随着数据、算法与芯片的优化，近年来让人激动的新进展是，用机器实时模拟出现实。如果你未仔细辨认，你会认为你听到、看到的是真的。有些初级的应用已经在我们身边，比如几年前我们就能在导航软件中体验到，人工智能算法（更准确地说是机器学习算法）可以对一个人的语音进行学习，模拟出他的声音说导航引导。在2020年，北京人民广播电台的一位主持人给我听人工智能做的音乐节目播音，我根本听不出那是一个机器合成的人的声音，那是“比真实还真实”的电台主持。

现在，计算机已经可以渲染出真实的人物与场景画面，欺骗过比耳朵要求高得多的眼睛。2020年5月，芯片公司英伟达（Nvidia）创始人黄仁勋做过一次视频演讲，其中有14秒视频的背景与演讲人都是由计算机生成的。虽然故意留有蛛丝马迹，但当时所有人都没能发现。一年后，当他们在计算机学术会议上公布背后的算法、系统和工程实践时，人们惊呼：“老黄欺骗了世人！”

或许有人会问，好莱坞不早就实现了这些吗？从卢卡斯的工业光魔到乔布斯的皮克斯电影公司，它们早就能在大荧幕上以最精细的方式展示冲击我们眼睛的画面。

这一次不一样。之前，电影工业做的是，事先进行大量的渲染、剪辑、特效，合成出比真实还真实的画面。现在，计算机图形学、机器学习算法和芯片的算力共同展示的可能性是，也许在不久的将来，计算机可以实时在你眼前绘制出比真实还真实的画面。

在电影《阿凡达》中，数字技术渲染出来的人或角色无比逼真。但是，现在我们对逼真度不如电影的“数字虚拟人”充满好奇，是因为他们已经能做到（当然非常勉强地）与我们交谈，能够做到实时互动。最早在2007年，日本Crypton Future Media公司用雅马哈的语音合成程序推出合成声音的数字歌手“初音未来”，后来她逐渐地有了自己的具象形象、全息形象，甚至过去十年每年举办演唱会。近年来，随着人工智能技术的发展，一些公司甚至创造数字虚拟人员工。2021年9月8日，阿里巴巴宣布AYAYI成为首位数字员工，并担任天猫超级品牌日营销活动的首位数字主理人（见图2-1）。

图2-1　AYAYI成为阿里巴巴集团的首位数字员工

资料来源：天猫超级品牌日微博。

我们这里类似地造词，把这种能够实时计算生成视觉与声音称为模拟现实（simulated reality），它的关键词是“实时”。实时地生成与叠加，才能真正变成可用的日常应用，而不仅仅是展示。过去，我们可以拍摄一些视频，然后，用后期制作的方式加上信息框展示数据，增强现实眼镜现在能做的是，实时地在你的眼前呈现数据与信息。随着技术的进步，实时生产的虚拟影像可能会逐渐地投入应用。电影与视频展示的是未来可能性，而当技术能够达到实时后，应用就能进入我们的生活。