03　新现实中的设计

◎Steve Kaneko

我要讲的内容基本上与大会主旨演讲中诸位优秀同行们讲的内容差不多，这是件好事，因为这说明对于当今的大趋势以及设计需要做什么，我们有着一致的看法。

下面我会谈谈混合现实这一概念。想必现在大家还没完全搞明白它是怎么回事，所以我先给它下个定义，然后大家可以决定要不要使用、开发它。

我会换一种方式给大家讲这个问题——去感受这台机器，而不是站在用户的角度去讲。这是另一种思考混合现实的方式，它会告诉你一个机器是如何使所有的这些成为现实的。最后，我想让大家有所思考，让大家散会时能带着想法离开，思考它对设计这个职业意味着什么，思考今天在座的各位以及全世界所有人，在新的技术浪潮下能做些什么。

大家看看技术史就会明白，它其实是一部了不起的人类成就的编年史。而神奇的是，现在从科幻变成现实再也不需要10年、20年、50年那么久了，有时可能只需要2～5年。而更为神奇的是，发明转变为消费产品也变得越来越快。这应该让我们感到恐慌，因为我们通常对实实在在的人进行各种实验的同时，根本没有去考虑后果是什么。我们应该做好准备，解决摆在面前的问题。

计算的新时代

我们先来看看是什么在加速这种创新，推动创新逐渐为我们所用。

首先，有一点很明显，那就是我们都被软件和数字化产品包围了。但是与此同时，我们也被物理世界包围着。铺天盖地的摄像头也把这个物理世界转变成了一个数字世界。

所以，整个世界如今正在被完全数字化。那我们怎么办呢？其实，当我们把这个被数字化的物理世界与数字世界配对在一起的时候，就得到了混合现实的基础。

移动设备技术正日益变得强大，分布式计算又给这些移动设备降低了成本，让它们运算速度更快，带宽也变得更好。所以，整体上我们开始看到移动设备正在闯进我们的生活。但问题是，最终这些移动设备会变成什么样子呢？

举个例子，例如你从兜里拿出手机，虽然它不过是一个有显示屏的设备，但是有可能安装了生物识别传感器或者摄像头，可以对你的面部进行识别，也能用来扫描周围环境，所以再次实现了将某个物体从实体空间向数字空间的转变。它还配有话筒，可以获取你的语音，从而进行语音识别、自然语言处理等。

你可以把这些设备想象成分配在世界各地的传感器。有了这些设备，所有数据都会很快被连接起来，我们就可以制造一个覆盖整个地球的网络。再加上人工智能和机器学习，我们就可以对情境进行预测，从整体上改善用户体验。所以，传感器事实上还可以帮助我们从整体上感知人类。

刚才讲到了面部识别和语音识别，如果想让灯打开，设备可以扫描到我睁眼，或者通过语音识别到我说：“把灯打开”。所以，可以这么说，自然交互本身正日益变得更加自然、直观和易于使用。其实，可以更进一步地说，自然交互正变得日益人性化。而在我看来，这是很重要的一点。我们也认为，这是此次技术浪潮中的一个临界点。

长久以来，机器一直在迫使我们不断学习计算机语言，而在当今这个世界中，我们要相信机器能够理解人类语言的时候到了。那怎么实现呢？

首先就是机器要理解人们所处的情境。我们是在物理情境里工作和生活的，通过理解这一情境，就能更好地预测人们的想法。Andy Goodman说到了零用户界面，我也会重复这一概念。在这个世界中，如果我们能够理解你的情境，我们就能在正确的时间、正确的设备上给你呈现正确的界面。

现在，其实很多事情都没有改变。例如我们给人类做设计，设计出来的东西各不相同。而我们作为人类，其实与一些非常简单的事物是有联系的。我们喜欢照片，喜欢记忆库，有时候还喜欢文件。我们与设备有着联系，而这些设备正在变得越来越强大，越来越成为我们的延伸。

最后，我们之所以要去生活，是因为我们有社交网络，需要彼此联系。我自己本人可以说就是一个产品化的人，我也爱设备，喜欢很多东西。说个人计算机是一台机器、一张控制台、一个全息透镜，这样的观点再也站不住脚了。个人计算机的概念如今变得更具吸引力，因为我们每一个人最终都会连接到云上，而这个云又会将我们与整个世界连接在一起。

我们的CEO萨提亚·纳德拉在几个月前问，下一代个人计算机会是什么？我们认为这个世界就是下一代个人计算机。同样，原因还是与传感器网络和智能云相关，所以这就是我们现在所处的大背景。

混合现实的基础

现在，我要回过来讲混合现实的基础。以下图为例，左边的一切都是我们能触碰到的，它是一个由原子组成的世界；而另一边则是一个完全数字化的世界，一个由比特组成的世界。一个是物理现实，一个是虚拟现实，听起来很简单。

那么，想一想两者如何产生交集呢？混合现实就是两者的混合。当然可能有人会问：“史蒂夫，我以前听过增强现实这个词儿，是不是同一回事？”是的。但是增强现实与混合现实事实上存在着一点细微差别，我会给大家说明，这也是为什么我们将它称之为混合现实的原因。

首先，从最简单的词义理解上来看，增强现实本身就是一个强有力的概念。它是一种信息的视觉叠加，有时候这种信息可以呈现一个人或者一处环境的独特情境。所以，从口袋妖怪到iPad等都可以在虚拟空间看到某种东西。它们通过镜头将情境展现出来，例如Hololens就是这样做的，它是一种非常神奇的技术。

接下来，我会讲一个概念，你们一定会觉得很有意思，那就是各位现在所处的环境就是所谓的增强现实。在这个世界当中，我可以真实地看到我的手、我身体的轮廓，而它们都正在被复制到物理世界或数字世界当中。所以，我们相当于在创造而且有能力创造一个孪生的世界，我们将之称为“增强现实”。我认为这是一个很大的不同点，对我们区分两者非常重要。

进一步来说，如果你还没有看过亚历克斯·基普曼在2016年的TED演示，我建议你去看。他的演示很精彩，他当时身处一片蘑菇当中，各种各样的事物布满了空荡荡的舞台。不但如此，他还做了一件非常神奇的事，那就是和别人一起发明了Microsoft Kinect还有Hololens等技术。

而他却问了这样一个问题：“怎样才能让机器理解这个世界，进而实现所有这一切呢？”我会非常简单地与大家分享他的想法。任何事只要放在一个表格中就会变得很简单，在上图左侧的表格中，上方一行的文字分别是输入、输出和触觉，右侧分别是人物、地点、事件。如果机器可以以这种3×3的表格为基础，对这个世界进行分类，那会是什么样子呢？

简单举个例子，拿输入来说，我们有所谓的表面重建，这就相当于对环境进行一次物理扫描，机器会变得很智能，智能到可以区分地面、椅子、人和桌子。AI可以帮助我们理解什么是语义理解，识别对象是人还是物体。

而输出是什么呢？可以简单将它想象成全息图，包括人的全息图、物体的全息图，然后替代现实中的自己。

最后，我想区分一下所谓的触觉的概念。想象先触碰一个全息图，然后它会通过某种反馈回应你。或者就像一杯咖啡，当你在物理世界中将它拿起来的时候，你能感知到它的温度。感知一杯虚拟咖啡的温度在今天或许不可能，但是，层出不穷的技术将会帮助我们实现这一点。

概念性理解

最后一个概念叫作“概念性理解”，也可称为“智能”。这个概念就是计算机视觉和技术的基础，它可以用来描述下一个科技浪潮。高智能物体能够意识到它们自己身处的环境，意识到它们和谁在一起，它们在什么情境当中。

这里要给大家举一个例子，我们有一个视频游戏叫Robo Raid，可扫码观看游戏实录。Robo Raid讲的是你的房间里有怪兽，它就是一个情境理解的例子。Hololens会扫描墙壁，在知道距离墙壁有2米后，它会将数字洞设置在2米之外，怪兽会从墙内出来。如果我换个地方玩游戏，整个游戏都会发生变化，因为它能识别物理情境。

有了Hololens，这款游戏变得非常有意思。注意墙上的那些洞是怎么被投射的，还有如果怪兽在地上行走，你可以跟着它在地上走。

好，我想大家都已经理解这个概念了。在座各位可能都在搞一些研究，不管你研究的是杰罗姆的无人驾驶车、物联网、全息透镜、虚拟现实，还是机器人技术，都需要有同样的设计思维，才能实现以上所有这些技术。所以，这就是新的计算时代。随着研究的不断深入，我们也在不断对它进行定义。

这里，我用一个短片来进行总结。建议大家去找一找物理与数字的融合、虚拟现实与增强现实的融合。你会看到物理世界与虚拟世界的融合为设计师带来创造力，你还会看到智能的实体会识别所处的情境。请扫码观看视频。

不管你们信不信，刚才这个短片里面的所有内容，我们都可以实现。例如，当一个人站在这儿，他能被扫描出现在另一个环境当中。现在这个技术耗资还比较多，主要是受限于摄像技术，但是我们还是把它给做下来了。这真是一个神奇的未来。

在今天的最后，我介绍一下我最喜欢的一句名言，它来自威廉姆·吉布森：未来已经存在，只是没有被非常均衡地分配。这应该也是许多在类似微软这样的企业工作的人喜欢的一句话。我们做的很多事情，都是把Hololens当成一个未来的产品，但是它已经存在在当下了。坦白来说，我们研究的很多技术根本不会触及消费者，更不用说应用到全世界了，起码在5年、10年、15年内不会。所以，毫无疑问，我们都活在未来之中。

我们这些设计师和工程师面临的挑战，是要解决的问题都是未来的问题，但是今天的错误决策会造成后果。所以，我们一方面面临着未来的问题，另一方面又要在更大的背景之下思考未来的解决方案。我希望各位能够记住一点，技术正在飞速发展，作为设计师，我们要停下来去认真思考我们正在做的决定，在更大的背景下去评估我们正在做的事情。我们能做的也不仅仅是我们应该去做的，这是设计行业面临的又一个有意思的挑战。

这就是我们的现实。混合现实、增强现实、数字物理混合、人工智能等。下图的左边是人们在现实世界里戏水，而另一边是科幻世界。在科幻世界里，技术往往被描述成可以让你逃离现实世界。到底发生了什么，让现实世界变得糟糕，以至于你要逃离？

我们应该要一直问自己一个问题：“让我们成为人的是什么？”我们要理解技术，才能掌控它们。而在另一边，我们要思考的是一个面向人的平台，也许是一场人道主义的设计运动，它让我们都可以参与进来，去拓展我们的人道主义，而不是收窄。而这也是我们今天汇聚一堂的原因，现在这个世界比以往任何时候都需要你们每一个人。同时，这个世界也需要设计。

Steve Kaneko

微软，Windows Mixed Reality and HoloLens设计总监合伙人