1.3　真实的“穿越”体验

近几年来，穿越类型的电视剧、小说颇受大众喜爱。穿越并不仅限于回到过去，也可以穿越到未来，或穿越到平行空间、平行世界、平行宇宙，或是同一时空、同一时代，还有可能“空穿”，穿到一个没有历史记录（架空）的时代，还有可能穿到异时空，如玄幻文明、仙魔文明、奇幻文明等。大众之所以热衷于“穿越”，其主要原因便是可以将自己投射到剧作的角色当中，在一个虚构的世界里做自己想做的事，逃离掉现实生活中的烦琐。

如果换在以前，这种穿越可能只是人们的幻想，但现在借助虚拟现实技术，的确可以在一定程度上还原穿越的感受—当进入虚拟现实世界的那一刻起，你便踏入了穿越的世界。

1.3.1　身临其境的视觉体验

在虚拟现实系统中，视觉感知技术的主要作用对象就是人的眼睛。在所有感觉中，视觉的意义非比寻常，在日常生活中，有超过80%的外界信息都是由视觉系统感知、接收和处理的。人的眼球直径在24mm左右，后半部分基本被视网膜覆盖。视网膜由1.1亿～1.3亿个相应黑白的柱细胞和600万～700万个感受彩色的锥细胞组成。视网膜边缘分辨率很低，中央凹处分辨率极高。另外，人眼具有很强的动态调节适应能力，现阶段虚拟现实技术还很难满足人眼对环境的感知变化，是用户体验的主要瓶颈之一。现阶段，虚拟现实内容传入人眼的途径主要有两种：一种是通过屏幕显示，人眼观看屏幕获得内容；另一种是通过投影技术，将画面直接投射到视网膜上。

第一种技术应用简单，使用较普遍。低至手机屏幕，高至4K电视屏幕，都可以作为显示屏，但这些产品都或多或少地存在缺点，例如一定程度的颗粒感、边缘失真、黑边、延迟、帧率过低、对比度一般等。从视觉角度来说，如果需要获得更好的虚拟现实体验，就需要设备具有高帧速率、低延迟、高分辨率等特点。目前，虚拟现实设备需要达到分辨率2K像素以上，延迟20ms以内，屏幕刷新率在60Hz以上，视场角在95°以上才能达到入门标准。

根据AMD公司的计算，人类视网膜中央能达到60个PPD（Pixels Per Degree，每度的像素）的可视度，在水平120°、垂直135°的视野下，两只眼睛的视野可以达到1亿6000万像素，换算成分辨率大概就是16K像素。虚拟现实设备需要达到2K像素分辨率以上，才能提供及格的显示效果，要达到人眼所能感知的效果，那么虚拟现实显示技术还有很长的路要走。

目前市场上分辨率能达到4K像素的VR设备并不多，有中科院云计算中心与深圳威阿科技有限公司联合推出的蜃楼TV-1和小派科技在2016年4月7日发布的小派4K VR等，4K像素设备的分辨率达到了3840×2160像素，可以为用户提供不错的显示效果。另外一个思路就是让眼球注视的地方显示较高分辨率，而视野外围使用较低分辨率。在2016年的CES美国拉斯维加斯电子消费展上，一家德国公司展示了注视点渲染眼球追踪技术，局部渲染功能让硬件优先高分辨率渲染眼球中央的图像，视野外围用较低分辨率的渲染，从而提升渲染效果，减少设备的计算量。

第二种显示技术是直接将画面投射到眼球。谷歌眼镜、Avegant Glyph、Magic Leap等都使用了类似的技术。不同的是，谷歌是单眼投影，通过一个微型投影仪和半透明棱镜，将图像投射在视网膜上；Avegant Glyph采用两个独立投影仪，采用VRD虚拟视网膜技术；Magic Leap采用的是光纤投影仪，使用的是Fiber Optic Project技术。投影技术可以实现更为细腻、逼真的3D效果，而且画面直接投影到视网膜，缓解了眼睛盯着屏幕产生的疲劳感。

借助虚拟现实的新型显示技术，便可以创造出一些以前不曾有过的新式体验。以前，如果我们想要表现一个物体或者场景的立体感通常会通过制作沙盘模型、三维动画等方法来实现，而这些方法往往都有一定的局限性。例如楼盘的沙盘模型，如图1-8所示，用户只能看到物体的表面，而不能进入物体内部直接浏览其构造。

而楼盘的三维动画，如图1-9所示，在沙盘的基础之上进行了“升级”，除了可以参观物体外部，还可以进入物体内部进行浏览，但不具有任何交互性，即不是用户想看什么地方就能看到什么地方，用户只能按照设计师预先固定好的一条线路去看某些场景，而不能按照自己的意愿主动地进行浏览。

虚拟现实与沙盘模型和三维动画不同的是，它可以通过专业的360°全景摄像机将用户所想要去的地方、浏览的风景拍摄下来，通过整理编辑和制作，将一个个画面串联到一起，形成一个完整的模拟场景。在场景里用户的视角是全方位的，用户可以根据自己的思维自由浏览，并可以从任意距离、角度浏览场景，就如同用户本身处于场景中一样，如图1-10所示。

1.3.2　自带画面的口技

在初中课本中有一则文言文《口技》，说的是口技艺人惟妙惟肖的口技表演，让在场的宾客仿若身处其境，甚至“无不变色离席，奋袖出臂，两股战战，几欲先走”，而撤掉屏风之后一看，却又只有“一人、一桌、一椅、一扇、一抚尺而已。”充分地体现了声音在人意识中的主导作用。口技是优秀的民间表演技艺，也是杂技的一种，表演者用口、齿、唇、舌、喉、鼻等发声器官模仿大自然中的各种声音，如飞禽猛兽、风雨雷电等，能使听的人达到身临其境的效果，如图1-11所示。

在《口技》里，听众只能听见口技艺人发出的声音，而画面感则需要通过自己的想象来获取，而在虚拟现实系统中，声音的出现都自带相应的画面，不需要听众自己想象。并且虚拟现实技术采用的是3D音效，是利用扬声器仿造出的、似乎存在但是虚构的声音。也就是说，如果扬声器仿造出你的周围有雨滴落的声音，那么当你闭上眼睛时，就会感觉周围真的在下雨，但是你的身上却并没有湿漉漉的感觉，这种效果也可以说是前面内容中所提到的打造浸沉感的一部分。

音效在虚拟现实体验中占比仅次于视觉，许多虚拟现实设备都配备耳机，以提供较好的环绕音效。谷歌的Cardboard部门最新的SDK支持让开发商把空间音效集成到应用中，开发者可以把录制好的声音放到三维空间的任何地方。用户转头会听到声音有强弱变化，而且还能直观地察觉到声音发出的方向。想象一下，在玩恐怖游戏时，后方突然出现了声音是不是很让人毛骨悚然呢？有些厂商还针对虚拟现实单独发售了配套耳机，以提供完美的环境声音，例如三星发布的Entrim 4D，结合了内耳前庭刺激和计算机算法，让用户感受到由运动带来的声效变化，从而提升虚拟现实的体验效果。2015年，东方酷音推出了一款3D全息互动耳机Coolhear V1，号称支持实时处理输入音频文件的声场方位及声音的空间轨迹，实现较好的虚拟现实互动3D音效，如图1-12所示。

1.3.3　梦境触手可及

有了视觉和听觉上的完美呈现，虚拟现实场景的外部架构才算基本完成，接下来要做的便是内部架构了。首先是触觉架构，就像之前提到的三维动画一样，用户只能被动地进行浏览，对于场景中的一切，看得到却摸不着，没有交互性，而触觉的架构就为了解决这一问题。

一直以来，触觉的复制都是虚拟现实发展路上的一块挡路石。理想的虚拟现实场景中，当用户对自己所看到的事物感兴趣的时候，是可以用手或者身体的其他部分去接触的，感受物体是“真实”存在的，而不是触碰起来没有任何反馈，甚至还可能会直接穿过物体，打破虚拟现实所打造的真实感。但因为没有办法去复制有着运动学的真实世界，所以触觉复制曾一度被认为是不可能实现的事情。

现阶段虚拟现实对触觉的反馈主要有两种方式：一种是穿戴式，另一种是桌面式。以射击游戏为例，射击有瞄准、发射等动作，伴随着开枪声音，还会有重量与后坐力反馈给玩家。瞄准、射击等动作、震动及重量可以通过手柄或数据枪实现，甚至可以让玩家看到准星上扬、弹道偏移，听觉上的枪响也基本可以还原，但后坐力却很难反馈。还有很多时候，玩家需要拿起一个物品或者挥舞手臂抵挡伤害等，虽然只是游戏，但谁都不想真正感到疼痛或受伤。总体来说，虚拟现实的触觉应该更丰富一些，依靠手柄振动、喷水、吹风、VR体验椅的摇晃（如图1-13所示）等还不足以完整地展现虚拟现实体验。仅仅一个“拿”的动作，触觉反馈便很难实现，不过科学家正朝着这个方向努力。

而就在2014年，德国的一位研究员发明了一种由两部分组成的设备，如图1-14所示，这个设备叫作Impacto，可戴在手臂或腿部，模拟撞击的感觉，例如一个足球撞到脚上，或者一个人拍打你的手臂的碰撞感。

这个无线设备的其中一个组成部分提供了虚弱的震动感，与大部分触觉设备相似，就像你用Xbox手柄玩赛车时感觉到的震动。但是Impacto的有趣之处是它的第二个部分，它会为你的肌肉连上两个电极，它可以模拟与肌肉疲劳时所做物理治疗时相同的肌肉电刺激。当这两个部分结合起来，你的大脑就会受骗就像出现了某种幻觉。Lopes在接受Tech Insider采访时说道，当触觉驱使你的肌肉移动的时候，大脑也有一部分的主导。让玩家在戴着VR头盔时感受到撞击的力量，为触觉复制方面的缺陷提出了一个解决办法。

1.3.4　语音交流

除了上述的触觉架构外，在虚拟现实系统中，语音的输入输出也很重要。在Facebook未来十年的计划中，要把二维的聊天通信做成三维的可面对面交流的触摸形式。两个相隔几千米的两个人可以在虚拟现实的世界通过手势动作、头部动作和语音进行交流，甚至可以使用虚拟现实场景里的自拍器进行拍照，照片还可以发送到Facebook邮箱，作为“现实版”的纪念，如图1-15所示。

但就目前而言，大部分的虚拟现实产品中所使用的语音交流都是单方面的，例如，伴随着用户进入一个场景，场景中会响起与之匹配的语音解说，用户可以通过点击等操作将语音关闭，但不能与场景中的人或物进行自主的对话交流，因为计算机只是一个操作系统，它没办法像人一样判断语音的语气和其隐藏的含义，及时给出正确且简短的回复。