终极指南 所有你该知道的AR/VR/3D技术与发展

我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

(原标题:终极指南 所有你该知道的AR-VR-3D技术与发展)

3D和“全息影像”这些词听得大家耳朵都起茧了。从松下在2010年发布首个3D电视系统起,到现在的虚拟现实和增强现实技术,这些词已经融入到我们的流行文化中,越来越成为我们所关注的焦点。毕竟现实世界是立体的,我们又何必把自己的体验限制在平面的屏幕上呢?

终极指南 所有你该知道的AR/VR/3D技术与发展

从2D过渡到3D是一个自然的过程,正如上世纪50年代的时候,黑白电影和黑白电视转变为彩色一样。但是在很多方面来看,从2D到3D带来的影响或许会更大。

3D的意义并不只是为了呈现更加可信的真实世界,而是将数字世界变成现实生活的一部分,让它的每一个细节都变得像现实世界一样真实。

这个即将到来的分水岭将对我们的工作、学习、社交和娱乐方式产生深刻的影响。我们将能突破现实世界的物理限制,我们的想象力有多大,世界就有多大。

当然,这个转变也会影响我们使用的设备,以及我们与机器的交互方式。这也是为什么谷歌、Facebook和苹果这样的公司都在尽快抢占3D市场的原因:谁赢得了3D战争,谁就能掌握下一代用户交互的控制权。

但现在这还只是一个憧憬而已。尽管之前已经有人试过打开3D市场,但是我们仍不得不依赖狭窄的屏幕来进入电子世界。为什么?因为现在的3D存在着许多不足,目前的技术水平还不足以实现一个真实可信的世界,所以消费者还在继续等待。

接下来YiViAn想以用户的角度向你全面地介绍3D技术,VR/AR头显和裸眼3D显示屏等3D产品正在面临的挑战,以及这些产品将如何成为我们与数字世界之间的直观交互界面。

我们为什么需要三维画面?

在深入了解3D技术之前,我们需要先理解这项技术的原理。

你可以试一下眯着一只眼镜来穿针,你会发现这比你想象中的更困难。进化已经改变了人类对3D的感知,让我们可以更快更准确地掌握现实世界的信息。

终极指南 所有你该知道的AR/VR/3D技术与发展

我们是如何在生理层面上获取深度感知的?这是一个复杂的课题。人类的眼睛和大脑可以感受到很多深度提示,当这些提示在现实世界中出现的时候,它们之间会互相加强,在我们的脑海中形成清晰的3D环境图像。

如果我们想用一个3D错觉来欺骗视觉系统和大脑,我们可能无法真实地重现所有的深度提示,这样形成的3D体验会有所偏差。因此,我们需要理解一些主要的深度提示。

立体视觉(双眼视差)

无论你相不相信,你的两只眼睛所看到的东西是不一样的。它们看物体的角度会有细微的不同,所以视网膜得到的图像也会有所差别。

我们看远处的物体时,左右眼睛之间的视差会比较小。但在物体较近的时候,视差便会增大。这个差别可以让大脑测量和“感受”到物体的距离,触发对深度信息的感知。

现在大部分的3D技术都是依靠立体视觉来欺骗大脑, 让大脑相信自己感受到了深度信息。这些技术会向两只眼睛呈现不同的图像,如果你看过3D电影的话(例如《阿凡达》和《星球大战》),那你应该已经通过3D眼镜体验过了这种效果。

更为先进的“自动立体”显示技术可以将不同图像以不同的方向投射到空间中,这样眼睛就能接收到不同的图像,不需要佩戴眼镜。

立体视觉是最明显的深度提示,但它不是唯一的线索。人类其实只通过一只眼睛也能感受到深度。

运动视差

终极指南 所有你该知道的AR/VR/3D技术与发展

闭上一只眼睛,然后将食指放在另一只眼睛前面保持不动。现在稍微将头上下左右地运动。这时你会看到背景好像是在相对手指运动。更准确地说,看上去是你的手指比背景移动得更快。

这种现象叫做运动视差,这是你可以使用一只眼睛感受到深度的原因。如果要提供真实的3D感受,运动视差是一个很重要的效果,因为观众与屏幕的相对位移是非常轻微的。

没有运动视差的立体视觉仍然可以让你感受到深度,但是这种3D图像会出现变形。例如在3D地图中的建筑物会开始出现扭曲, 背景的物体看上去好像是被前景的物体故意遮挡一样,如果你仔细看的话会觉得相当难受。

运动视差跟我们的视觉感受密切相关――事实上我们所看到的近大远小效果正是一种深度提示。

视觉调节

就算你正在完全静止地坐着(没有运动视差), 然后闭上一只眼睛(没有立体视觉),这样你仍然可以分辨远处和近处的物体。

这时再尝试上面的手指实验,将你的食指放在眼前静止不动,然后聚精会神地盯着这根手指。在眼镜聚焦的过程中,你会发现背景会变得模糊。现在将你的焦点放在背景上,你会发现手指变得模糊,而背景变得清晰了。这跟现代照相机的工作原理是一样的,我们的眼睛具有改变焦点的能力。

眼睛是通过睫状肌的收缩来改变晶状体的形状,从而达到变焦的功能。

终极指南 所有你该知道的AR/VR/3D技术与发展

那么眼睛的睫状肌是怎么知道应该用多大的力气来收缩的呢?答案是我们的大脑有一个反馈回路,睫状肌会不断地收缩和舒张,直到大脑得到最清晰的图像为止。这其实是一个瞬间完成的动作,但如果过于频繁地调节睫状肌的话,我们的眼睛会感到很疲劳。

只有在距离两米以内的物体才能触发睫状肌的运动,超过这个距离,眼镜就会开始放松,将焦点放在无限远处。

视觉辐辏与视觉调节的冲突

当你的双眼聚焦于附近的一个点时,它们其实会在眼眶中旋转。集中视线的时候眼外肌会自动伸展,大脑可以感受到这个动作并且将其视为一种深度提示。如果你把焦点放在10米以内的物体上,你会感受到眼球的会聚。

终极指南 所有你该知道的AR/VR/3D技术与发展

所以当我们用两只眼睛看世界的时候会用上两组不同的肌肉。一组肌肉负责让双眼会聚(辐辏)到同一个焦点上,而另一组肌肉则负责调节视网膜成像的清晰度。如果眼睛辐辏不当,那我们就会看到双重影像。如果视觉调节不当,那我们就会看到模糊的影像。

在现实世界中,视觉辐辏和视觉调节是相辅相成的。事实上,触发这两种反应的神经是相连的。

不过在观看3D、虚拟现实或者增强现实的内容时,我们通常都会将焦点放在特定的位置上(例如3D影院的银幕),但是双眼接收到的信息会让双眼会聚到另外的距离(例如从银幕冲出来的巨龙)。

终极指南 所有你该知道的AR/VR/3D技术与发展

这时我们的大脑将难以协调这两种冲突的信号,这也是有些观众在观看3D电影的时候会感到眼睛疲劳甚至是恶心的原因。

使用特制的眼镜观看3D内容

你还记得那些用卡纸做成的红蓝立体眼镜吗?这种“滤光眼镜”可以让让左眼只看到红光,右眼只看到蓝光。通常的立体图像会在左眼叠加一层红色的图像,在右眼叠加一层蓝色的图像。

终极指南 所有你该知道的AR/VR/3D技术与发展

当我们通过滤光眼镜观看的时候,大脑的视觉皮层会将所看到的图像融合认为是三维场景,而且画面的色彩也会被修正。

终极指南 所有你该知道的AR/VR/3D技术与发展

现在所有基于眼镜实现的3D效果,包括虚拟现实和增强头显都是利用这样的工作原理――通过物理方式分离左眼和右眼所看到的影像来营造立体视觉。

偏光3D眼镜(用于电影院)

你现在去看电影的时候会拿到一副看上去完全不像偏光眼镜的3D眼镜。这种眼镜并不会根据颜色来过滤图像,而是根据光的偏振来过滤图像。

我们可以把光子想象成一种会振动的实体,它们会沿着水平方向或者垂直方向振动。

在电影屏幕上,一个特制的投影仪会生成两幅互相重叠的图像。其中一幅图像只会向观众发射水平振动的光子,而另一幅图像则会发送垂直振动的光子。而这种眼镜的偏光镜片可以确保两幅图像可以分别到达相应的眼睛。

终极指南 所有你该知道的AR/VR/3D技术与发展

如果你有一副偏光眼镜(不要从电影院偷出来哦),你可以用它来观看现实世界的偏振。把这副眼镜保持在你视线2英尺的距离上,然后通过它来观看汽车挡风玻璃或者水面。在你将眼镜旋转90度的过程中,你应该会看到穿过镜片的眩光的出现和消失。这就是偏光镜的工作原理。

偏光镜可以允许所有的彩色色谱进入到眼睛中, 这样子3D画面的质量也会得到增强。

从3D影像质量来看,这种眼镜只能提供立体视觉这一种深度提示。所以尽管你可以看到图像的深度,但如果你离开座位在电影院内走动的话,你将会看不清周围的物体,背景会以与运动视差相反的方向移动,也就是像是会跟着你一样。

还有一个更严重的问题是这种眼镜缺乏视觉调节的支持,这会导致视觉辐辏和调节之间产生冲突。如果你盯着一条龙从屏幕向你靠近,你很快就会感受到极度的视觉不适。

这也是为什么电影中的龙只会非常快速地飞过――这样做只是为了达到惊吓的效果,同时避免你的眼睛感到不适。

主动快门式3D眼镜(用于电视)

如果你家里有一台3D电视的话,它配套的眼镜可能不是偏光类型的,而是采用了“主动快门”的技术。这种电视会交替显示右眼和左眼的图像,而眼镜会按照电视的频率同步遮挡相应的眼睛。如果切换的频率足够快的话,大脑可以将这两种信号混合成一幅连贯的3D影像。

终极指南 所有你该知道的AR/VR/3D技术与发展

为什么不使用偏光眼镜呢?虽然有些电视会采用这种技术,但是不同方向的偏振图像必须来自不同的像素,所以观众看到的图像分辨率会减半。(但是电影院里的两幅图像是分别投影在屏幕上的,而且它们可以互相重叠,所以不会导致分辨率下降。)

主动快门式3D眼镜一般只能支持立体图像这一种深度提示。一些更加先进的系统会采用追踪技术来调整内容,通过追踪观众的头部实现运动视差的支持,但是只能用于一位观众。

虚拟现实头显

虚拟现实是一种全新的3D渲染类型。这项技术最近得到了广泛的关注。现在已经有很多人体验过虚拟现实头显了, 而未来几年将有更多的人能够体验到这项技术。那么, 虚拟现实的工作原理是什么呢?

VR头显不是通过过滤来自外部屏幕的内容来工作的,而是生成自己的双眼图像,并直接呈现给相应的眼睛。VR头显通常包含两个微型显示器(左眼一个,右眼一个),它们现实的头像会经过光学元件的放大和调整,并显示在用户眼前的特定位置上。

终极指南 所有你该知道的AR/VR/3D技术与发展

如果显示器的分辨率足够高的话,图像的放大比例也会更高,这样用户就会看到更广阔的视场,而沉浸体验也会更好。

现在像Oculus Rift这样的虚拟现实系统会追踪用户的位置,为立体视觉增加运动视差效果。

目前版本的虚拟现实系统并不支持视觉调节,并且容易造成视觉辐辏和调节的冲突。为了确保用户体验,这个技术难题是必须要解决的。这些系统现在也不能完全解眼镜动作的问题(范围有限和失真),但是这个问题未来可能会通过眼球追踪技术来解决。

增强现实头显

同样的,增强现实头显也变得越来越普遍。增强现实技术可以把数字世界和现实世界融合在一起。

终极指南 所有你该知道的AR/VR/3D技术与发展

为了确保真实感,增强现实系统不仅需要追踪用户在真实世界的头部运动,同时也要考虑自己所在的现实3D环境。

如果Hololens和Magic Leap最近的报道是真的话,增强现实领域现在已经出现了巨大的飞跃。

近眼光场显示

正如我们的两只眼睛看到的世界会有所不同,现实世界的光线也是从不同的方向进入瞳孔之中的。为了触发视觉调节,近眼显示屏必须能够模拟独立从各个方向发射的光线。这种光信号被称为光场,这是虚拟现实和增强现实产品未来的关键。

在实现这种技术之前,我们只能继续忍受头痛了。

这些是头显设备需要克服的挑战,它们面临的另外一个问题是融入社会和文化(比如Google Glass的遭遇)。如果想同时以多个视角显示世界,我们则需要利用裸眼3D显示系统。

裸眼3D屏幕

如果不佩戴任何设备,我们可以如何体验3D图像呢?

看到这里, 我想你应该明白如果想提供立体视觉,3D屏幕必须朝着不同的空间方向投射出不同视角的影像内容。这样子,观众的左眼和右眼将会自然地看到不同的图像,从而触发深度感知,因此这种系统被称作“自动立体显示”。

终极指南 所有你该知道的AR/VR/3D技术与发展

因为3D图像是依靠屏幕投射的,所以只要3D效果不是太夸张的话,自动立体显示本身可以支持支持视觉辐辏和视觉调节。

但是这并不代表这种系统不会造成眼睛不适。事实上,这种系统在不同视觉区域的转换方面也有另外一个问题。

这种系统的图像会出现频繁的跳跃、亮度变换、暗带、立体视觉中断等问题,最糟糕的是左右眼看到的内容被颠倒,导致完全相反的3D感受。

那么我们应该如何解决这些问题呢?

棱镜膜

3M公司在2009年开始对这项科技进行商业化生产。

棱镜膜会被插入到普通LCD屏幕背光的薄膜堆栈之中,可以分别通过来自左右某一方向的光线来照亮,当光源来自左边的时候,LCD的图像将会在投射在右边的区域, 当光源来自右边的时候,图像会在左边的区域投射。

快速切换光源的方向,并按照同样的频率改变左右眼看到在LCD看到内容,这样可以产生立体视觉,但是前提是屏幕需要放在观看者的正前方。如果通过其他视角观看的话,立体效果将会消失,图像也会变会平面。

因为观看的范围非常有限,所以这种显示技术通过称为“2.5D”。

视差屏障

在一个2D屏幕上面加入一块被开了许多小口的遮盖层,当我们通过这些小口观察屏幕的时候,我们不能看到下面的所有像素。我们能够看到的像素实际上取决于观看角度,观察者的左眼和右眼可能会看到不同的像素组。

终极指南 所有你该知道的AR/VR/3D技术与发展

“视差屏障”这个概念早在一个世纪以前就被发现了, 夏普在十年前首次将其投入到了商业应用。

经过改良,现在这项技术采用了可切换的屏障,这实际上是另一个活动的屏幕层,它可以产生屏障效果,也可以变为透明,将屏幕恢复到2D模式,以显示完整的分辨率。

早在2011年的时候,HTC EVO 3D和LG Optimus 3D就已经登上头条了,因为它们是全球率先支持3D功能的智能手机。但它们其实只是2.5D技术的另一个例子,只能在非常狭窄的视角范围提供3D效果。

从技术上讲,视差屏障可以不断扩展形成更宽的视角。但问题是视角越宽,你所需要屏蔽的光线就越多,这样就会造成耗电量过大的问题,尤其是对于移动设备来说。

柱状透镜

在一个2D屏幕上面覆盖一层微型凸透镜,我们都知道凸透镜可以聚焦来自远处光源的平行光,小孩子用放大镜点着东西也是利用了这个原理。

这些透镜可以收集从屏幕像素发出的光线,并将其转变为具有方向的光束。我们把这个现象称为准直(collimation)。

终极指南 所有你该知道的AR/VR/3D技术与发展

光束的方向会随着透镜下方的像素位置而改变。这样的话,不同的像素将会跟随光束投射到不同的方向上。柱状透镜技术最终可以达到视差屏障同样的效果(都是利用在不同的空间位置看到的像素组不同的原理),只是柱状透镜不会遮挡任何的光线。

那为什么我们在市面上没有看到柱状透镜3D屏幕呢?

这不是因为没有人尝试,东芝就在2011年在日本发布过第一代系统。但是这种屏幕在仔细观看的时候会出现了一些难以接受的视觉假象,这主要是由透镜产生的问题。

首先,屏幕像素通常都是由一个面积较小的发射区和一个面积较大的“黑色矩阵”组成的,后者是不发光的。在经过透镜的处理之后,单个像素的发射区和黑色矩阵会被偏折到空间的不同方向。这样会导致3D画面出现非常明显的黑色区域。唯一能解决这个问题的方法是对透镜进行“散焦”,但是这样做会导致不同视角之间的干扰,图像也会变得模糊。

其次,只用单个透镜是很难在广视角下达到合适的准直的。这也是相机镜头和显微镜会使用复合透镜而不是单透镜的原因。因此柱状透镜系统只能在较窄的视角(大约20度)观察到真正的运动视差。超出这个范围的话,3D图像就会不断重复,感觉就像观看的角度不对一样,图像也会变得越来越模糊。

较窄的视场和糟糕的视觉转换是柱状透镜屏幕的最大缺陷。对于电视系统来说,如果观众会自动调整他们的头部并且不会走来走去的话,那么现在的柱状透镜技术是可以接受的。

但是在手机和汽车这样的使用场景下,头部是肯定会有移动的,这样柱状透镜系统就很难达到理想的效果了。

那么,我们应该如何设计含有宽广视场和流畅转换的裸眼3D视觉系统呢?

眼部追踪

如果我知道你的眼睛和屏幕之间的相对位置,我可以计算出相应的视角,并尝试将图像调整至眼睛的朝向。只要我能快速地检测到你的眼睛的位置,并且有同样快速的图像调整机制,那我就能确保你在任何视角都能看到立体视觉,以及平滑的运动视差渲染。

这就是眼部追踪自动立体屏幕的运作原理。

终极指南 所有你该知道的AR/VR/3D技术与发展

这种方法的好处是:屏幕在任何时刻都只需要渲染两个视角的画面,这样可以保持大部分的屏幕像素。从实际的角度上讲,眼部追踪系统可以结合目前视差屏障技术一起使用,避免柱状透镜系统产生的光学假象。

但是眼部追踪并不是万能的。首先,它每次只能支持一个观众,而且,眼睛的追踪需要设备配置额外的摄像头,以及在后台持续运行用于预测眼睛位置的复杂软件。

对于电视系统来说,尺寸和功耗不是一个大问题,但是这会对移动设备造成巨大的影响。

此外,即使是最好的眼部追踪系统也会出现延迟或者错误,常见的原因包括灯光的改变,眼睛被头发或眼镜遮挡,摄像头检测到另外一双眼睛,或者是观众的头部运动得太快。当这个系统出现错误时,观众会看到非常不适的视觉效果。

衍射背光

裸眼3D技术的最新发展是衍射“多视角”背光LCD屏幕。衍射是光的一种特性,光线在遇到亚微米物体时会出现偏折,所以这就意味着我们要准备进入纳米技术的领域了。

你没看错,就是纳米技术。

普通的LCD屏幕背光会发出随机分布的光线,也就是每个LCD像素都会向广阔的空间发射光线。不过衍射背光可以发出统一方向的光线(光场),而且可以设置某个LCD像素发出单向的光线。通过这样的方式,不同的像素可以向不同的方向发送自己的信号。

跟柱状透镜一样,衍射背光的方法也可以充分利用入射光。但是跟柱状透镜不同的是,衍射背光可以同时处理好较小和较大的光线发射角度,以及完全控制每个视角的角度扩散。如果设计合理的话,视角之间是不会产生暗区的,而且生成的3D图像也能跟视差屏障一样清晰。

终极指南 所有你该知道的AR/VR/3D技术与发展

衍射方式的另一个特点是,光线调整功能不会影响直接穿过屏幕的光线。

这样一来屏幕的透明度就可以被完整保留,所以这种屏幕可以添加在下方加入正常的背光,并恢复到全像素的2D模式。这为透视裸眼3D显示技术的发展铺平了道路。

衍射方法的主要问题在于颜色的一致性。衍射结构通常会把不同颜色的光线发射到不同的方向,而这种色散现象需要在系统层级进行抵消。

最新前沿:从3D视觉到3D交互

然而,3D技术的发展不会只止步于看到3D图像,它将会打开一种全新的用户交互范式。

3D体验很快就能达到适合消费的质量,而且我们也不会在担心自己的3D体验被打断。

在虚拟现实和增强显示系统中,这意味着要增加视场,支持视觉调节,并且提高系统在头部快速运动时的响应速度。

在裸眼3D显示技术中,这意味者要向用户提供足够的自由移动空间,并避免出现各种视觉假象,比如3D丢失、暗区、视觉跳跃,或者运动视差延迟。

混合世界

一旦幻象变得真实可信,我们就会忘记幻象背后的技术,并且把虚拟现实世界当成是真实世界,至少在我们撞上真实存在的墙壁之前。如果要实现这样的幻想,我们需要考虑到现实世界是有物理反应的。

当我们把电子数据转化成我们可以在真实世界感知的光信号的时候,我们需要将身体的真实反应数据发回数字世界进行交互。

在虚拟现实和增强现实头显中,这点可以通过用户佩戴或放置在周围环境的传感器和摄像头来实现。我们可以预见未来将会出现搭载传感器的智能服装,不过它们可能会较为笨重。

在3D屏幕上,这项任务可以直接由屏幕来完成。 事实上,Synaptics研发的Hover Touch技术已经能够可以实现非触摸手指感应了。很快, 我们只需要动动手指就可以与半空中的全息影像进行交互了。

可触摸的全息影像

一旦电子世界理解了用户的反应机制。 那么两者就能更自然地融为一体。换言之, 数字信号可以在我们撞上一面墙之前先在上面打开一扇门。

但是如果能在虚拟世界看得见摸得着这面墙,这样不是更好吗? 但是我们怎样把触感带进这个世界呢?

终极指南 所有你该知道的AR/VR/3D技术与发展

这个问题涉及到触觉反馈的领域,如果你有打开过手机的振动模式的话,那你就应该体验过这种反馈了。

例如一种配有振动单元的手套和其他服装,或者利用微弱的电信号来模拟皮肤,如果调整的当的话,你身体的不同部位将能感受到与视觉效果相匹配的触感 。

当然,不是人人都适合穿上这种衣服布满电线的服装或感受电流。

对于基于屏幕的设备来说,超声波触觉就可以让你直接在空中触摸到屏幕,不需要使用任何智能服装。这项技术是从屏幕的四周发出超声波,这些超声波的强度可以根据用户的手指动作进行调整。

信不信由你,这些强化声波的强度足以让你的皮肤感应到。Ultrahaptics这样的公司已经开始准备将这项技术推向市场。

全息现实

虽然今天的虚拟现实和增强显示头显越来越普遍, 但是它们在移动和社交方面仍有诸多限制,使得它们难以实现全面交互的3D体验。使用手指触觉技术的3D屏幕将能克服这一障碍,在未来让我们以更直接的方式与数字世界进行交互。

终极指南 所有你该知道的AR/VR/3D技术与发展

我在最近的一篇博客文章中将这种平台称为全息现实(Holographic Reality),并讲述了全息现实显示屏可以被应用在我们日常生活的方方面面。未来的所有窗户、桌子、墙壁和门都会有全息现实功能,我们在办公室、家中、汽车甚至是公共场所使用的通信设备都会搭载全息现实的元件。我们将可以随时随地访问虚拟世界,无需再佩戴头显或者连接线缆。

未来5年

在过去5年里, 3D技术、显示技术和头显领域已经出现了极大的发展。

在如此迅猛的技术发展之下,不难想象在未来5年我们将会在全景现实的世界中交流、学习、工作、购物或娱乐, 这将会通过由头显和3D屏幕等产品组成的先进3D生态系统来实现。

随意打赏

vr ar mrar vr 区别vr ar视频ar和vrar vr终极指南
提交建议
微信扫一扫,分享给好友吧。