增强现实科普：AR潮即将来袭！你该知道的全在这

　　文章来源： 戴客网 （公众号imdaike）

　　 究竟什么是 AR

　　 经常和小伙伴调侃说，任性地抛开工作去度假回来，完全不知道这个世界又发生了什么事，又有了哪些听都没听说过的新技术诞生，仿佛我们刚刚从山顶洞下来。

　　 我相信你们感同身受，可能你才刚刚熟悉智能手表或者智能手环的概念，打算购买 Apple Watch 或者 Pebble Time 来追追潮流。可是，不知道什么时候，各类 VR 、 AR 等名词大举强奸你的视线，这些 R 究竟都是一些什么鬼？

　　 首先我们先来了解 VR ，虚拟现实，是利用计算设备模拟产生一个三维的虚拟世界，提供用户关于视觉、听觉等感官的模拟，有十足的「沉浸感」与「临场感」。你所看到的一切都是虚拟出来的世界，只是它试图欺骗你的大脑，让你认为它是真的。

　　 VR 相当于你做了一个相当真实的白日梦。

　　 当前的 VR 设备很多，比较典型的有三星 Gear VR 、 HTC Vive 、 Oculus Rift 以及暴风魔镜等。

　　 那 AR 是什么？ AR 指的是增强现实，现实被增强了，被虚拟信息增强了。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，你在可以看到现实世界的同时，还能够看到虚拟信息叠加在现实世界之上，并且双方还能够无缝结合、互动。

　　 调个侃， AR 就像你在白天见鬼了。

　　 AR 设备比较典型的代表是微软 Hololens 、 Meta 2 等等。

　　 AR 背后那些技术原理

　　 值得一提的是，添加到现实的这些虚拟信息、虚拟物件并非静态图片，它们会根据摄像头的移动，地理信息，以及各种现实的因素来不断的改变形态位置，你甚至可以和他们进行触摸、语音等交互。

　　 听起来， AR 好像更厉害的样子，因为它简直就算从科幻片里走出来的技术，它背后的技术原理是什么？下面我们像拆魔术一样，把 AR 背后的技术拿到台面上分析。（前方高能！前方高能！前方高能！大家请系好安全带，开始上课啦，不想听的同学，请直接跳到下一个部分）

　　 AR 从其技术手段和表现形式上，可以明确分为大约两类，一是 Vision based AR ，即基于计算机视觉的 AR ，二是 LBS based AR ，即基于地理位置信息的 AR 。

　　 基于计算机视觉的 AR

　　 它是利用计算机视觉方法建立现实世界与屏幕之间的映射关系，使我们想要绘制的图形或是 3D 模型可以如同依附在现实物体上一般展现在屏幕上。

　　 想要实现这一点，我们就要找到现实场景中的一个依附平面，然后再将这个 3 维场景下的平面映射到我们 2 维屏幕上，然后再在这个平面上绘制你想要展现的图形，从技术实现手段上可以分为 2 类。

　　 第一种， Marker-Based AR 。 事先制作好的 Marker( 例如 : 绘制着一定规格形状的二维码或模板卡片），然后把 Marker 放到现实中的一个位置上，相当于确定了一个现实场景中的平面，然后通过摄像头对 Marker 进行识别和形态评估，并确定其位置，然后将该 Marker 中心为原点的坐标系称为模板坐标系，我们要做的事情实际上是要得到一个变换从而使模板坐标系和屏幕坐标系建立映射关系，这样我们根据这个变换在屏幕上画出的图形就可以达到该图形依附在 Marker 上的效果，理解其原理需要一点 3D 射影几何的知识，从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系，然后再从摄像机坐标系映射到屏幕坐标系。

　　 第二种， Marker-Less AR 。 基本原理与上面的 Marker based AR 相同，不过它可以用任何具有足够特征点的物体 ( 例如：书的封面，你的桌子 ) 作为平面基准，而不需要事先制作特殊的模板，摆脱了模板对 AR 应用的束缚。它的原理是通过一系列算法 ( 如： SURF ， ORB ， FERN 等 ) 对模板物体提取特征点，并记录或者学习这些特征点。当摄像头扫描周围场景，会提取周围场景的特征点并与记录的模板物体的特征点进行比对，如果扫描到的特征点和模板特征点匹配数量超过阈值，则认为扫描到该模板，然后根据对应的特征点坐标估计 Tm 矩阵，之后再根据 Tm 进行图形绘制。

　　 基于地理位置信息的AR

　　 LBS based AR ，即 基于地理位置信息的 AR 。 其原理是，通过 GPS 获取用户的地理位置，然后从某些数据源（比如 google ）等处获取该位置附近物体 ( 如周围的餐馆，银行，学校等 ) 的 POI 信息（导航地图信息，每个 POI 包含四方面信息，名称、类别、经度纬度、附近的酒店饭店商铺等信息），再通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度，通过这些信息建立目标物体在现实场景中的平面基准上。

　　 这种 AR 技术利用设备的 GPS 功能及传感器来实现，摆脱了应用对二维码或者模板卡片 Marker 的依赖，用户体验和性能都比基于计算机视觉的 AR 更好，也可以更好的应用到移动设备上。

　　 一个典型的 AR 设备系统是怎样的？

　　 大家先看下面这张图：

　　 一个典型的 AR 系统结构由虚拟场景生成单元、透射式头盔显示器、头部跟踪设备和交互设备构成。其中虚拟场景生成单元负责虚拟场景的建模、管理、绘制和其它外设的管理；透射式头盔显示器负责显示虚拟和现实融合后的信号；头部跟踪设备跟踪用户视线变化；交互设备用于实现感官信号及环境控制操作信号的输入输出。

　　 透射式头盔显示器采集真实场景的视频或者图像，传入后台的处理单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；交互设备采集外部控制信号，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显示器中，展现在人的视野中。

　　

　　 还有一种 AR 叫做 Magic Leap ，它不依赖屏幕，它的到来将会杀死屏幕。 Magic Leap 搭载了一组非常特殊的光场芯片，它可以让用户看见虚拟物品存在在现实世界当中。

　　 光场（ Lightfield ）用于描述空间中任意点在任意时间的光线强度、方向、波长。当鲸鱼在我面前游过的一瞬间，它皮肤上每一个细胞向四面八方发出的光，叠加起来形成了一个光场。理论上， 只要完整记录下一条鲸鱼的光场，技术上就可以完全还原这条鲸鱼发出的所有光线。

　　 Magic Leap 就是利用这种技术。

　　 AR 的应用场景

　　 历史告诉我们，一项再牛 X 闪闪的黑技术，如果它不能走出实验室，它就是废的。

　　 幸运的是， AR 技术不仅已经走出实验室，它还将迈向更广阔的世界，应用在工业、医疗、消费领域。

　　 对于 AR ，你看不懂它背后的技术原理不要紧，但是你得知道它能用来做什么，给你提供怎样的服务，对吧？

　　 工业维修。 现在的工业设备愈加复杂，无论是安装，还是维修都成为了难题。但 AR 技术能给工业领域带来了很多惊喜。戴上 AR 智能设备，可通过 AR 技术来为你显示设备故障维修教程，甚至能准确地教会你如何拆卸零部件。即使是没有任何经验的新手，也能利用 AR 完成维修。而对于研发人员来说，这种 AR 技术能大大降低成本。

　　 医疗模拟和培训。 AR 可能革命性的颠覆医疗行业。医生新手学习手术，也许再也不用担心没有足够的实操机会，他们可以随时用 AR 技术模拟手术。未来的外科医生只需要戴上 AR 设备，就能在面前展现一个现实与信息实时显示的画面，病人的每项生理数据都会展示在医生的视线里，先切除哪个部位，再切除哪个部位，一目了然，增加了安全的保障。这样，医闹会不会少一点儿？

　　 汽车驾驶。 汽车驾驶是 AR 的一个天然应用场景，因为驾驶员面前那块巨大的挡风玻璃就是一块绝佳的透明显示屏。

　　 在目前的开车过程中，我们眼光游动在前挡风玻璃外、左右中后视镜、中控仪表盘和车机屏幕上。我们还要忙着看手机屏幕，有多少司机在使用手机做导航。眼睛非常忙，如果了 AR ，我们你驾驶过程中所有需要注意的信息，需要规避的障碍物都会出现在 AR 屏幕上，你只需要专注于前面一块屏就可以处理各种事情时，开车轻松愉快。

　　 教育。 将 AR 技术应用在教育领域，那就是开启了学习新世界的大门。 AR 新奇式的体验，对于学生来说，有足够大的吸引力，而这个学习的过程，也并非灌输式，而是游戏化，立体化的，很容易激发学生无意识的记忆，比书本记忆更为持久。

　　 学习地理，我们可以之前前往亚马逊热带雨林里去感受一下。

　　 室内设计与家庭装修

　　 如果你要设计一个房子的内部装饰，或者装修房子，你不需设计、装修完毕之后才能看到效果。通过 AR ，你可以提前看到沙发放在哪个位置比较好，书架怎么摆放更好，此外，你还可以直接在 AR 屏幕上了解到这些家居的价格、材料细节。

　　 旅游更加省心。 通过 VR 设备，我们到某个国家或者城市的时候，就能获取当地城市的景点和商场等地方的详细介绍，自动翻译，了解附近购物和餐饮信息只是最基本的功能。如果是在国外，你看到 一叠货币时，眼镜也会同步的显示出它的汇率。

　　 当然， AR 还有更多的应用场景， Magic Leap 曾经甩出几个视频，帮我们开了脑洞，没看过的同学，不妨了解一下：

　　 视频地址： 请点我

　　 AR 的挑战与改进

　　 视野窄。视野窄是当前 AR 遇到的主要问题之一，包括微软的 Hololens 都无法避免。甚至有外媒体验后表示，虽然号称最大视角达到 90 度，但感觉视野角度也就不超过 30 度。为了解决这个问题，微软研究院特地推出 LED 灯矩阵扩充视野。不过，这终究只是治标的方案。希望在消费者版推出的时候，这个问题已经有了更好的解决方案。

　　 续航低。无论是已经回炉重造的 Google Glass 还是现在的 Hololens ，它们都面临着同样的问题，一般只能支持 2 小时续航，如果是用来连续玩游戏，那么续航会更短。

　　 需要注意的是，目前大多数的 AR 系统采用透视式头盔显示器实现虚拟环境与真实环境的融合。根据真实环境的表现形式划分，主要有视频透视式头盔显示器和光学透视式头盔显示器两种形式。

　　 微软 HoloLens 属于光学透视式头盔显示器，光学透视式头盔相对来说结构简单，分辨率更高，因其能够直接看到外部，真实感和安全性也更强。但在，在室外强光条件下显示效果会受影响。

　　 另一种则是视频透视式头盔显示器，虽然视频透射式头盔在显示上不受强光的干扰，具有比较大的视场，但由于真实环境的数据来自于摄像头，因此会造成显示分辨率较低的不利因素。另一方面，一旦摄像机与用户视点不能保持完全重合，用户看到的视频景象与真实景象将会存在偏差，因此会造成在某些领域（特别是工业、军事等领域）出现一些安全隐患。

　　 小结，好了，以上就是目前 AR 的基本情况， Hololens 开发者版已经发布， Meta 2 也已经开始在我们面前蹦�，还过国内的厂商也开始关注这一领域，车要开了，还等什么？上车！

　　文章来源： 戴客网 （公众号imdaike）