科技猎三条VR：Facebook与腾讯的VR社交探索之路
Facebook在今年Oculus开发者大会着力演示了VR社交的魅力，甚至小扎不惜让自己的妻子出现在视频中。他们正在利用VR技术革新人们相互交往的方式。据媒体Road to VR透露，Facebook推出VR社交的时间比我们预期的更早。
回到2014年3月，Facebook以20亿美金并购VR创业公司Oculus，让绝大多数人感到困惑不解，随时更多的信息释放出来，扎克伯格表示，他们将VR视为下一代计算平台，作为一家以社交基础的互联网公司，依然将“连接”当作公司的使命，而VR可以让人们以更自然地方式联系在一起。未来10-20年，人们不会使用鼠标、键盘和显示器来相互交流，这就是Facebook在VR下注的主要原因。
Facebook内部一直在研发如何让用户在令人信服的虚拟环境感到舒服。YOTOVR今年4月份跟踪报道Facebook F8开发者大会，扎克伯格演示了一个VR社交Demo，用户访问一个photospheres （照片球），进入一个全景照片的环境，用户可以拿出虚拟自拍杆拍摄VR自拍照，还能为avatars添加一些配饰。他们在10月份Oculus大会的VR社交Demo进步很快，还给扎克伯格做了一个可爱的虚拟化身形象，多人在线的背景环境换做了在线360°视频（是扎克伯格的办公室全景视频），更神奇的是VR用户可以与非VR用户通过Facebook Messenger相互联系。
随后Facebook VR设计产品经理Mike Booth接受了记者采访，当被问道什么时候会推出这个应用时，他表示，会尽可能快，目前Facebook还在接受早期用户的反馈调试。当被问及是否在今年年底能推出时，他并没有否认，也没有肯定，只是说“When it’s done”（完成后即推出）。Mike Booth还介绍他们的VR社交应用还包括朋友一起聚会玩小游戏的场景，比如桌球什么的，核心是社交体验和分享，而不是游戏玩法。
Facebook在VR上面的投入从Oculus开发者大会可见一斑，扎克伯格占据了演示的主要环节，只留给Oculus CEO Brendan Iribe很少的演讲时间。Oculus 的slogan已经突出“From Facebook”，也即是说Facebook已经倾向于把Facebook品牌投入到原Oculus主导的VR业务体系。
国内读者不仅要问，国内VR社交谁在做？腾讯团队如何看VR社交？腾讯VR社区的论坛在今年8月份曾经发布过腾讯公司 互动娱乐研发部 引擎技术中心负责人顾煜的署名文章《【VR Tech Tour系列之一】—— Reality Capture》，是截至目前腾讯内部人员透露出最直接关于VR社交的信息，据悉腾讯内部有些关于VR社交的内部交流文章仅供内网访问，没有公开发表，比如《多远都要在一起－VR社交初探》、《美妙的谎言：我在现场 —— 临场感，VR媒介的新维度》。
顾煜在文章表示，有了QQ微信，我为什么还要在VR世界里面社交。QQ微信既可以碎片化社交，又可以做群体社交，应用场景多元化，群众喜闻乐见，而VR社交，难以回避的问题有装机量小，头盔闷热不舒适，体验过于重度，无法碎片化使用等等。但是VR社交的沉浸性和临场感，是传统社交无法比拟的，我们总期望在某些时间能有比传统线上社交更高阶更多元化的体验，VR可以在这个维度上很好的满足大家。
这个终极问题引发了进一步的思考，VR本身有很好的沉浸性，但离开了VR给我们的第一印象的冲击，还有什么可以持续吸引我们投入呢？对社交本身来说，如果能有更好的Avatar呈现，就能带来身临其境的社交感。该文综合分析了以下VR公司的产品：
1） AltSpace的虚拟avatar， 做成简单的机器人样子，会有一些转头和手部动画来进行互动。当看见avatar转过身和你互动的时候，心里的确会有一点小感动。
2） vTime的avatar，卡通化的人形avatar，可以有更亲切、更自然的交互。（备注：Facebook的VR社交Demo虚拟化身就是卡通风格）
3） HighFidelity走了另外一条路线，它的avatar更像真人。真人类型的Avatar，如果做得不够好，就有可能引入恐怖谷效应。事实上，在体验版本的时候，由于IK的问题，avatar很难做出良好的肢体动画。但综合效果还可以，的确可以比卡通avatar更让人投入。
4）CapturingReality公司开发的技术RealityCapture，开发了一整套捕捉和还原3D模型的技术。他们多角度多镜头来拍照，利用计算机视觉算法，合成出3D的模型。就可以快速进行建模工作，帮助美术降低工作量。当美术有了这类工具，就可以把大量建模流程加速，先用拍摄方法对真实生活中存在的物体进行初步的建模，然后在DCC类型的工具里面进行精细的修正。老牌DCC厂商Autodesk也做了类似的工作，他们的产品叫Autodesk Remake，思路和Capture Reality很相似。但是这类技术也是有很强的局限性：需要有足够多的照片覆盖模型的每一个细节；其次是技术本身无法捕捉动态物体，只能捕捉静态物体，动画就无法捕捉。最后是技术工作在image space，所以对半透明或者透明物体，就没有办法建模了。这类技术可以在1小时内完成一个常见模型的初步建模，对于美术效率提高不言而喻。
5）动态物件捕捉：8i建立了绿幕摄影棚和服务器集群，通过多个摄像头来拍摄中心的人，然后再进行进一步的处理，生成基于voxel（体素）的角色。与之类似的公司还有Uncorporeal和4DViews。
UnCorporeal的思路和8i类似，也是用多个摄像头来拍摄人物或者场景，通过多角度的拍摄后，产生了大量视频，然后通过后期计算处理，来重建3D的人物或者世界环境。重建后，生成了3D的模型，这样在3d渲染世界里面，我们都可以看见更真实的人物和场景，和基于美术3d建模的内容相比，观感上会非常不同，更真实。
这个技术和8i的区别，主要在于8i最终的输出，是体素的模型，比较简单，但缺点也很明显，由于没有使用多边形，多数成熟的实时渲染技术无法使用，很难处理阴影和光照等信息，导致渲染的人物画面很难和其他部分融合。4DViews也是和Uncorporeal类似的技术，把多角度的视频流转成了3D模型。但4DViews在人物边缘处理、容量上做了更多的改善，在可用性和可靠性上也走出了坚实的一步。
6）光场捕捉一切。对于一些对画面质量有极高要求的场合，比如电影制作，Lytro的光场摄像机技术带来了另一个思路。 Lytro的光场相机带来了很多不一样的技术，所以我们对他们光场摄像机也抱有很高的期望。但光场摄像机，和光场相机并不是一回事。光场摄像机，使用了相机阵列，比如两百个摄像头放在一起，然后一起拍摄视频后，产生两百段视频，然后通过软件合成，做成了一个完整的视频。这个技术的局限性也非常大：数据极其巨大，相当于普通视频上百倍，虽然可以有很大的帧间压缩，但依然是一个很大的问题，完全无法做到可以streaming的级别。
7）微软Holoportation：用社交场景的视频通话案例来看，消费者需要用合理的计算量来生成数据，需要足够小的带宽来传输数据，需要足够高的精度来沉浸在VR中。这个要求并不容易满足，但是微软HoLoLnes集实时捕捉、环境感知、高效串流于一身的Holoportation，包括捕捉模型后映射回模型以及衍生出来的相关应用，表情捕捉和重新映射以及3D Avatar重建等等。Holoportation也许是VR社交的一个终极形态。
8）技术总结
对真实静态物件的建模，Autodesk Remake和RealityCapture都是很不错的技术。
对于动态人物的捕捉，8i、Uncorporeal、4DViews可以通过多摄像头拍摄，合成带有动画的人物数据。
场景和电影方面，Lytro的光场摄像机有一定的应用前景。
由于我们并没有取得腾讯该文的授权转载，只能简单摘录一些技术要点，但是我们从字里行间可以看出，腾讯技术团队对目前简单卡通虚拟化身所代表的VR社交并不满意，而更逼真的3D建模或光场现实捕捉在技术上还有诸多局限性，最理想的微软Holoportation也仅仅是一个Demo阶段，所需的硬件和网络条件一般用户无法承载。
总之，Facebook的卡通化、游戏化的VR社交是先行者，最晚明年一季度会有相关应用发布，腾讯的VR社交还处于技术论证阶段，推出时间还无法预计。
2、专注VR恐怖片题材的工作室Dark Corner新作《Mule》
熟悉VR电影分发平台Within（原Verse）的观众肯定早已看过一部以精神院为题材的恐怖电影《Catatonic 》，让观众以精神病患者的第一人称在轮椅上感受一段阴森恐怖的医院走廊、手术台场景。根据我们不完全统计，能完整一口气看完该片的观众不超过1/5，大多数人手心冒汗，战战兢兢，其实该片并没有出现任何血腥场面，吓着你的只是一种恐怖的气氛。Within在安卓和iOS平台均可下载，使用简单的VR盒子就可以观看平台上的VR电影。
该片导演是 Dark Corner Studios工作室创始人Guy Shelmerdine，他们正在拍摄两位两部黑暗系VR恐怖电影《Burlap》和《Mule》。Guy Shelmerdine携两部新片参加了九月份在奥斯汀举办的第十二届奇幻电影节。UploadVR的记者Ian Hamilton 上周好莱坞的一个活动“VR on the Lot”现场体验了《Mule》，并对该片进行了剧透：观众第一人称视角扮演一个身体藏毒的毒贩，死在医院被其他人从身体拿出毒品，然后你选择是土葬还是火葬，感受你在现实中永远不可能感受的死亡场景。
只要你看过《Catatonic 》的话，就不难想象《Mule》的恐怖可能会让你终生难忘。
3、受迪斯尼《幻想曲》启发的VR音乐体验《Carry Me》
今年里约奥运会闭幕式上，女歌手Julia Michaels以一首《Carry Me 》华丽登场，这首单曲是出自挪威音乐制作人、DJ兼创作人Kygo。索尼音乐上周在好莱坞的一场活动上发布了这首单曲的VR MV体验，观众需戴上索尼PSVR来感受这首音乐带来视觉盛宴。索尼音乐表示，该VR体验会支持PSVR以及Vive/Rift平台。
据悉该VR音乐体验是一家视觉特效和VR工作室MPC VR利用游戏引擎开发的，并不是此前 U2乐队或者 Paul McCartney主题的音乐360°视频，而是利用点云技术现实捕捉Kygo表演键盘的元素，完全在游戏引擎中完成的VR体验。观众使用高端VR头显可以在该体验中走动，而简单的360°视频是没有景深，只能转动头部观看四周。对索尼音乐来说如何定价是个棘手问题，不知道观众是否为这个制作精美，但是只有三分半时长的音乐主题VR交互体验付费，而他们通常会为VR游戏付费。
该VR体验的技术合作伙伴MPC VR是Technicolor的下属子公司，团队由诸多创意人才和技术人员组成，专门为电影、广告和原创内容领域的客户提供服务。具备全套虚拟现实制作能力，可以进行实时制作、渲染制作和各类混合制作。曾经与20世纪福克斯、VRC合作《火星救援VR体验版》。他们认为，需要将360度全景和实时体验结合起来。
YOTOVR最近陆续报道了一些音乐驱动的VR体验，比如《La Peri 》和《Impossible Travel Agency》，他们的灵感似乎都来自迪斯尼早期作品《幻想曲》，这是一部1940首映的动画电影，重点表现影像与音乐的配合。
