不用买 iPhone,普通手机也能玩“Animoji”

雷锋网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

不用买 iPhone,普通手机也能玩“Animoji”

雷锋网消息,7 月 4 号, 微软官方发布消息 ,测试版的 SwiftKey(雷锋网按:2016 年,SwiftKey 被微软收购)中加入了新功能 Puppets,这个新功能提供了熊猫、恐龙、猫头鹰等多个动物的 3D 形象,还能够通过 AI 技术来实时反映用户的表情和头部动态。

尽管 3D 表情近几年开始席卷全球,但值得一提的是,人们关于创建 3D 动态形象的想法,早在十几年前就已经生根发芽了。

从好莱坞大片中得到的灵感

2005 年左右,运动追踪技术还远未达到成熟阶段,即便是在 2009 年上映的《阿凡达》,也需要演员提前在脸上标记特定的小点,穿上带有特制小球的衣服,帮助光学系统追踪人脸和身体的动作变化,最终精准地捕捉到人物角色的表情和动作。

不用买 iPhone,普通手机也能玩“Animoji”

雷锋网注:上图为《阿凡达》剧照

Faceshift 公司(雷锋网 (公众号:雷锋网) 注:Faceshift 是一家人脸追踪技术公司,2015 年被苹果公司收购)的联合创始人之一 Mark Pauly 表示:

为演员的脸部标点是一个很不错的想法,因为这样可以帮助简化运动追踪的计算量。但这需要大量的设备,还需要花费大量的时间成本。

Mark Pauly 和其他研究者开始寻求新的方法——开始探索如何使用深度感应相机和算法来取代传统的方法,使面部表情追踪变得更简单。而他们的最终目标是制作出可以实时模仿人类表情的动态数字形象。

由于人脸总是持续变化,因此,为了让机器可以准确识别出面部运动,必须让它识别出在不同环境或状态下的人脸,比如变幻的光线,头部的旋转角度,人脸的肤色等。接下来就是不断地训练算法来处理这些面部数据信息,然后建立大量的 3D 模型,形成模拟形象。

人脸追踪技术从电影走向手机

在 2013 年开始,苹果就陆续收购了 3D 传感器制造商 PrimeSense、图像识别公司  Perceptio、增强现实公司 Metaio 和 人脸追踪技术公司 Faceshift。从现在看来,这波疯狂收购的背后,很大一部分原因是苹果在为推出 iPhone X 做准备。

2017 年 9 月,苹果推出了 iPhone X,从外形上来看,除了经典 Home 键的消失,屏幕顶部还出现了一块“刘海”区域。

不用买 iPhone,普通手机也能玩“Animoji”

在这块神秘的黑色刘海之下,内置了麦克风、扬声器、前置摄像头,以及包括环境光传感器、距离感应器、红外镜头、泛光感应元件、点阵投影器在内的 5 种感应器。这 5 种感应器组成了原深感摄像头系统(True Depth Camera  System),它可以捕捉并分析用户的面部 3D 结构特征,类似 3D 建模一样,然后再通过苹果神经引擎(A11 Bionic Neural Engine)即时处理识别数据。

基于原深感摄像头和神经网络的支持,3D 版的 Emoji——Animoji 就这样应运而生了;用户可以在使用 iMessage 时开启 Animoji 录制一段不超过 10 秒的小视频,而 3D 动画形象会同步用户的表情,而且这个功能还支持录音。

虽然,Animoji 只是作为 iMessage 的一个功能出现,但从 3D 动画表情创新的层面上来说,Animoji 可以算得上是开山之作,它让好莱坞大片中的 3D 人脸追踪技术走向了手机。

不用买 iPhone,普通手机也能玩“Animoji”

在苹果开始采用 3D 结构光技术来支持人脸识别和 Animoji 之后,三星、华为、小米等手机厂商也在不断努力之后,实现了这一技术,并打造了属于自己的“Animoji”,甚至逐渐摆脱了对原深感摄像头的依赖。

基于深度神经系统的 Puppets

与苹果 Animoji 不同的是,微软 3D 动画表情 Puppets 的载体不在于系统内的短信(iMessage),而是在于第三方软件 SwiftKey;这款个性化输入法基于先进流利的预言推理引擎,能够进行十分快速的输入操作——微软预计,SwiftKey 每周可以节约总计 2000 万个小时的打字时间。

除此之外,Puppets 最大的不同在于,苹果 Animoji,以及其他许多 3D 动态表情都需要原深感摄像头的支持,从而扫描人脸的 3D 结构图来建模,而 Puppets 仅用普通摄像头也能塑造出实时 3D 动态表情。这是因为 Puppets 的运作原理基于一个由志愿者提供图片和视频集成的庞大数据库,微软通过这个数据库来训练自己的深度神经网络,从而识别用户的表情,比如微笑和眨眼,直接进行模仿。

不用买 iPhone,普通手机也能玩“Animoji”

用户可以通过 Puppets 录制长达 30 秒的视频,视频会实时转化为 3D 动态形象,这些小视频还可以分享到社交媒体或其他平台上。

微软产品经理 Deepak Paramanand 表示:

我们希望 SwiftKey 用户在与家人朋友沟通时,除了预先设置的 GIF 动图之外,还能有更多的选择,因此我们创建了 Puppets。人们希望快速打字,SwiftKey 能够满足这一点;人们也希望以有趣的方式来表达自己,这一点 SwiftKey 现在也能做到了。

雷锋网小结

从应用在 3D 电影中的人脸追踪技术,到苹果开先河的 3D 动画表情 Animoji,再到微软的 Puppets,这些技术和产品或许有其不足之处,但至少可以清楚地看到它们在随着迭代而成长。

值得一提的是,目前推出的 Puppets 还只是测试版,而且仅限于 Android 手机;更多关于 Puppets 的动态,雷锋网将会继续关注。


相关文章:

苹果 Animoji 表情背后:面部识别技术如何一步步进化的?

又一波猛料!iPhone 8启动Face ID解锁 ,还玩起了3D动画表情

不用买 iPhone,普通手机也能玩“Animoji”

本文被转载1次

首发媒体 雷锋网 | 转发媒体

随意打赏

iphone所有机型iPhone充电线iPhone发信息iphone报价iphone官方iphone官网修iPhone
提交建议
微信扫一扫,分享给好友吧。