一个简单的「萌面Kmoji」表情背后并不简单 是快手在人工智能技术上的厚积薄发

在 2017 年底，随着 iPhone X 和 FaceID 的发布，苹果自创的 Animoji 表情玩法曾在国内带动了一小阵风潮，然而这股也很快就过去了，因为当时只能在 iPhone X 的用户之间使用，受到机型的限制，苹果的 Animoji 曲和高寡始终未能成为主流。

不过 18 年 7 月，快手上线萌面魔法表情，首次将 iPhone X 的 Animoji 玩法普及到全部机型。12 月底，快手又进一步上线了「萌面 Kmoji」魔法表情，通过该功能，用户能够用相机拍摄生成自己的专属脸部 AR 虚拟形象，同时可以捕捉用户表情，眨眼、张嘴、抬眉毛、吐舌头等细微动作都能精准还原。 这是短视频平台首次实现用户自定义 AR 虚拟形象进行拍摄的玩法。

「萌面 Kmoji」生成的虚拟形象表情生动逼真，与苹果推的 memoji 效果观感几无二致。不过对「萌面 Kmoji」而言，iPhone X 或更新型的苹果设备或系统并非必需，同样在任意一部智能手机上都可以流畅使用。

另一方面，相比于苹果设备 Memoji 复杂的捏脸步骤，「萌面 Kmoji」则简单得多：打开最新版快手 APP 的拍摄页面，在魔法表情「萌面」表情中选择「创建专属萌面」进行拍摄，系统就会根据用户面部特征，一键自动生成和用户肖似的 AR 形象。

用户也可凭喜好对虚拟形象的五官、皮肤、发型、装饰等进行自由调整，打造独一无二的 AR 形象，「萌面 Kmoji」的捏脸选项中提供了超过 160 余种素材选项，给用户更丰富的个性化选择。

快手的「萌面 Kmoji」发布后，脑洞始终大开的快手用户立刻被玩出了很多花样，也获得了一部分用户的青睐，是制造小视频的多样性提供了更多更有创意的玩法。

看起来非常简单的「萌面 Kmoji」，但要让用户「玩得爽」却并不是那么简单的事情。最近，快手的技术团队和媒体分享了「萌面 Kmoji」背后的故事。

「萌面 Kmoji」背后的人工智能技术

首先，个性化萌面系统的实现基础是人脸属性和表情识别， 这需要 3D 分析以及与 2D 信息的融合。

对于图像信息，快手技术团队会利用 3D 重建技术恢复出 3D 结构，同时和 2D 信息做有机的融合，并基于这些重建、分析和融合，做人脸属性的分析，从各个维度分析出人脸特征，生成个性化的虚拟形象。同时也会实时进行人脸的表情分析，用于驱动生成的虚拟形象。

在此之上，快手技术团队还会借助人体进行相关分析，比如头发，肩部等，为和现实场景融合打下基础，并通过自研的手机端真实感渲染引擎，将活动的个性化萌面实时呈现给用户。

其次， 3D 人脸重建是整个系统中非常重要的一环。 快手技术团队采集了上万人脸三维数据，包含各种年龄段，人种，脸型等，以及每个个体对应的人脸各种表情，从而建立了几乎涵盖所有人脸空间和表情空间的三维人脸数据库。通过该数据库，可以建模出任意人脸的任意表情。快手技术团队研发了人脸关键点技术，通过百余个关键点刻画人脸的表情变化，从而重建每个个体各种表情下的三维人脸。 另一方面，通过高效的神经网络技术，保证 3D 人脸重建在性能较低的手机上也能实时运行。

第三，在人脸属性感知方面， 快手技术团队采用神经网络感知人脸细粒度属性 ，包含了性别，年龄，肤色，脸型，眼睛，嘴巴细粒度信息，相比同类产品，可做到自动的人脸定制化，同时利用海量人脸数据，多任务协同学习，捕捉人脸细微特征。细粒度属性的区分是非常困难的，有些问题即使是人眼本身都难以区分，为此快手技术团队做了很多精细的设计，融合了分类/回归/分割等技术，提高自动捏脸的准确度。

第四，人脸表情是一种复杂且细微的信息，人对表情的感知是非常灵敏的。 让机器识别细微/夸张/灵活/稳定的人脸表情信号，单靠图像信息是难以达到的。

快手技术团队通过 2D 的 RGB 视觉信息对问题进行建模、求解，获得人脸关键点以及实时重建的三维模型，并把 1D、2D 和 3D 三种不同模态的信息做建模、做对齐，求解出人脸的表情，驱动虚拟形象做各种逼真的动作。同时，得益于深度神经网络模型的量化，通过压缩和加速解决手机性能问题，该方案可适配任意机型。

第五，高质量渲染。萌面效果的最终呈现离不开渲染，为了获得高质量的渲染，快手技术团队采用了先进的 PBR 技术，在移动端实现了 PC 游戏级画质；同时，依托深厚的 AI 技术积累，萌面能够根据外部环境和用户的形象特征智能化地选择最适合用户的材质，达到最优的渲染效果。

为了获得更加真实的体验效果， 快手技术团队引入了物理引擎实现头发、布料等柔体的运动效果。为了使用户获得最优的体验，渲染引擎会根据不同机型选择合适的渲染质量。

虽然是一个小小的「萌面 Kmoji」，内后却隐含了如此复杂的技术，然而你在使用「萌面 Kmoji」的时候却发现，不管你在什么样的机型上，高配置的还是经济型机型，都能实现流畅不卡顿的情况。快手技术团队介绍道，为了让 AI 模型在手机端能够流畅地运行主要做了三方面的优化：

首先是图像预处理环节，快手将图像各种预处理操作合并起来，以及对预处理所涉及到的图像内存进行统一分配和回收，以减少内存资源的消耗，提高分配使用的效率。

同时，快手充分利用了 NEON 加速以及苹果自带的 accelerate 加速，整个运行库只占用 2M 的空间。

最后，在保证预测精度的前提下，对 AI 模型进行局部的 INT8 量化，经过优化后，运行速度可提高 1 倍以上，同时 AI 预测模型的占用空间也压缩到将近原来的四分之一。

除了虚拟形象之外，基于萌面所使用的这套系统，快手技术团体还进行了扩展应用：人像 3D 打光、世界上另一个你

人像 3D 打光主要利用了实时人脸三维重建技术，该技术利用了人脸参数化先验模型，根据输入图，自动匹配人脸几何信息，得到人脸 3D 模型参数，获得人脸 3D 网格模型。可以根据不同的场景设置不同的光源，利用实时渲染技术对虚拟人脸进行渲染，得到面部光影图；同时，对输入人像进行前景分割，得到前景分割蒙版，也可以根据原图得到其他蒙版信息；这些蒙版分别作为不同的图层按照场景需求特定的方式叠加到原图上，就可以得到打光结果。

而「世界上另一个你」是整套系统的另一个线下应用，而且特别神奇，当体验者走到屏幕前，点击拍摄按钮，3s倒计时后，左边屏幕镜头拍摄定格参会者的面部图像，右边屏幕通过与视频库内的数十亿快手用户公开视频进行检索匹配，百毫秒内匹配出结果，显示播放 1个快手端内相似长相的用户视频。这个功能在去年的乌镇世界互联网大会上引起了风潮。

445万用户每天登陆快手

在媒体沟通会上，快手也分享了 2018 年的一些数据，截至 2018 年 12 月，快手拥有超过 1.6 亿日活用户，3 亿月活用户，每日上传短视频超过 1500 万条，库存短视频数量超过 80 亿条。这些用户日均使用快手 148 分钟，相当于一年中有 10% 的时间使用快手。

更可贵的是，在 2018 年，有 445 万用户坚持 365 天每天登录快手。

快手方面介绍道，之所以有如此大数量用户喜欢快手是因为快手 APP 是面向普通人记录和分享生活的短视频社交平台，快手 APP 服务于普通人的记录与分享，不论明星还是大 V，不管在城市还是乡村，每个人都拥有平等分享和被关注的权利，快手不会特殊对待，不捧明星红人，不进行流量倾斜。

正因为快手重视生产者利益，鼓励所有人去记录真实的生活，并通过强大的分发能力使得普通人获得足够的关注和连接，让每个人享受记录的乐趣，将复杂的技术普惠化，降低记录的门槛。让生产者觉得有机会把自己的视频能够让别人看到，让更多的人有机会展示自己平凡的的生活，感动人，说不定在某个恰当的时候可能就会爆发。

在快手上，可以看到一位在田间唱歌的收废品大爷，在直播的时候有上十万，甚至百万人的用户去观看，背后也没有任何商业机构做推手，据一位「忠实粉丝」说就是喜欢看这种「原生态」式的表演，不做作特别舒服。另外很多快手用户都在直播着自己每天平凡的生活，但对于手机的另一端的用户来说，他们的生活却是新奇和有意思的。