苹果引领AR革命？Unity技术开放日x Rokid，畅谈下一代人机交互新路线

一场由 苹果 引发的空间计算时代革命，镌刻在AR（增强现实）发展的里程碑上。由Vision Pro打造的沉浸式空间，正在为用户带来全新的人机交互体验，比如：突破传统显示屏的限制，用户浏览 app 时，只要轻松地看着它们、捏合手指来选择，即可在空中任意拖拉点击。

事实上，这也是Rokid一直探索的方向——将人、现实世界与虚拟世界的融合，更自然真实地结合在一起。

在今年3月的Rokid Open Day上，Rokid发布了全新一代自研AR空间操作系统——YodaOS-Master：基于Rokid Max Pro眼镜，张开手掌，菜单立马浮现在眼前。点击图标，便可进入应用，享受灵动随心的空间多屏互动体验。其中，业内首创基于单摄像头即可实现SLAM及3D裸手交互等能力，这一全新的技术路线，发布即引发行业的关注与热议。

今天，中国开发者最重要的年度盛典之一“2023年Unity技术开放日”首站在北京隆重举行，Rokid出席本次活动。会上Rokid系统研发总工程师石文峰带来了主题为《Rokid YodaOS-Master系统介绍及应用开发与落地》的演讲，分享了这一备受关注的技术路线，以及Rokid最新的技术发展，与现场开发者们进行了深入的交流与探讨。

Rokid 全新一代自研空间 AR 系统

业内 首创单摄SLAM技术

在今天的 游戏 论坛上，Rokid系统研发总工程师石文峰，结合多年丰富的AR行业技术研发经验，向现场开发者们介绍了备受关注的YodaOS-Master系统，以及Rokid背后的技术思考。

围绕感知、理解、交互、展现、协同和数字创作五个方面，YodaOS-Master从芯片优化、硬件设计、软件架构、AR算法还有创作工具等诸多方面都做了巨大升级，或是目前最为完整的一套面向AR时代的空间操作系统。

基于Rokid Max Pro眼镜，首创基于单摄像头即可实现SLAM、3D裸手交互、第一视角分享、视觉定位VPS等能力，可以支持多任务运行、空间创作等AR体验，给更轻量化、普惠的AR眼镜带来无限可能。

在YodaOS操作系统诞生之初，Rokid就秉持着一个观点，通过YodaOS操作系统赋能开发者，释放想像力，创造价值。

石文峰表示，“YodaOS-Master操作系统通过模块化的方式，将Rokid语音识别、手势识别、SLAM等在内的多项核心技术进行‘打包’处理，形成SDK供开发者高效开发，比如SDK for Unity，可以让Unity开发者能够快速使用Rokid核心技术进行开发。”

Rokid一直致力于更自然的AR交互体验。相比于传统的2D手势识别，3D手势识别更具有挑战性。基于YodaOS-Master的底层系统能力，文峰老师重点谈到了Rokid目前的单目3D手势识别技术。

基于深度学习算法和大量实验数据，Rokid自研的单目3D手势算法能在移动端实时重建手部姿态参数，包括手部6DoF、手部关节点26DoF，以及Hand Mesh信息，为AR的手势交互提供良好的算法基础。

目前，Rokid的手势识别在3D空间中可实现多种操作，包括点、捏、抓、握、拖、拉等等，完全可以满足AR交互应用需求。例如，戴上Rokid Max Pro，伸出手，在眼前张开手掌即可呼出菜单。

值得一提的是，Rokid软硬件于一体的AR空间体验已在全国多个场景落地，包括全国首个基于AR眼镜的元宇宙街区项目——杭州文三元宇宙AR数字生活街区、全国文旅行业内首个基于单目视觉SLAM的AR眼镜导览方案——敦煌AR智能导，以及钉钉携手Rokid所打造的全国首个企业AR数字展厅等等。

若琪数字人 +AIGC

多模态交互体验全新升级

随着AI时代的加速发展，人机交互方式的发展趋势为多模态交互。单一的键盘交互、触摸交互、语音交互等方式，已经不能满足未来人们更深层次的需求。

试想，如果你想要边听音乐边办公的话，需要先通过语音或触摸交互的方式唤醒音响，再通过键盘交互的方式打开办公软件。但如果你拥有一个“数字人”助手，一切变得简单起来，只需一个指令，就可以同时完成这两件事。

这也是Rokid做AI数字人的原因之一。石文峰表示，AI数字人技术可以串连系统所有的能力，包括语音助手AI数字人、SLAM、3D手势、6DOF空间音频等Rokid核心技术，从而为用户带来更丰富的人机交互体验。

目前，Rokid所打造的“若琪”数字人已经全面接入AIGC，用户可以随时唤起“若琪”，和这位虚拟助手探讨任何有趣的话题。

石文峰介绍，这背后采用的是AIGC多模态数字智能驱动的模式，通过ASR、NLP、TTS等自研算法技术，驱动“若琪”产生准确的面部表情、语音表达、肢体动作，并且表现得更真实、自然、流畅。

R okid全方位赋能开发者

共同迎接下一个人机互交时代

观影、游戏、办公、教育等多种场景，随着AR、MR等技术的趋向成熟，未来将有着无限的想像空间。多重生态内容的重新构建，亟待开发者们带来更多突破与创新。

Unity技术开放日是中国开发者最重要的年度互动盛典之一，通过每年的若干场线下巡回活动，为创作者群体搭建技术交流平台，传达技术演进路径，营建多元活跃的开发者社区氛围，同时聆听来自开发者的声音，赋能实时3D技术的内容创新与应用延展。

Rokid作为AR行业领军企业，参与共促行业繁荣。当天的活动中，Rokid除了带去最新的技术分享演讲，还在现场设置展台区，带来了包括Rokid最新AR产品与生态建设场景，供现场开发者们体验，帮助他们更直观地了解Rokid的最新技术与生态。

近年来，Rokid始终致力于赋能更多的开发者，打造了专门的AR开放平台（ar.rokid.com），推出了“若琪空间站”开发者助力计划，举办全球范围的AR应用开发大赛等，激励开发者共同参与生态共建，促进AR生态繁荣。

文峰介绍，Rokid为开发者们量身打造的“若琪空间站”开发者助力计划，在硬件设备、算法能力、开发支持、市场推广等方面全方位支持开发者。同时，Rokid联合多个行业头部企业与VC成立10亿人民币规模的生态智投联盟，对优秀的开发者直接进行 投资 。

在大力扶持开发者的同时，Rokid成功举办了首届全球AR应用开发大赛，为全球开发者颁出11项重磅大奖。今年5月，Rokid首届高校XR内容创作大赛面向全国高校正式启动，激发高校创新力量。

未来，Rokid愿携手更多合作伙伴，一起加入AR生态构建中，打造开放共赢的生态体系，持续为行业赋能，推动AR行业加快发展，共同迎接下一个人机交互时代。