行业
热点
栏目
产品
让开发者“轻装上阵”，Rokid与Cocos联手干了这件事！
云栖网：“Rokid目前能为开发者提供哪些技术支持？”
“Rokid Air为什么能做到这么轻？采用的光学方案是什么？”
“用一颗RGB摄像头实现SLAM+手势交互，如何解决识别深度问题？”
“Rokid的空间定位技术能支持做3D导航吗？”
……
图：XR技术开放日·开发者沙龙正式举办
9月24日，由Rokid与Cocos携手举办的XR技术开放日·开发者沙龙在深圳举行，活动吸引了200+的开发者到场。从设备体验到现场互动问答，开发者们与来自Rokid、Cocos 和网易的技术、生态专家们从行业发展趋势、内容研发的挑战、技术落地和生态扶持等方面进行了深度探讨！
图：开发者现场交流提问
活动现场还设置了设备体验区，不仅吸引了众多开发者排队体验Rokid Air，更让开发者们直观地了解XR内容的开发过程与设备细节。流畅的设备体验、精彩的游戏应用内容都让不少开发者流连忘返。
图：开发者们在体验区流连忘返
打破开发者创作“瓶颈”，XR内容编辑器发布
随着XR行业逐渐进入爆发期，应用场景不断深入，市场也需要进一步提升内容开发效率，降低开发门槛。Cocos XR技术总监王庆利向大家介绍了目前XR行业所普遍面临的痛点，如高分辨率带来的高运行压力、透镜畸变、眩晕问题、定位的稳定性与实时性等。针对这些痛点， Cocos率先推出了XR内容一站式解决方案，即基于Creator编辑器的XR拓展套件，旨在降低XR开发技术门槛，并通过自身的高兼容性抹平不同设备与平台之间的差异，助力优秀内容的多平台分发与成长。
图：Cocos XR技术总监王庆利
Cocos XR产品经理翟昊宸认为：“存量项目快速转化、多平台适配、网页端快速预览、图形后端智能化是 Cocos CreatorXR的四大特性优势。”
图：Cocos XR产品经理翟昊宸
值得一提的是，Cocos CreatorXR还全面集成了Rokid Air的内容开发环境，即 Cocos开发者无需其它SDK，就能将构建好的数字内容轻松发布到Rokid Air上运行。目前，基于 Cocos CreatorXR的开发AR游戏《幽灵射手》XR版已经正式登陆Rokid Air应用商店，全新的游戏界面和交互体验受到了众多用户的欢迎，一度霸榜Rokid Air应用商店。
开放硬核视听和交互技术，助开发者“跃升”
当下的XR生态内容仍然以轻量应用为主，但能够支持更自然的交互体验，更具开放性、社交属性，能提供更多价值的XR应用将是必然发展趋势。
开发者如何从轻量应用实现跃升，打造出更加精品的应用？Rokid AR软件研发负责人杨剑、应用平台产品负责人朱雷分享了Rokid在数字人、3D内容创作、空间协同、视听交互、手势交互等方面为开发者带来的硬核技术支持。
在朱雷看来，Rokid更关注的是如何将真实世界与虚拟世界融合,因此在底层技术上，也更关注感知、理解、协同、展现、数字资产五个方面的能力。围绕这五个层面，Rokid有着自己的思考和探索。其中，在XR互动技术方面，Rokid就通过6DoF空间声场、视觉感知算法、实时音视频等方面的技术能力，助力XR开发者打造全新的视听体验。
图：Rokid应用平台产品负责人朱雷
在视觉方面，Rokid推出了包括物体识别、手势交互、视觉定位等技术的视觉感知端云一体的PaaS平台。可以通过“视觉定位+语音+手势交互”的强强组合，支持开发者在文旅展陈、数字展厅、娱乐等方面突破物理空间限制，打造出能够实现移步换景等更具互动体验的应用。“目前，这一能力已被运用到钉钉在2022秋季钉峰会上发布的AR数字展厅解决方案中，并且首个企业AR数字展厅也已在钉钉园区展厅落地。”
在听觉方面，“Rokid自研6DoF空间声场技术，采用了 HRTF和 3D空间处理技术，以及针对距离的EQ补偿技术，渲染出因空间位置变化和遮挡带来的声音空间感的变化，为人耳带来更真实的听觉体验。这一能力已集成SDK对外开放，支持开发者在游戏、娱乐影音等应用中打造更具沉浸感的声音体验。”
杨剑则分享了Rokid自研的YodaOS-XR操作系统、基于Air/Air Pro眼镜的UXR SDK，以及全新升级的Rokid自研多人在线协同应用MSpace，并正式对外发布3D内容创作平台 -MStudio，邀请开发者一同共建MSpace生态。
“Rokid自研的YodaOS-XR操作系统，涵盖了Rokid硬件和软件的能力。系统基于传统的OS作为底层，在这之上构建了较为完善的感知系统、理解系统和展现系统，包含了对应的AI和AR能力、XR云服务以及多个服务和引擎，如百灵鸟语音服务，空间引擎和数字人引擎。同时，也为开发者提供了大量平台SDK和基础SDK，并支持OpenXR标准，可以进一步降低开发者开发门槛。”
图：Rokid AR软件研发负责人杨剑
除了系统层的支持，杨剑表示，基于Rokid Air/Air Pro眼镜等硬件设备，Rokid还为开发者提供了UXR SDK，支持双目立体渲染、3DoF的头部追踪，以及多模态的交互。其中，交互方式可使用按键触屏、头控、手势、语音、鼠标、游戏手柄、虚拟手柄等；离线语音识别则支持中/英文指令；手势识别支持4种2D手势类型，以及21个关键点信息，支持左右手识别，并且内置了三种虚拟手柄类型可控切换。
“MSpace集成了数字人、空间协同等技术能力，其中数字人采用实时音频驱动，可以支持捏脸换装；空间协同则实现了低延时多人同步，支持模型互动、数字人表情和动作与真人实时同步等，这些能力都将通过SDK的方式提供给行业开发者，助力开发者突破行业技术难题，快速构建AR空间协同应用。MStudio作为3D内容创作平台，可以为开发者提供在线3D模型。”
空间站计划+开发大赛双重赋能，打造开发者的“高光时刻”
XR 生态的构建还离不开工具方、设备方、内容平台方以及各位开发者的共同努力，Rokid与Cocos也正在通过各种方式降低开发者的开发成本、获得更高回报。Cocos生态总监大表姐介绍道，在打造XR开发工具链之外，Cocos还为开发者准备了大量教程和演示项目：“比如由我们XR团队基于 Cocos CreatorXR开发的《幽灵射手》XR版，后期也将开源给大家。”
图：Cocos生态总监大表姐
同时，网易智企CEO助理、游戏解决方案架构负责人沈乔治还从扶持政策、运营策略方面进行了分享。
图：网易智企CEO助理、游戏解决方案架构负责人沈乔治
Rokid生态拓展负责人冉旭则表示：“Rokid为开发者们量身打造的‘若琪空间站‘开发者助力计划，我们将在硬件设备、算法能力、开发支持、市场推广等方面为开发者提供助力，同时联合多个行业头部企业与VC成立10亿人民币规模的生态智投联盟，对优秀的开发者直接投资，极大推动了XR生态发展。”
图：Rokid生态拓展负责人冉旭
在大力扶持开发者的同时，Rokid还在前不久正式启动首届全球 AR 应用开发大赛。大赛将通过丰富的奖项设置、资源和商机支持等，鼓励更多开发者基于 Rokid 的开放能力与平台服务、Cocos 3D 引擎和声网 RTE 服务，创造更多优秀的 XR 应用与游戏，实现技术、产品与商业创新，为全球用户带来更丰富、优质、新奇的 XR 体验，进一步加速 XR 行业生态繁荣。目前大赛已经正式启动，关注Rokid官方公众号，获取更多赛事信息！
繁荣的XR 生态不仅需要优秀的硬件和底层技术支持，更需要丰富多彩的内容和应用。而与行业对内容和应用强需求相对应的是开发者仍然属于“少数派”，巨大的“供需差”让开发者们迎来了“黄金时期”。如何让开发者低门槛地加入到XR生态构建中，抓住“黄金时期”的机遇，不仅是Rokid目标所在，更是行业发展的必然之路！
