要求任何Oculus Quest或Rift S用户为耳机命名最令人印象深刻的新功能,并且他们很有可能指向Insight,即无需外部摄像头即可准确感知头部和身体运动的跟踪系统。在今天的博客文章中,Facebook正在揭示Insight的一些鲜为人知的技术细节,同时做出一个有趣的预测:“这项技术的未来是全天候可穿戴的AR眼镜,它具有空间意识。”
工程师们已经知道Insight使用计算机视觉和视觉惯性同时定位和制图(SLAM)技术进行跟踪,依靠多个广角摄像头来跟踪控制器位置以及您在房间中的相对位置。但是,为了VR的目的而使Insight运行在移动处理器上并不是一件容易的事,因为它与实时3D空间映射的大量计算要求和耳机佩戴者不能容忍跟踪在移动显示器上可能不明显的缺陷有关 - 抖动,游泳和不准确。Oculus工程师认为,Insight的“空间AI”系统需要达到亚毫米级的准确度,并且不需要使用Quest的整个处理预算。
一些技巧让Insight栩栩如生,包括高效的多线程。Oculus团队完全为应用和游戏预留了Quest更耗电的GPU和2.45GHz“黄金”CPU内核,同时为跟踪和操作系统功能提供了高能效的1.9GHz“银色”CPU内核。优化使银核能够以预测性和半独立性的方式运行,以维护Insight的房间地图和位置数据,而金核和GPU生成特定于用户当前视角的视觉效果。
为了在提高精度的同时减少对银芯的影响,该团队将高端OptiTrack相机的外部动作捕捉数据与“数百个环境”(包括工作室和员工)中真实的Quest和Rift S用户捕获的内部数据进行交叉引用家庭拥有各种现实世界的照明条件和障碍物。由此产生的模型精确地捕获了用户的位置,以便与Insight的发现进行比较,从而可以最大限度地减少不必要的处理,并且可以消除不准确性。特殊的低延迟传感器数据和运动学预测也有很大帮助。
Insight的下一个重要步骤显然是从VR到AR。展望未来,Facebook计划进一步降低传感器延迟,并在VR耳机上将“功耗降至SLAM所需功耗的2%”,使Insight能够全天候佩戴的AR眼镜进行电源跟踪。该公司已经建议他们将“轻量级”和“时尚”,至少最终。
尽管Facebook继续研究AR软件,但听起来并不像公司已准备好立即将Insight带入AR硬件。Facebook建议芯片需要不断发展 - 这要归功于制造业的创新- 并且需要开发新的AI以“进一步优化合成多个传感器输入的过程”。
是否第一副具有Insight的全天可穿戴AR眼镜最终是Facebook品牌或与另一家公司共同创建还有待观察。但很明显,Insight已经代表了VR的一个技术里程碑,大型硬件公司可能希望将其用于AR解决方案;如果他们不这样做,你的第一副AR眼镜可能会在他们的太阳穴上有一个Facebook或Oculus标志。