在 2023 年的 SIGGRAPH 上，我体验了Meta的研究原型产品Flamera，它是一种无重投影透视增强现实技术。
Quest Pro, Apple Vision Pro 和 Quest 3 等不透明头戴设备使用前置高分辨率摄像头显示真实世界，但由于这些摄像头位于不同的位置，因此使用图像处理算法对摄像头视图进行重投影，以显示您的眼睛本应看到的图像。
这种重新投影是一个不完美的过程，会增加延迟并导致图像处理产生伪像，尽管随着相机和处理芯片组件的改进，这个过程正在变得越来越好。
Flamera 的目标是完全跳过重投影方法，而是采用为穿透设计从零开始构建的硬件设计。
它在每只眼睛前面有53个镜头，每个镜头都有一个允许特定角度的光进入它的光圈。然后，这些镜头上的光会聚焦到传统的图像传感器上，显示为53个圆圈。然后，软件“重新排列像素，估计一个粗糙的深度图，以实现深度相关重建”，Meta称这个过程的计算开销明显低于重投影方法，因此延迟更低，并且几乎没有视觉伪像。
那么体验如何？
Meta的Flamera头戴设备的奇怪之处在于它使用的显示系统相当糟糕。它是一种60Hz的全持久显示器，通常用于透明增强现实系统，视野仅约为Quest的一半。鉴于Flamera和Butterscotch Varifocal都由Meta的“显示系统研究”团队推出，这有些讽刺。
但是Flamera的显示系统被选择为使用现成组件实现最小头戴设备厚度的解决方案。而且展示的重点并不在显示系统上，而是在这种新颖的捕捉系统。
我所见到的是一个真实世界的穿透视图，没有任何畸变或偏移，通过显示屏看到的物体的几何形状与我抬起头来看到的物体完全一致。Flamera确实兑现了其承诺。
尽管如此，糟糕的显示系统仍然让人无法专注于欣赏Flamera所呈现的真正优点。例如，刷新率意味着延迟固有的较高，分辨率和色彩重现导致图像模糊和淡化。
将来，我希望看到Meta将Flamera的捕捉系统与去年宣布的“Holocake”镜片相结合，以了解结合正确的显示系统后，这种捕捉方法真正可能实现的效果。
但是它是否实用？
Meta的显示系统研究（DSR）团队似乎专注于两个不同的任务：研究特定长期XR显示功能的感受，并偶尔找出实现这些功能的具体技术。
我今年在SIGGRAPH上试用的另一款头戴设备Butterscotch Varifocal显然是属于前者。它并不被视为实现变焦或视网膜分辨率的实际实用方式。
但是Flamera似乎既是无重投影透视穿透感受的调查，也是一种特定方法的提议。因此，这就引发了一个问题：我们会在产品中看到它吗？
我向Flamera项目负责人（也是创意人）Grace Kuo提出了这个问题。我了解到，Flamera方法中唯一本质昂贵的部分是为捕捉所有角度所需的极大图像传感器，这也会产生很多热量 – 您可以看到头戴设备两侧的散热器。
但是有一些潜在的解决方案，例如为每个镜头使用单独更小的图像传感器，或者至少对一组镜头使用单独的图像传感器。
另一种潜在的未来方法可能是重投影和Flamera的折中，使用较少的镜头来降低复杂性和组件成本，并应用比目前使用的更温和的重投影，从而产生一些视觉伪像，尽管比传统摄像头方法严重性要小得多。这种硬件和软件的融合是Mea有兴趣研究的领域。
Meta承认Flamera中的技术“可能永远不会进入面向消费者的产品”。但是即使是这样，它仍然展示了公司研究团队中对创新精神的探索，并暗示在未来几十年中，可能会有许多解决当前VR头戴设备问题的非常见解决方案。
ZH 
EN_US