视界扩展： Meta 推出的哈密瓜味多焦点、视网膜分辨率多焦点原型头显

在SIGGRAPH 2023上，我试用了Meta的一款研究原型，它具有近视网膜角分辨率、动态焦距和动态畸变校正的特点。

Butterscotch Varifocal基于Meta去年披露的原始Butterscotch原型。Butterscotch原型的角分辨率为每度视野56像素（PPD），略低于通常认为人眼可以辨别的每度60像素。这几乎是Quest Pro的中央角分辨率的3倍，是Bigscreen Beyond的2倍。

然而，Meta的研究人员没有通过任何突破性或专门的技术实现这种角分辨率。Butterscotch头显使用现成的2880×2880液晶显示屏，这些显示屏在普通VR头显中可以提供大约30 PPD的分辨率，但它们与视场约为一半的透镜配对使用。这里的目的是展示视网膜分辨率的感觉，以便最终为未来的产品优先级和权衡决策提供信息。该原型并不意味着提出实现具有可接受视场的视网膜分辨率的任何特定新技术。

Varjo在非常小的视野范围内实现了视网膜分辨率，并与视野较低的周围显示器结合使用。

正如名字所暗示的那样，Butterscotch Varifocal不仅仅是对视网膜分辨率的演示。它还包括Meta 2018年Half-Dome原型的变焦技术。

在虚拟现实中，每只眼睛都获得一个独立的视角，以获得立体差异，但这只是大脑用来确定深度的一个线索。目前市场上的所有头显都配备了固定焦距透镜。图像在一个固定的距离上聚焦，通常是几米。你的眼睛会指向虚拟对象（收敛或发散），但实际上无法对其进行真正的聚焦调节。这被称为聚散学矛盾，会导致眼睛的紧张，并使靠近的虚拟对象看起来模糊。

Half-Dome原型提出了一个解决方案：追踪你的眼睛指向并快速机械地移动显示面板以动态调整焦距。Butterscotch Varifocal包括相同的眼睛追踪和机械致动器，以实现相同的效果。

这种近视角分辨率和动态焦距调整的组合的结果是可以查看虚拟世界，没有可见的像素化或混叠，我可以看清甚至最小物体的最微小细节，并阅读任何我在现实世界能阅读到的大小的文字。甚至不需要使用当前头显中John Carmack反复告诉开发人员必需的合成器层的虚拟平板电脑和显示小字的手机。这里的像素密度非常高，不再需要那样的技巧。

分辨率，并非头显的显示系统是分辨细节的限制因素，而是我的视力。这与现今的VR头显恰恰相反，它令人着迷并展示了消费者VR未来可能提供的视觉质量。

这是我第一次尝试变焦头显 – 在Meta之外很少有人尝试过 – 我可以通过按下按钮来切换开关。打开开关后，即使将虚拟对象靠近我的眼睛，甚至最小的物体也保持清晰，最小距离为20厘米。这具有实际优势，但当开启变焦时我注意到了更微妙的东西。正确的焦距使得虚拟世界和其中的物体突然看起来和感觉更“真实”。事实上，一些演示对象如此详细，以至于我敢说它们感觉上是完全真实的。

我询问Meta的显示系统研究主管道格拉斯·兰曼(Douglas Lanman)对此的看法。他告诉我，虽然这种效果是Meta研究人员所意识到和讨论的，但主观感觉的可视真实感比显示屏的其他方面更难以量化和评估。

在看物体和显示移动以调整焦距之间存在一小段延迟，但与视网膜分辨率方面一样，这个原型的目的是展示变焦的感觉，而不是宣称具体技术来实现它。Butterscotch Varifocal实际上使用了原始Half-Dome的致动器，在2019年底，Meta还公布了更快速更可靠的致动器的Half-Dome 2以及没有机械部件的Half-Dome 3，将焦距的调整改为可调式镜片。

动态畸变校正五个时间在Butterscotch Varifocal中没有受到太多关注，但对于营造逼真的VR来说也非常重要。除了令人印象深刻的角分辨率和动态焦点外，我还注意到Butterscotch Varifocal具有出色的光学基础，没有瞳孔游泳或其他几何失真。在试用之后，我发现这是因为它有动态畸变校正。

现代VR头显的镜头将显示器放大到相对宽广的视野范围内，但这会导致几何畸变。Palmer Luckey原始原型的一个关键创新是通过在输出图像中输出与显示屏相反的畸变来在软件中修正此问题。然而，光学畸变会根据你的眼睛相对于镜片的位置略微变化，这种软件畸变校正仅适用于中心位置。动态畸变校正意味着系统根据你的眼睛位置每一帧生成一个新的校正，这需要眼睛追踪的支持。

我被告知这是一种计算上廉价的技术，所以我问兰曼为什么Quest Pro没有使用它，因为它也具有眼睛追踪。虽然他没有直接回答这个问题，但他谈到了眼睛追踪硬件对动态畸变校正能否良好工作的重要性，因为它需要测量你的瞳孔在三维空间中的确切位置，而不仅仅是注视方向。值得注意的是，Quest Pro每只眼睛只有一个跟踪摄像头，而Butterscotch Varifocal每只眼睛有两个，就像Apple Vision Pro一样。

去年Meta将视网膜分辨率描述为“我们的产品路线图”，那么我们何时才能在实际产品中看到这些技术呢？

兰曼当然不会回答这个问题，因为他只是一位“研究人员”，但他对Varjo等多显示器方法的复杂性持怀疑态度。假设视网膜分辨率将通过原始像素密度实现，在具有标准视野的头显中实现中央视野的视网膜分辨率将需要大约5K每只眼睛的显示器。随着视野的加宽，这一需求将变得更高 – 对于全人类视野而言，每只眼睛需要超过10K，对于整个视野而不仅仅是中心的视网膜分辨率，每只眼睛需要16K。

Apple Vision Pro预计将于明年推出，配备约3.5K每只眼睛的OLED微显示器，尽管据报道，这种微显示器非常难以制造，产量低，因此是其3500美元价格的一个主要原因。然而，对于如此高分辨率的微显示器的市场需求才刚刚开始出现，并且随着显示技术公司竞争，找到更好的制造技术，合理地期望价格下降，产量增加，分辨率随着时间的推移变得更高。

那么变焦又如何呢？兰曼在2020年初的一次演讲中将Half-Dome 3的电子变焦方法描述为“准备好投入市场”，比以往任何原型的“技术成熟度级别”更高。去年，马克·扎克伯格暗示变焦可能会在“十年的后半段”到来，即在2026年至2029年之间。

展示原始Butterscotch和Starburst（我们尝试过）时，兰曼描述他的团队的目标是未来提供一个通过“视觉图灵测试”合格的显示系统，这意味着它看起来就像是透明玻璃面罩，而不是显示屏。

Butterscotch变焦并不能完全通过这样的测试。与Starburst不同，它的传统LCD显示屏无法提供真实世界的亮度、动态范围或对比度。但它可以提供细节和清晰度，仅仅这一点就令人惊叹。这再次提醒我们，如今的头显只是虚拟现实的开始，它有一个漫长而充满希望的未来路径。