Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

(XR Navigation Network 2024年05月31日）在SID Display Week 2024，显示技术厂商Cogni Trax演示了用于AR眼镜的“硬边遮挡”，而近眼显示技术专家卡尔·古塔格（Karl Guttag）日前专门介绍了Cogni Trax的技术，以及硬边遮挡依然不可能实现的原因。

1. 介绍

正如我曾经所说，对于在会议活动展示的演示，“有时你看到的是一场与真实应用几乎没有关系的‘魔术秀’。”

我上周在SID Display Week 2024看到的Cogni Trax硬边遮挡演示正正说明了这个“魔术秀”概念。我知道Congi Trax已有至少三年时间，并我发现他们官网曾引用过我的话（我觉得有点断章取义）。

据报道，Cogni Trax在过去的大约7年时间里通过3轮融资筹集了710万美元。我联系了Cogni Trax的首席执行官萨贾德·汗（Sajjad Khan）（同时是Apple VisionPro的前苹果光学设计师）。尽管知道我对他们的概念持怀疑态度，但他非常慷慨地回答了我的问题。

2. 柔边遮挡（Soft-Edge Occlusion）与硬边遮挡（Hard-Edge Occlusion）

在AR中，你是将数字内容叠加到真实世界视图，而这涉及数字遮挡真实。柔边遮挡（Soft-Edge Occlusion）是在AR眼镜的正面放置像素化液晶显示器/快门以调暗环境光，而这会导致非常“软柔”的边缘。硬边遮挡（Hard-Edge Occlusion）则是指逐像素精确的光遮挡，这可以实现轮廓鲜明的清晰边缘。

2.1 柔边遮挡

正如我之前评价Magic Leap 2时所说：柔边遮挡是一种面向投资者而非用户的解决方案。

在AR眼镜的正面放置像素化液晶显示器/快门以调暗环境光是一个十分常见的想法。它甚至有一个名称：柔边遮挡。将LCD放在镜片前面会导致非常“软柔”的遮挡。

尽管需要在对焦的空间图像处理硬边遮挡，但可以在散焦图像进行柔边遮挡，例如通过遮像素化调光面板。这种像素化调光器可以集成为LC层，或者作为偏振调光器，或者作为基于染色LC层的幅度LC调光器。

理论上，柔边遮挡用于选择性地大面积调暗现实世界，这样虚拟图像就可以在不调暗整个现实世界的情况下突显出来。对于Magic Leap 2的柔边遮挡，基本概念似乎十分简单：将透射液晶面板形式的“调光像素”放在波导前面，以阻挡现实世界的光线。

如果孔径缩小到一个非常小的“针孔”，则只有一小束光线会在图像平面形成一个光点。在某种程度上，孔越小，图像就越清晰但更暗。如果孔变得太小，衍射会导致光线模糊和阻挡，亮度与孔的大小大致成正比。

透镜“收集”来自大光圈的光，并将其对焦到一个点。光圈越大，图像越亮，大致与光圈的面积成比例。整个透镜为图像中的每个点收集光线。如果相同的透镜光圈更小，则图像区域保持相同的大小，并且不会出现截断；整个图像变暗。另外，如果光圈变小，对焦深度就会变大。

如果你在眼镜上面放一个像素大小的点，没有人会注意到。如果能够注意到，眼镜上面的每一粒灰尘都会引人注目，造成分心。这是因为距离眼睛只有几毫米的点高度失焦，来自现实世界的光线在被眼睛的晶状体聚焦之前会绕过这个点。这个像素点会使得虚拟图像中的几千个像素轻微变暗。正如之前所说，Magic Leap 2的调光像素将覆盖虚拟图像中的约2100个像素，并对数十万个像素产生调光效果。

2.2 硬边遮挡（光学和摄像头透视）

“硬边遮挡”是指逐像素精确的光遮挡。对于摄像头透视式AR（如Apple Vision Pro），进行硬边遮挡十分简单；一个或多个摄像头像素由虚拟图像中的一个或更多个像素代替。尽管遮蔽像素对于摄像头透视而言十分简单，但要确保硬边遮挡与真实世界完全对齐，你依然存在一个并不简单的问题。

对于光学混合现实硬边遮挡，你同时必须将真实世界对焦，然后才能对其进行精确遮挡。现实世界的光不是进入摄像头，而是进入反射掩模空间光模块（SLM），通常是LCOS，然后将其与虚拟图像进行光学组合。

我之前讨论过亚利桑那州立大学的硬边遮挡光学解决方案。他们的解决方案有一组光学器件，可以将现实世界对焦到SLM进行遮蔽。然后，偏振分束立方体将结果组合起来。尽管亚利桑那州立大学的专利提到使用偏振分束器来组合图像，但专利没有显示或提及SLM和分束器之间需要四分之一波片。发明人之一是亚利桑那州立大学教授，同时是Magic Leap的顾问，而专利授权给了Magic Leap。

除了体积大、笨重、光学性能差之外，亚利桑那大学的硬遮挡问题同时包括：

• 它只适用于在对焦设置的距离处进行硬边遮挡。

• 现实世界“扁平化”为与虚拟世界处于同一焦点。

• 极化使得现实世界至少变暗50%。

• 通过偏振分束器，真实世界至少变暗了2倍。

• 当眼睛移动时，真实世界的移动方式将与眼睛直视时不同。你通过两组光路更长的光学器件来查看现实世界。

尽管Cogni Trax使用相同的原理来遮蔽真实世界，但它的配置不同，而且体积更小、更轻。这两种设备都会阻挡大量光线。Cogni Trax的设计阻挡了大约77%的光线，而他们声称下一代产品将阻挡50%的光线。但请注意，这可能加上了光学系统中的其他光损失。

3. Cogni Trax在SID Display Week 2024的演示

从表面上看，Cogni Trax的演示让这个概念看起来行得通。演示中有一个智能手机摄像头通过Cogni Trax光学设备进行观察。如果你仔细观察，你会发现它们阻挡了来自现实世界的4个区域的光线（见下图中的箭头）：鞋面的耐克标志，QR码，瓶子里的可乐（带有移动的气泡），以及部分变暗以创造瓶子阴影的墙壁。

他们没有带虚拟图像的微型显示器；所以，它们只能阻挡或调暗现实世界，而不能替换任何东西。因为你不是通过自己的眼睛看图像而是通过手机，所以你没有深度损失和视差问题的感觉。

当我拍摄上面的照片时，我原本没有打算写一篇文章，所以没有拍下完整的设置。幸运的是，科技博主罗伯特·斯考伯（Robert Scoble）发布了一段相关的X视频。图中的六轴装备支持以六个自由度对齐相机和Cogni Trax设备。只有当场景中的所有对象都处在相对于相机/设备的精确位置时，这个演示才会起效。

可以说，开发SLAM、eye tracking和3D缩放技术以消除对图中六轴控制装置的需求是“硬件和软件的小事”。然而，这个六轴控制装置说明了光学的基本概念及其局限性。

4. Cogni Trax第一代光学元件的工作原理

以下是Congi Trax用于绘制光路的专利图。我添加了一定的彩色处理来帮助你理解图表。专利中用于组合虚拟图像的虚线部分没有在Cogni Trax的当前设计中实现。

现实世界的视图需要经过一条相当痛苦的路径。首先，它通过一个偏振器，其中至少有50%的光丢失（理论上这个偏振器是多余的，但它很可能用于减少伪影）。然后，它通过一个对焦元件从偏振分束器反射回来，将现实世界对焦到LCOS SLM。LCOS装置将改变任何未被遮蔽的偏振，以便它在通过对焦元件的回程中通过偏振分束器。

接下来，光线通过“中继光学”，然后是四分之一波片QWP，离开反射镜，再通过四分之一波片和中继光学。通过“中继光学”的两个通道必须撤消通过对焦元件的两个通道对光所做的一切。通过QWP的两个通道会旋转光的偏振，这样光就会从分束器反弹，并通过一个净化偏振器直接射向眼睛。如图所示，光可以与来自微显示器的虚拟图像相结合。

我发现很难相信现实世界中的光会经历这一切，而且除了发生在它身上的偏振光损失之外，什么都不会表现出来。

Cogni Trax提供了一组图表来说明“Alpha Pix”的光路。我将他们的几个图表编辑在一起，并添加了红色注释。如前所述，当前的原型没有用于提供虚拟图像的微型显示器。如果实现了虚拟显示设备，则其光学器件和组合器将位于所示的所有其他设备之上。

我不认为这是解决硬边遮挡的实用方法。尽管比