Meta and Seoul National University Jointly Demonstrate Compact Holographic Near-Eye Display Concept Combining Benefits of Waveguide Display and Holographic Display

CheckCitation/SourcePlease click:XR Navigation Network

(XR Navigation Network April 01, 2024）近眼显示器是下一代增强现实和虚拟现实计算平台的基础技术。然而，为用户提供舒适的沉浸式视觉体验依然存在挑战，例如紧凑的外形，解决视觉辐辏调节冲突，以及通过大视窗实现高分辨率等等。

在一篇名为《Waveguide holography for 3D augmented reality glasses》的论文中，Meta和韩国首尔大学的团队展示了一个紧凑的全息近眼显示器概念，它结合了波导显示和holographic display的优点，并旨在克服真正3D全息增强现实眼镜的挑战。

通过模拟相干光通过波导合成器的相互作用和传播，研究人员演示了使用位于耦入器侧的空间光调制器控制输出波前。所述方法通过出瞳扩展波导组合器实现3D全息显示，提供了一个软件可操纵的大视窗。它同时提供了额外的优点，如通过抑制光瞳复制过程引起的相位不连续的分辨率增强能力。

随着market对下一代计算平台的追求，近眼显示技术正在迅速发展。特别是对于增强现实，行业近数十年来已经发明和探索了各种透明的近眼显示架构。在众多的架构中，波导图像组合器由于其紧凑的外形而成为业界探索增强现实眼镜的主要候选器件。另外，3D全息显示器在实现提供逼真视觉体验方面付出了巨大努力。

在研究中，Meta和韩国首尔大学的团队提出了一种结合波导显示和全息显示优点的显示架构，以令真正的3D全息AR眼镜成为可能。

作为一种近眼显示应用，波导图像组合器指的是一种轻薄透明板，它以全内反射TIR模式引导光线，并复制输出光瞳以传送到用户的眼睛。这种波导可以使用不同类型的光耦合元件来设计。几何波导使用板内的部分反射表面来重新引导和提取波导中的光。衍射波导可以利用表面起伏光栅、体布拉格光栅、极化光栅或几何相位元件作为输入/输出耦合器。

TIR传播允许光路固定在波导中而不受阻挡，不需要在用户眼前放置笨重的投影仪或成像光学器件。波导显示器的图像投影仪通常位于太阳穴一侧，带有无限远校正透镜，可提供高分辨率图像。波导最独特的优点是它能通过光瞳复制来扩展。这提供了一个足够大的视场，而许多其他架构则受到有限的可变空间所带来的权衡关系影响。上述优点使得波导显示成为近年来AR显示的主导技术。

尽管波导显示存在诸多优点，但依然存在一定的限制需要解决。首先，波导只能传递一个固定的深度，通常是无限共轭图像。如果将有限共轭图像投射到波导中，光瞳复制过程就会产生不同光路和像差的副本，从而产生严重的伪影。

产生自然的焦点线索和解决视觉辐辏调节冲突是AR在追求真实舒适视觉体验过程中所面临的挑战。当然，社区已经在研究多成像平面波导架构，但其固有的性质会导致更笨重的形状参数和性能下降，以及增加硬件限制。另外，由于波导图像合成器的低效率，使用传统光源实现足够的亮度非常具有挑战性。同时，尽管激光光源可以大大减少耦合效率的损失，但它们与波导的使用受到限制，因为在TIR传播过程中相干光的相互作用会导致伪影和显著的图像质量下降。

在另一方面，全息显示技术被认为是最终的3D显示方法，它使用空间光调制器SLM调制光的波前，并可提供诸如无像差，高分辨率图像，逐像素深度控制，眼视差深度提示，视觉校正功能，以及大色域等优点。

近年来，计算机生成全息图CGH领域取得了一系列的进展。包括散斑、图像质量和繁重计算负荷等全息显示的数个传统问题可以通过增强的CGH渲染模型和GPU计算能力的提高来解决。然而，为近眼全息显示器设计一种紧凑的结构依然是一个有待解决的问题。

最近，研究人员已经尝试使用光导板实现动态全息显示，并进一步努力补偿像差和提高图像质量。尽管它们通过波导传输全息图的动机相似，但由于不支持瞳孔复制，所以在可扩展性方面存在基本限制。换句话说，焦点扩散效应未得到解决。导光板必须足够厚，否则重叠的波前会被打乱，从而产生严重的伪影，如多个鬼影图像和低对比度。然而，厚光板不适合真正的眼镜形状参数，而且在这种结构中，视窗和视场基本限制在非常小的范围内。

所以在“Waveguide holography for 3D augmented reality glasses”的研究中，Meta和韩国首尔大学的团队提出了一种紧凑的近眼显示系统：waveguide holography/波导全息。它结合了波导图像组合器和全息显示的优点。

他们提出的方法从根本上不同于以往的研究，因为它解决了出瞳扩张波导的焦点扩散效应。就其核心思想而言，团队将相干光在出瞳扩展波导中的相互作用建模为具有多通道核的传播。通过复杂的波前捕获系统和基于相移数字全息的算法，研究人员实现了精确的模型校准。团队证明了波导的出耦波前可以通过相关模型调制输入波前来精确控制。

实验验证了显示完整3D图像的能力及进一步扩展，从而实现了一个右软件控制的大视窗。另外，团队证明所述方法提供了超越传统波导显示极限的增强分辨率。

架构

图1a展示了所提出系统的架构，而图1b、1c分别展示了紧凑型原型和台式样机。系统由准直激光光源、空间光调制器、带表面浮雕光栅的出瞳扩展波导、叠加在SLM之上的线性偏振片和波导的出耦器组成。

与传统的波导显示相比，主要的区别在于将图像投影仪换成了全息投影模块。SLM没有任何投影透镜，消除了物理传播距离的需要，同时实现了轻重量设计。台式样机建立在光学台之上，具有相同的结构和类似的规格。台式样机可用于迭代设计参数和对性能进行基准测试，而紧凑型原型机则展示其形状参数。

输入光由SLM调制，并由耦合器光栅耦合到波导中。光以全内反射的方式传播，并通过出瞳扩展光栅EPE和出耦光栅衍射。这种光瞳复制过程产生了具有不同光路的波前的多种移位副本，它们相互干扰，因此最终输出波前的相位和强度被复杂地打乱了。

然而，研究人员充分利用光的相干相互作用，利用全息投影模块的空间光调制器精确地塑造输出波前。

请注意，通过出瞳扩展波导扩展了透射光的波长，但信息的带宽不变。所以，通过仅调制输入波前来控制整个输出波前从根本上说是一个过度约束的问题。为了克服信息带宽的不足，团队利用了大部分输出波前不进入瞳孔的特点。他们在视窗域中设置虚拟目标孔径作为波前整形的ROI，其中所述孔径可以通过计算控制来匹配用户瞳孔的大小和三维位置。在eye tracking的辅助下，系统可以充分利用扩展后的传感器，实现无需机械转向的软件控制视窗。

在波导中建模全息图的传播

为了模拟出瞳扩展波导内部的相干光相互作用，首先假设波导可以近似为线性移位不变LSI系统。波导的光耦过程可以简化为三种主要光相互作用的组合：光在波导衬底中的传播；衬底边界处的全内反射；以及光栅处的一阶衍射。

这三种相互作用都是具有复值输入和输出的线性算子。同时，在光栅轮廓均匀的假设条件下，可以满足光栅的空间位移不变性。换句话说，每个光栅没有optical power或边界。尽管光栅存在物理边界，但对于不遇到光栅边界的光路，可以近似满足这一条件。

首先，所有复杂的相互作用都可以简化为单个卷积操作。与之宗波导内不同路径的所有光相互作用相比，这种解释的计算效率更高。在此基础上，研究人员建立了一个可微正演模型以用于模型标定和CGH绘制。

尽管具有大规模集成电路假设的优点，但在实际应用中，典型的波导并不是完美的移位不变系统。有太多的因素可以减轻空间位移不变假设，如光栅的不均匀性或衬底的表面平整度。特别是，光栅的物理边界引入了波前剪切和边缘衍射，导致不同的光路取决于在输入域的位置。

另外，光栅中的缺陷和来自粒子或灰尘的不必要散射都会致使LSI近似失效。因此，团队引入了具有复杂孔径的多通道卷积模型来处理系统的空间变异性。

模型管道如图2的上半部分所示，它由多通道核h和复杂孔径Q, R组成，其可视化如图3所示。

所有的孔径和核都是复值二维矩阵，它们的大小取决于输入SLM的大小和输出ROI的大小。孔径Q用于模拟波导的耦入器，并且有助于根据耦入器的位置选择不同的卷积路径。每个h旨在模拟波导内不同可能的光相互作用路径。

孔径R同时用于标定卷积后合成场的强度和相位波动。通过将所有路径的输出波前合并为线性复数求和，模型获得了捕获空间变化特性的能力。线性求和诱导相邻位置之间的平滑过渡，从而防止模型变得过于敏感，同时依然保持其可微性。

研究人员进一步添加了参数来模拟SLM响应和波前在波导模型前的物理传播。SLM模型由串扰核和空间变化的相位响应函数组成。物理传播包括自由空间传播，以及三维倾斜和由对准失配和像差引起的单应性变化。

用复杂波前摄像头标定模型

图2的实际路径说明了复杂波前数据集采集管道。研究人员在波导的耦出器侧实现了Mach-Zehnder型移相干涉仪系统。这个系统可以捕获来自波导和平面参考波束的输出波前的干涉图。然后，使用移相算法检索复波前。为方便起见，干涉仪系统可称为波前摄像头。由于随机相位输入均匀地包含了所有频率分量，所以使用随机相位输入来生成数据集。数据采集完成后，将训练阶段估计的复场与测量的复场数据集之间的损失作为L1范数计算为:

强调复杂波前捕获是精确训练波导传播模型的关键因素之一。与一般的自由空间传播相比，光在波导内的传播会产生复杂的重复波前重叠相干干涉。仅通过测量光强，很难推断出模型中的波导核和复杂的孔径，因为有用的信息淹没在噪点干涉图中。利用波前摄像头获取相位信息，可以成功地获取波导中的相干光相互作用。

另外，所述方法提供了一个大3D视窗区域的一次性校准。一旦模型完成训练，通过裁剪与估计波前不同的区域，光瞳的大小、位置和位置可以在ROI内自由选择。另外，通过数值传播波前可以改变视窗的适眼距。这与传统摄像头在camera-in-the-loop校准方法有很大的不同，后者不能单独校准所有可能的光瞳位置和大小。模型ROI的大小可以通过将模型大小缩放到其面积来选择。

烧蚀分析

图3b给出了输出复波前的估计结果。为了评估组成模型的不同元素的贡献，如图3c左侧所示进行烧蚀分析，其中ROI设置为3.5平方毫米。首先，纯核模型只包含一个h核，忽略物理传播模块、Q、R和DC分量。然后，将物理传播模块添加到仅内核模型中。单通道表示包含h、Q、R和DC分量的全管道，如图2所示。

研究人员使用PSNR和c-PSNR值来评估估计波前与测量波前之间的相似性。通过将复波前的实部和虚部连接成实值矩阵来计算复PSNR。值越高，表明模型对输出波前的预测精度越高。由于相位偏移的微小变化会导致复数域的较大误差距离，所以c-PSNR趋于低于PSNR。结果表明，复杂孔径和直流分量有助于提高模型的保真度。并且可以验证多通道模型比单通道模型显著提高了性能。由于9通道和16通道没有显着的差异，有效性最终饱和。

团队同时测试了每个多通道参数Q, h和R的贡献。当Q设置为单个通道(1−N−N)时，所有核h共享相同的输入复杂孔径，所以模型失去了处理上述空间变化属性的能力。因此，预测的保真度明显下降，如图3c所示。

同时，当R通道设置为单通道(N−N−1)时，PSNR下降相对较小。这一结果与建模的物理直觉一致，因为预计R将捕获外耦合器侧或波导外部的波前调制，这将显示比内波导相互作用更均匀的响应。

在图3c的右侧，通过改变输出ROI的大小来展示模型的可扩展性。ROI的大小不会显著影响模型性能，这与建模中使用的假设一致。在耦合器侧，共享相似卷积路径的每个通道可以在空间上进行组合。然后光瞳复制过程将每个通道的接受野扩展到整个耦出器区域。因此，所需的信道数不依赖于耦出器域，而主要取决于耦入器域。

全息渲染

一旦模型训练完成，CGH可以通过在模型管道的末端添加一个参数化SLM输入相位的数值传播来计算，如图2所示。输入相位初始化为随机，并通过正向路径传播以生成输出视网膜图像。损失计算为目标图像与模型输出差的L1范数。对于3D内容，可以在多个深度计算损失并将其相加。焦叠或光场图像可以用来促进精确的模糊效果或视差。损耗被反向传播以更新输入相位，整个过程迭代，直到估计结果达到一定的PSNR值。

实验结果

图4展示了在台式样机中捕获的实验结果，其中视场对角线略小于11度，这由SLM间距大小决定。

研究人员使用两种不同的方法执行捕获。第一，将一个带有3D打印的入瞳掩膜的成像摄像头放置在目标ROI的精确尺寸和位置，并直接捕获图像。第二，利用波前摄像头在视窗域中捕获复波前，并将其数值传播到像面。

波前摄像头可以避免像差或对准误差，因为数值传播取代了物理孔径和镜头。零阿文i，它提供了精确的数值重新聚焦能力与更大的深度范围。然而，相移过程会给重建图像增加噪点。团队使用这两种捕获方法来评估结果。

图4a的第一列用于比较，其中管道中的波导模块已替换为与波导无关的通用波传播函数。值得注意的是，模型显著提高了图像质量，即便显示在无限深，图像都没有明显的伪影存在。在显示有限深度全息图时，如果不采用这种方法，图像会受到伪影和像差的严重影响。

图4a的第二列和第三列分别显示了使用成像摄像头和波前摄像头捕获模型的显示结果，后者显示出略高的分辨率，但如前所述对比度略有降低。结果表明，波导解决了焦点扩散伪影，并在所需深度重建了全息图。

图4b显示了从零到无限远的全深度范围内生成和捕获的全息图。一旦模型被校准，在三维空间中的任何尺寸和位置都可以选择视窗，不需要额外的光瞳校准。

3D显示结果如图5所示。紧凑原型的显示结果如图5b所示，其中通过波导捕获场景以演示透明质量。样机中使用的4 K SLM显示了相位闪烁伪影，这损害了校准精度和图像质量。图5c显示了用波前摄像头捕获的时间复用3D结果。CGH使用焦点堆栈目标（12个平面）进行渲染，并精确渲染模糊和遮挡。

由于团队的波导是为单一波长设计，他们通过合并单独捕获的RGB通道图像来展示伪彩色图像，以促进对3D效果和图像质量的直观视觉感知。

在理想的无损波导中，透射波前的角分辨率取决于波导对波长为λ的单色光所能支持的模式数和模式间距:

式中t为衬底厚度，θT为TIR角度视场分量。然而，这在典型的波导显示器中并不成立，因为波导图像组合器由具有有限边界的泄漏衍射光栅组成。在光瞳复制过程中，光栅边缘的大量光束剪切，以及用户眼睛瞳孔的剪切降低了有效数值孔径和分辨率。在大多数情况下，这种波束剪切效应已经成为一个不可避免的退化因素，它设置了波导显示系统分辨率的基本限制。另外，系统中存在各种非理想性，如投影模块的像差或表面平整度会进一步降低分辨率。

利用光在波导中相互作用的知识，可以对光束剪切引起的相位不连续进行缝合，以实现视窗内的平滑相位。

图6展示了波前摄像头拍摄的倾斜平面波目标的实验结果。在不使用团队方法的情况下，在波前可以观察到严重的相位不连续。但通过优化，可以直观地验证相位不连续是最小的。同时，优化后的振幅更加均匀，使输出波前成为理想的无限共轭平面波束。这有效地增大了显示系统的数值孔径，提高了分辨率。图6中的PSF和MTF清楚地显示了改进。结果表明，在Strehl ratio提高3倍以上的情况下，可以实现亚弧分分辨率。

总的来说，在目前的原型中，SLM会产生一定的伪影。另外，视场受到SLM像素间距的限制。使用投影镜头可以通过牺牲形状参数来增加视场。然而，团队选择展示终极无透镜架构的可行性，并押注于微显示技术的未来进步。

随着人们对AR/VR的期望越来越高，学术界和工业界都在不断努力，以期在SLM方面取得突破，例如亚微米像素间距、复杂调制能力和高刷新率。相关突破将极大地提高所提出架构的性能和可扩展性。

另外，由于干涉仪系统的性质，校准过程对机械扰动非常敏感。经验表明，系统在显示阶段比标定数据采集阶段具有更好的鲁棒性。进一步研究系统的机械灵敏度和改进标定算法是有益的。从建模的角度来看，可以研究波导系统的更精确的表示。团队的模型是建立在由可解释参数组成的波导传播过程的物理直觉之上。这种方法允许有用的性能分析，并将有助于理解系统需求和优化设计。进一步提高建模的保真度将带来更好的校准和显示质量。

另一方面，计算效率高的建模是另一个需要追求的方向。研究人员观察到模型参数中存在冗余。例如，每个核在振幅和相位形状以及增加通道饱和数的增益方面具有相似性。这种冗余可以减少，从而缩小模型的大小和计算负荷。同时，采用激光光源的波导显示可以潜在地克服亮度和效率问题。

团队总结道：“我们相信我们的贡献将促进更多的后续研究，并朝着超紧凑、真正的3D全息AR眼镜迈出进一步的步伐。”