清华大学与中科大联合研发低功耗智能眼镜面部捕捉方案AUGlasses

(XR Navigation Network 2024年11月11日）智能眼镜的尺寸与功耗限制促使研究人员寻求微型化和低功耗的传感解决方案。中国科学院大学与清华大学的研究团队提出了AUGlasses。这款智能眼镜通过在面部颞区布置惯性测量单元（IMU）来捕捉面部肌肉运动引起的皮肤变形，进而实现低功耗且隐蔽的面部重建技术。

IMU信号与面部动作单元（AUs）的历史数据经过基于transformer的深度学习模型处理，以实现实时AU强度的估计，从而用于面部重建。

结果表明，AUGlasses能够准确预测14个关键AU的强度（0-5级），跨用户的平均绝对误差（MAE）为0.187（STD=0.025），而面部重建的跨用户MAE则为1.93mm（STD=0.353）。研究团队结合了多种预处理和训练技术，以确保系统的连续传感性能稳定。微观基准测试显示，系统在微调的跨用户模型下，持续精准地完成面部重建，同时实现了0.35的AU MAE。

面部重建蕴含了丰富的应用前景，因为人脸能够传达情绪、健康状态、饮食习惯甚至疲劳程度等信息。用户可以通过面部肌肉的活动进行互动，这也为逼真的数字化身打下了基础。

研究团队利用多种类型的传感器收集数据，力求在数字领域中重现面部表情和肌肉动作。尽管摄像头和毫米波雷达可以全面捕获面部特征，但智能眼镜的尺寸和功耗要求迫使他们寻求一种微型和低功耗的解决方案。

因此，团队设计了AUGlasses，这款智能眼镜配备了三台低功耗IMU，专门用于高精度的面部重建。该IMU具备高灵敏度，能够快速捕捉面部肌肉运动引发的细微和瞬时的皮肤变化。

研究人员对皮肤变形进行系统分析，发现颧弓上方的颞肌区是变形最明显的区域，这一发现在面部解剖学中得到了验证。为了充分利用这一发现，他们在眼镜中融入生物相容的弹性结构，将两个IMU放置在颞区，以监测皮肤运动和形状的变化。

IMU获取的数据和面部动作单元强度的历史记录输入到深度学习模型中，从而预测当前的AU强度。选择预测AU强度而非面部特征点的优势在于提升了系统的通用性，确保高频的AU序列输出以30帧每秒的速度运行，从而保证了下游应用的实时性和实用性。

研究团队同时提出了一种新的训练策略——Prefix-conditioned Sequence Forecasting，以促使模型学习跨多个高频帧的远程依赖性。随后，估计出的AU强度被输入到Unity中实现实时的面部重建。

这个系统的优势主要体现在以下三个方面：

• 首先，低功耗的传感方法保障了智能眼镜的长效续航。IMU和蓝牙通信的功耗仅为49.95 mW（在3.7 V时为13.5 mA），低于现有解决方案。如果传感器仅在25%的时间内工作，则平均功耗可低至12.5 mW。此外，系统具备隐私保护、轻便和舒适等特点，IMU不会暴露用户的敏感个人数据，如图像或声音，缓解了用户对隐私的担忧。整个结构的总重量仅为0.83克，仅为市面上商用智能眼镜的1.66%。尽管IMU与皮肤接触，但实际接触面积极小，因此额外的重量和接触感对用户几乎是不可感知的。

• 其次，团队设计了一系列技术以确保长期连续面部重建的准确性。在预处理阶段，更新了移动伪影去除的映射参数，以保证在用户活动时的有效性；在推理阶段，调整了输入AU的值，以防止在长时间感知过程中的预测误差传递；在训练阶段，采用新颖的Prefix-conditioned Sequence Forecasting预测策略，引导模型基于更广泛的背景信息进行学习，这样可以增强其对后续序列的预测能力，减少曝光偏差，提升连续面部重建的准确性及可靠性。

• 第三，通过预测14个AU来重建整个面部，避免了直接预测面部特征点的二维坐标带来的复杂性，同时仍能实现较好的面部重建性能。

团队开展了一系列优化传感器位置和支撑结构参数的实验，并进行了坐姿和行走场景下的用户研究，以评估14个AU强度的预测准确性，面部重建效果及长时间连续预测的稳定性。

用户研究结果显示，AUGlasses准确预测了14个关键AUs的强度（0-5级），跨用户的平均绝对误差（MAE）为0.187（STD=0.025），而面部重建的跨用户MAE为1.93mm（STD=0.353）。研究团队有效集成了多种预处理和训练技术，以确保系统在连续传感中的鲁棒性。微观基准测试表明，该系统能够持续使用精细调整的跨用户模型进行准确的连续面部重建，并实现了0.35的AU MAE。

总体而言，AUGlasses是一款具备低功耗特点的智能眼镜，能够连续追踪14个面部动作单元，并实现高精度的面部重建。研究团队设计了一种全新的实时AU估计架构，通过IMU数据和过去的AU强度估计当前帧的AU强度。基于对14个AUs的预测强度，在Unity中重建角色的面部，并通过提取51个面部特征点来与真实结果进行比较。

重建的3D面部MAE仅为1.93mm，NME为2.75%。主观反馈显示，超过70%的参与者认为AUGlasses佩戴舒适，适合日常使用。后期分析还显示，系统在单个IMU的支持下可保持50Hz的采样率，进一步将功耗降至40.96 mW。