在宣布这一努力的推文中,Qualcomm将“XR”列为设备类别之一。
LLaMA是Meta的一系列开源大型语言模型(LLMs),采用类似OpenAI闭源GPT系列的Transformer架构。
本周,Meta发布了LLaMA 2,基准测试显示它的性能超过了所有其他开源大型语言模型,甚至接近于OpenAI的GPT-3.5,该模型为ChatGPT的免费版本提供支持。
然而,要在移动芯片组上以合理的速度运行大型语言模型是一个巨大的挑战,并且可能不会很快实现-特别是在VR中,在系统还需要足够的空间以以每秒72帧的速度运行跟踪和渲染。
例如,即使是LLaMA 2的最小变体——70亿参数模型,也需要28GB的内存进行完全精度的运行。近来,爱好者一直在尝试以更低的精度运行LLMs,最多只需3.5GB的内存,但这会显著影响输出质量,并且仍需要相当多的CPU和/或GPU资源。
如果Qualcomm和Meta最终能够让LLaMA模型在Quest头戴设备上运行,将会开启一系列突破性的用例。
这可能会实现真正的下一代NPC(非玩家角色),虚拟人物可以与您进行对话,并且您可以与它们进行互动以在游戏或体验中获取信息。这可能会在头戴设备中引发全新的体验类型,更类似于《星际迷航》的全息甲板,而不像目前的视频游戏。
但是,目前并没有迹象表明这将很快在设备上实现。