8th Wall引入生成式AI工具到其WebAR平台

TL;DR: 8th Wall宣布推出新的GenAI模块，允许开发人员将Inworld和OpenAI集成到他们的WebAR体验中。新模块简化了将GenAI集成到WebAR项目中的过程，使开发人员能够创建更具动态性、互动性和吸引力的体验。根据8th Wall的说法，用户现在将能够积极地塑造体验，而不仅仅是被动地消费内容。

2023年8月30日 – 8th Wall是 Niantic 的子公司，是一个提供基于Web的增强现实（WebAR）开发平台的供应商，宣布在其平台上引入了Generative AI（GenAI）模块和样本项目，用于Inworld和OpenAI。

GenAI的引入与8th Wall引人入胜的WebAR结合，现在为开发人员、品牌和机构提供了一种利用似乎无限创造力资源并让受众对沉浸式体验有更大控制的新方式。

8th Wall指出，该平台已经允许开发者与GenAI工具集成，加速开发并构建WebAR体验。这项技术包括DALL·E和Stable Diffusion，用于添加文本到图像输入，Blockade Labs，用于将360度图像添加到天空中，Inworld AI，用于融入类似人类的交互角色，Hugging Face和ControlNet，用于为面部添加纹理，或者Move.ai和Wonder Dynamics，用于添加逼真的动作。

通过这一最新公告，开发者们无论水平如何，现在都更容易使用GenAI构建WebAR体验，这得益于新集成的GenAI模块和Inworld、OpenAI的样本项目。根据8th Wall的说法，这些新模块有助于消除通常会阻碍在WebAR体验中添加GenAI技术的开发工作量，为开发者提供了一种无需繁琐工作就能将技术引入WebAR体验的方式。开发者只需要将模块添加到项目中，即可在体验中启用基于GenAI的功能。

社交应用如TikTok上的基于AI的滤镜在最近几个月不断走红，其中一个重要原因可能是AI最终生成内容的有时不可预测性。通过将WebAR与GenAI相结合，开发者不再创造一次性内容，而是将这两种技术结合起来，创造出动态、演化的体验，响应用户的互动，这有助于保持用户更加参与，并希望重新访问滤镜和体验，以创造新的结果。

此外，借助8th Wall平台，开发者只需一次构建，即可在智能手机、计算机、平板电脑和虚拟及混合现实设备上实现一致的体验。

Inworld的Character Engine

Inworld是一种强大的GenAI技术，使开发人员能够将其WebAR体验与交互性和逼真的AI驱动角色相结合。这些角色、头像和品牌大使可以以更个人化的方式学习、适应和与用户互动。

8th Wall表示，它与Inworld合作，创建了 Inworld AI Integration Module以及一个样本项目。该模块允许开发者将Inworld的角色与8th Wall的工具结合起来，提供新的交互体验。例如，开发者可以将Inworld与图像目标或世界效果结合使用，从而在产品包装上看到熟悉的角色头像，并与它们展开自然对话。8th Wall表示，借助Inworld的“角色大脑”，角色可以模仿整个人类表情范围，这意味着每次对话都不同，并且与上下文相关。

开发者现在可以在8th Wall体验中引入这样的角色，而无需服务器配置或令牌认证的复杂性。一旦添加到项目中，模块会处理后端工作，意味着开发者只需输入API密钥即可开始开发。使用 样本项目，开发者可以构建自己的第一个Inworld和8th Wall体验，使用图像目标启动与虚构品牌吉祥物Rainbow Ray的品牌邂逅。

8th Wall在一篇博文中提到：“随着混合现实的未来形态逐渐显现，像Inworld驱动的AI角色将成为构建虚拟世界的关键组成部分，为用户在数字空间中提供无限的互动可能。”

适用于OpenAI的新8th Wall集成模块

作为最新版本的一部分，8th Wall还推出了利用OpenAI的DALL·E和ChatGPT进行图像生成和AI驱动文本聊天的新开发者工具。

独立使用，OpenAI的DALL·E是一个强大的GenAI模型，根据用户的文本提示创建高度详细和富有创意的图像。当DALL·E与WebAR结合使用时，开发者可以使用这些文本到图像的提示来创建让用户掌握创造力的体验。根据8th Wall的说法，用户可以输入独特的提示来生成图像，以增强天空、符合人脸、重新构想现实世界的物体，甚至作为WebAR体验中的新纹理。

类似地，ChatGPT可以使开发者通过实时理解和回应用户输入来创建个性化和交互式的WebAR体验。8th Wall表示，开发者现在可以使用这种类型的交互来开发与WebAR角色的基于文本的对话，与ChatGPT合作在场景中放置物体，甚至创建结合DALL·E和ChatGPT的体验以进行实时更改。

与Inworld AI Integration Module一样，新的适用于OpenAI的Integration Module for OpenAI有助于为开发者节省时间，并设置一个项目代码来调用DALL·E和ChatGPT。开发者将模块添加到8th Wall项目后，只需添加OpenAI API密钥，就可以开始构建。

同样，8th Wall创建了一个样本项目，开发者可以使用它来测试将AI整合到WebAR体验中，并发现如何使用DALL·E通过文本生成3D纹理并实时将其应用于虚拟物体。此外，开发者可以自定义ChatGPT提示框，为用户提供控制体验元素的另一种方式。

8th Wall的XR开发者Ian Curtis在谈到这些工具时表示：“我对将生成AI整合到增强现实中最感兴趣的是，它使每个用户都能成为他们数字世界的建筑师。他们不再被动消费内容，而是积极创造它，用他们的想象力塑造他们的体验。”

开发者现在可以利用8th Wall的新公布的工具发掘GenAI的潜力，改变WebAR体验，并将GenAI与平台的许多功能结合使用，包括但不限于图像目标、面部效果、世界效果、天空效果、Lightship VPS和Shared AR工具。

有关8th Wall及其用于开发和创建WebAR体验的工具的更多信息，请访问该公司的 网站。

图片/视频来源：8th Wall / YouTube