CheckCitation/SourcePlease click:XR Navigation Network
(XR Navigation Network 2024年06月11日)WWDC大会正在进行中,而苹果专门为visionOS开发者提供了一系列的讲座内容。这家公司表示,在今年的讲座中,你将简要了解出色的visionOS App设计、探索对象追踪,并探究新的RealityKit API。你同时会了解如何打造引人入胜的空间照片和视频使用体验,探索适用于visionOS的企业API,探究如何使用透视功能渲染Metal,另外有更多精彩内容等你来发掘。
下面是本届活动的visionOS开发者讲座视频指南:
值得一提的是,苹果将历史上所有相关的视频都纳入到Spatial Computing空间计算专栏,而更多与空间计算相关的信息可以访问苹果开发者官网Nweon.
下面是所有相关视频的汇总及简介。点击小标题可以超链接进入具体视频,而点击视频页面右下角的“⋮”可以显示英文字幕和调整语速。另外,下方的“Transcript”提供了英文文本转录。
了解如何通过拥抱沉浸感,为眼和手设计,并利用深度,规模和空间来创建引人注目的空间计算应用程序。我们将分享数个优秀的visionOS应用示例,并探讨他们的设计师如何为平台创造新的体验。
了解如何使用对象追踪将现实世界的对象转换为visionOS应用程序中的虚拟锚。了解如何从头到尾使用对象之宗构建空间体验。了解如何在Create ML中使用机器学习创建参考对象,并在Reality Composer Pro,RealityKit或ARKit API中相对于目标对象附加内容。
在 Reality Composer Pro 中编写交互式 3D 内容
了解Reality Composer Pro时间轴视图如何可以将你的3D内容变得栩栩如生。学习如何创建一个动画故事,并使用逆运动学,混合形状和骨骼姿势。我们同时将向你展示如何使用内置和自定义动作来排序动作,应用触发器,并实现自然运动。
探索适用于 iOS、macOS 和 visionOS 的 RealityKit API
了解RealityKit中全新的跨平台API如何帮助你为iOS, macOS和visionOS构建沉浸式应用程序。查看新的悬停效果、照明和阴影以及透视功能,并通过实际示例查看它们的实际效果。
了解如何使用ARKit的最新功能创建迷人的沉浸式体验。探索使用房间追踪和对象追踪的方法,以进一步与周围环境交互。我们同时将分享应用程序如何对环境照明的变化做出反应。另外,手部追踪和平面检测的改进可以使你的空间体验更加直观。
利用 RealityKit 音频让空间计算 App 更加引人入胜
使用RealityKit音频提升你的空间计算体验。探索空间音频如何使你的3D沉浸式体验栩栩如生。从环境音频,混响,实时程序音频,你可以将Persona添加到你的3D内容。你同时可以了解RealityKit Audio API如何帮助提升应用程序的吸引力。
了解如何在应用程序中采用空间照片和视频。探索不同类型的立体媒体,并了解如何在iPhone 15 Pro的iOS应用中捕获空间视频。探索检测和呈现空间媒体的各种方法,包括visionOS中新的QuickLook Preview Application API,并深入了解Meta和立体概念。
使用Tableopkit从零开始为visionOS构建一个棋盘游戏。我们将向你展示如何设置游戏,使用RealityKit添加强大的渲染,并在FaceTime中使用Spatial Personas启用多人游戏,而这一切都只需几行额外的代码即可。
准备好为visionOS扩展你的Metal体验吧。学习使用透视将渲染内容与人们的物理环境集成的最佳实践。了解如何定位呈现的内容以匹配物理世界,通过可追踪的锚点预测减少延迟等等。
了解AVExperienceController如何在Apple VisionPro播放多个视频。回顾采用的最佳实践并探索优秀的用例,例如从不同角度观看体育广播或同时观看多场比赛。并了解如何在应用程序中设计引人注目且直观的多视图体验。
了解如何在Apple Vision Pro使用visionOS的全新企业API创建空间体验,从而提高员工和客户的工作效率。
在visionOS中发现强大的新方法来定制volume和沉浸式空间。学习微调如何调整volume大小和响应周围的人移动。通过坐标转换的力量使volume和沉浸式空间相互作用。了解如何使应用程序在人们使用数字表冠调整沉浸感时做出反应,并在沉浸式空间体验中动态自定义透视色调。
通过构建空间绘图应用程序的过程来利用RealityKit的强大功能。在创建一个引人注目的空间体验时将RealityKit与ARKit和SwiftUI集成,你将探索相关资源如何在RealityKit中工作,以及如何使用 low-level网格和纹理API等功能来实现用户笔触的快速更新。
了解如何充分利用web上的visionOS功能。探索最近的更新,如选择突出显示的改进,以及全屏显示空间照片和全景图像的能力。学习利用现有的听写和文本到语音的Web标准,使用WebSpeech,使用WebAudio的空间音景,以及使用WebXR的沉浸式体验。
了解如何在visionOS中为你的游戏设计和实现出色的输入。了解系统手势如何为玩家提供无障碍的游戏交互方式。探索支持自定义手势和游戏控制器的最佳实践。
了解如何为Apple Vision Pro创建视觉丰富且性能良好的自定义应用程序环境。学习设计指南,获得专家建议,并探索可以在任何数字内容创建工具中使用的技术。
使用Reality Composer Pro组件扩展媒体观看体验。了解如何使用反射、色彩环境效果、SharePlay和沉浸式环境选择器进一步增强沉浸感。
向Encounter Dinosaurs的设计师学习如何为Apple Vision Pro设计引人注目的交互式叙事体验。了解这种类型的体验与现有的应用程序,媒体和游戏有何不同,并探索如何设计叙事,将观众带入新的世界。了解如何创建适合任何空间和大小的故事,提供多层次的交互以使所有人都可以访问,并使用动画,空间音频和自定义手势来进一步让人们沉浸在你的体验之中。
了解如何开发自定义悬停效果,当人们查看视图时更新视图。了解如何构建结合了不透明度、缩放和剪辑效果的扩展按钮效果。发现创造舒适效果的最佳实践,并尊重人们的可访问性需求。
潜入端到端工作流优化3D asset创建。在数字内容创建工具中发现优化网格、材质和纹理的最佳实践。了解如何利用着色器图形,烘焙和材质实例来增强您的3D场景,同时优化性能。利用原生工具更有效地处理你的asset,提高应用的性能。
通过扩展对象捕获功能来支持捕获和重建区域,了解对象捕获的区域模式如何在iOS启用新的3D捕获可能性。了解如何使用新的macOS样本应用进行重建以优化iOS捕获的质量,并了解如何使用Apple Vision Pro,iPhone,iPad或Mac的Quick Look查看最终结果。了解3D重建的改进,包括允许你创建自己的自定义图像处理管道的新API。
了解如何将你的iOS或ipad游戏转变为独特的视觉操作系统体验。用3D框架或身临其境的背景来增加沉浸感,并通过立体感或头部追踪来增加窗口的深度,邀请玩家进一步进入你的世界。
了解WebXR如何能够在visionOS中为网站添加完全沉浸式体验。了解如何构建充分利用visionOS输入功能的WebXR体验,并了解如何使用模拟器在macOS测试WebXR体验。
了解如何使用HealthKit创建充分利用空间画布的体验。了解HealthKit在平台上的功能,了解如何将现有的iPadOS应用程序引入visionOS,并探索在Guest User访客用户会话期间管理HealthKit的特殊考虑。你同时将学习如何使用SwiftUI,Swift Charts和Swift来制作HealthKit的创新体验。
探索visionOS中的Quick Look如何提升应用程序中的文件预览和编辑体验。我们将介绍应用内和窗口Quick Look的集成,以及一个可自定义应用程序中的窗口Quick Look体验的全新API。我们同时将分享在Quick Look中查看3D模型的最新增强功能。
探索苹果平台上对通用场景描述和MaterialX支持的更新。了解相关技术如何为3D内容创建和交付提供基础,并了解它们如何帮助简化工作流程以创建出色的空间体验。了解RealityKit和Storm中的USD和MaterialX支持,系统提供的工具的进步等等。