PICO发布OS系统大更新，伴随PICO 4 Ultra上市

(XR Navigation Network 2024年09月04日)PICO 4 Ultra 现已正式发售，这款搭载了全新硬件和软件功能的头显也迎来了首个 OTA 版本更新。

本次更新包含 PICO 4 Ultra 伴生版本 V5.10.1.U 和首次 OTA 版本更新 V5.11.0.U，为用户带来一系列重大功能升级和优化。

一. PICO 4 Ultra 伴生版本：V5.10.1.U

显示

1. 默认渲染分辨率提升至 1920*1920，较 PICO 4 提升 62.96%，画面更清晰锐利。

2. 默认刷新率提升至 90Hz，显著提升系统整体的流畅度体验，让画面更加平滑细腻。

3. 最大亮度较 PICO 4 提升 25%，提供更出色的基础视觉体验，即使在强光环境下也能获得清晰的画面。

透视

1. 搭载双目每目 800 万像素高清彩色透视，较 PICO 4 每目清晰度提升 100%，提供裸眼 4.5-4.6 视力表级别的清晰度表现，展现更真实的色彩亮度还原。

2. 全新算法提升深度精度，同时保证边缘低畸变低粘连，呈现更清晰自然的透视效果。

3. 支持动态调整曝光时长，运动时低拖影，静止时更清晰，画面更加稳定流畅。

interact

1. 手柄追踪

   • 采用 Centaur 多模态追踪算法，即使在手柄尺寸较小的情况下也能提供高精度低延迟的追踪体验，带来更精准的操作操控。

   • 手柄模型增加了手部姿态的显示，让手柄在虚拟空间中的位置更加直观。

2. 手势追踪

   • 追踪延迟更低，运动时更加跟手，操作更流畅自然。

   • 提升点击成功率并降低误触率，操作更精准，减少误操作的发生。

   • 追踪稳定性提升，即使手部有遮挡，抖动与丢失也明显减少；高速移动时追踪依然稳定，不丢失，保证操作的稳定性。

   • 提高暗光环境下的追踪稳定性和精度，即使在光线较暗的环境下也能正常使用，扩展使用场景。

   • 优化了系统快捷手势，使用更便捷，误触更少，进一步提升操作体验。

3. 蓝牙游戏手柄：

   • 支持使用蓝牙游戏手柄（传统游戏手柄）玩手游及云游戏，为用户提供更多游戏选择和操作方式。

4. 输入法

• 全新输入法布局，支持 8 种类型上千个 Emoji 表情、8 种类型上百种符号，对齐手机输入习惯，提供更熟悉的输入体验。

• 覆盖全球 27 种语言的通用文本输入和 15 种语言的语音输入，多语言使用和切换更方便快捷，更适合全球用户使用。

• 新增数字键盘、网址键盘、邮箱键盘，不同场景下输入更顺畅，提供更精准的输入效率。

• 增加输入时的预览屏幕，可进行复制、剪贴、粘贴等编辑操作，提升输入和预览体验，更方便用户查看输入内容。

• 针对 VR 内容进行了输入联想引擎和语音识别模型的优化，输入结果更准确，提高输入效率，用户输入更顺畅。

主控室与全景屏工作台

1. 全景屏工作台

   • 新增桌面级的多窗口能力，超越 PC 的多任务空间，可以同时使用最大 20 款窗口应用，提升用户的多任务处理效率。

   • 强大的窗口管理能力和自由度，支持窗口在 5.5 米高的 360° 环形视野内自由摆放、随心组合，提供更灵活的窗口管理体验。

   • 支持自由调节窗口大小，最大可达 280 寸，提供更舒适的窗口显示体验。

   • 支持调节全景屏工作台的远近距离，让用户可以根据自己的喜好调整工作台的位置，获得最佳的观看距离。

2. 控制中心

   • 新增「虚拟场景」、「用户中心」和「通知」功能入口，更方便用户快速访问和管理相关功能。

3. 资源库

   • 全新的 UI 设计，界面更加简洁，更方便用户查找和使用资源。

   • 新增「窗口」Tab，可快速启动支持多窗口使用的应用，更方便用户进入多窗口应用。

4. 导航栏

• 新增自定义添加常用应用到导航栏功能，支持自由排列顺序，可固定最多 20 个常用应用，方便用户快速访问常用应用。

• 支持显示正在运行的全部应用，方便快速切换和控制应用窗口，更方便用户管理正在运行的应用。

• 新增沉浸/透视切换按钮，更方便用户快速切换沉浸模式和透视模式，提升用户体验。

虚拟场景

1. 新增「春」「夏」「秋」高精度场景，在美丽、超现实的虚拟世界中感受四季的变幻与魅力， 为用户带来更丰富多彩的场景体验。

2. 新增生成式 AI 虚拟场景，支持通过设定风格、景物、氛围、地点，AI 生成丰富多样的场景，目前支持写实自然风格和动漫自然风格，生成质量为超高清 8K 分辨率，为用户提供更个性化的场景创作体验。

安全防护

1. 新增「主控室安全」模式，主控室无需设置边界即可进入，更方便用户快速进入主控室。

2. 新增「MR 安全」，在使用支持此功能的 MR 应用时，当你靠近现实环境中的物体或墙面时，会将遮挡的内容透出，提醒你已经接近障碍物，确保用户在使用 MR 应用时的安全。

3. 新增「VR 安全」快速设置模式，设置更简单，同时也保留了自定义安全设置，依然可以精细化的设置安全区。支持原地边界和自定义边界自动切换，优化安全区找回逻辑，提升用户安全设置的便捷性和安全性。

4. 新增「体感追踪器安全」，在使用体感追踪器的情况下，VR 安全或 MR 安全可支持膝盖节点和脚部节点的安全提醒。在独立追踪模式下，VR 安全或 MR 安全可支持独立追踪器节点位置的安全提醒，进一步提升全身动捕体验的安全保障。

房间标定

1. 升级为全自动标定，无需用户进行任何主动操作，目光所及之处皆可标定成形，可根据用户实时扫描范围和墙面信息提供最小的最佳体验范围进度，提升房间标定的便捷性和效率。

2. 新增流水线引导特效和语音引导提示，让用户更轻松地完成房间标定。

3. 新增可自动检出语义类别：墙、门、窗、开口、沙发、椅子、桌子，更精准地识别房间结构和物体，为开发者提供更精准的环境信息。

4. 新增完成标定时创建封闭空间，为开发者提供一个完整且安全的封闭空间进行内容创作，更方便开发者进行内容创作和调试。

5. 新增房间管理界面，用户可自主对已创建的房间进行手动管理，单独删除任意房间或清空所有，更方便用户管理房间信息。

6. 优化标定流程，用户可自由选择是否需要进入手动标定进行补充，提升用户体验，满足不同用户的需求。

环境感知

1. 利用 PICO 4 Ultra 新增 iTOF 深度传感器，提升系统对于环境感知能力的支持，更精准地识别环境信息，为用户提供更真实的虚拟体验。

2. 新增空间网格实时扫描能力，建立真实环境表面信息，更好的理解物理环境信息，为 MR 应用提供更精准的环境信息支持。

3. 新增共享锚点能力，支持多人同空间的虚拟互动体验， 为用户提供更丰富的多人互动体验。

4. 为 MR 游戏体验提供更多语义识别能力，新增：地板（Floor）、天花板（Ceilling）、墙（Wall）、门（Door）、窗户（Window）、开口（Opening）、桌子（Table）、沙发（Sofa）、椅子（Chair）、人（Human），为 MR 应用开发者提供更丰富的环境识别功能，提升 MR 应用的开发效率和体验。

互联

1. 支持 Wi-Fi 7，对比 Wi-Fi 6 标准设备（如 PICO 4）吞吐量提升至 3 倍以上（3000Mbps 以上），有 10%-30% 以上的延时收益，无线串流传输延时低至约 5 毫秒，对于干扰导致的卡顿有显著改善，提供更稳定流畅的无线连接体验。

2. 支持新版体感追踪器和开发者版体感追踪器，可串流全身动捕游玩 VRChat，为用户提供更丰富的全身动捕游戏体验。

3. 支持系统桌面一键连接电脑桌面，无需在 PC 端和 XR 端分别打开软件，减少多步繁琐操作，提升用户体验。

4. 支持 AV1 编解码能力，比 HEVC 编码压缩率提升 27%，为用户提供更优质的视频体验。

PICO 体感追踪器

1. 仅需佩戴 2 个腿部追踪器，依托于 PICO 多模态 AI 算法能力，可获取高精度、低延迟的全身动捕体验，为用户提供更沉浸式的全身动捕体验。

2. 上手简单快捷，打开「体感追踪器」App，根据引导轻松完成配对和校准，简化操作流程，更方便用户使用。

3. 长时间使用稳定少漂移，25 小时+ 超长续航，为用户提供更持久的全身动捕体验。

4. 支持 20+ 全身动捕游戏，跳舞机、社交、运动等应用前往应用商店「全身动捕」专区查看，为用户提供更多全身动捕游戏选择。

Space video

1. 新增相机 App

-支持拍摄 MV-HEVC 格式的空间视频，为用户提供更高质量的空间视频拍摄体验。

-最高规格为每目 2048 * 1536 @ 60fps，提供更加清晰细腻的空间视频画面。

-支持 6DoF 空间防抖 + 防果冻，拍摄更稳定流畅的空间视频。

-支持 Ambisonics 空间音频录制，为空间视频提供更 immersive 的音频体验。

-画质侧可逐帧自适应环境光动态调节参数，提升空间视频的画面效果。

-支持手柄手势快捷键等拍摄方式，让用户可以更便捷地拍摄空间视频。

-支持设置不熄屏拍摄，开启后摘下头戴设备，相机功能依然可以正常运行，可以手持头戴设备完成拍照、录制等操作，更方便用户进行拍摄创作。

2. 新增相册App

• 支持浏览查阅与删除空间视频、照片等文件，更方便用户管理空间视频和照片。

• 沉浸状态下空间视频支持时空追溯播放效果，让用户可以更沉浸地观看空间视频。

• 窗口播放状态下空间视频支持视差立体纵深感，为用户提供更 immersive 的观看体验。

• 可播放苹果设备拍摄的 MV-HEVC 编码的空间视频，更兼容不同的设备。

PICO视频

1. 新增 MR 观影模式，用户可在开启 MR 透视模式的情况下，观看平面视频、VR 直播、全景视频，为用户提供更丰富的观影体验。

2. 支持空间视频的拍摄和观看：

   • 支持拍摄空间视频，用户可以在 PICO 视频里直接拍摄空间视频，支持特效、配乐等后期编辑，支持发布到抖音，为用户提供更便捷的空间视频拍摄和分享服务。

   • 支持观看空间视频，用户可以看到其他人分享的空间视频，进行点赞、评论等互动，为用户提供更多空间视频内容选择。

3. 版权视频增加了漫反射观影效果，提升观影沉浸感；专门制作了模拟真实的品质观影房，满足高品质观影人群的需求，为用户提供更真实的观影体验。

4. 观影房的最大人数上限从 12 人提升到 20 人，让你可以与更多朋友一起分享好内容，提升用户社交体验。

5. 观影房支持三方 Avatar，可以在房间里看到其他玩家的各式各样风格的 Avatar，为用户提供更个性化的观影体验和社交互动。

6. 支持裸手交互，用户可以通过手势操作，来使用 PICO 视频，提升用户操作体验。

7. 支持在 MR 模式下，将观影的平面屏幕固定在场景的某个位置，让用户娱乐与生活可以同步进行，提升用户体验。

系统设置

针对各模块对应的功能和使用频率，新设置重新进行了分类、分组和排序优化，用户检索更方便，提升用户操作体验。

使用指南

1. 通过动画和图文的形式介绍产品的各项功能，帮助用户快速上手，降低用户使用门槛。

2. 新增「体验 PICO 乐趣」入口，可以观看奇幻之旅沉浸视频，体验愤怒的小鸟、桌面战争游戏，为用户提供更丰富的体验内容。

Developer

1. 开发能力升级：PICO Integration SDK 3.0 更新了 Sense Pack (MR) ，集成了空间音频模块；Avatar SDK 2.0 更新，为开发者提供更强大的开发工具和功能。

2. 交互能力升级：

   • 新增支持体感追踪器 2.0 追踪能力: 包含物体追踪、独立外设，为开发者提供更丰富的互动体验。

   • 手势交互提升: 手模优化（手势模型适配 OpenXR 标准骨骼点），手模自适应，手势高频追踪，为开发者提供更精准的手势识别功能，提升用户体验。

3. 赋能 MR 开发：Sense Pack 3.0 更新了「空间网格」，「场景标定」，「空间锚点」及「共享空间锚点」等 MR 接口，以及「手势追踪」，「人体追踪」等交互功能，为 MR 应用开发者提供更丰富的开发接口和功能，加速 MR 应用的开发和推广。

4. 开发者示例：为 MR，交互，空间音频，ARFoundation 等功能分别提供了 Unity 示例工程，方便开发者进行学习和开发。

5. 支持 Unity, Unreal, Web, Native 多平台开发，支持 Unity 和 Unreal 官方 OpenXR Plugin，兼容 OpenXR 1.1，支持 WebXR 和 Web App，为开发者提供更广阔的开发平台。

6. Unity 引擎支持：

   • 支持 Unity 2023， 提供更完善的 Unity 开发环境支持。

   • 新增支持 Unity 通用 AR Foundation 开发框架，为开发者提供更便捷的 AR 应用开发工具。

   • 新增独立维护的对于 Unity URP fork的优化，包含 Bloom, Shadow 的优化，以及 Shader Graph, Adaptive Resolution 等修复，为开发者提供更完善的 URP 支持。

7. Unreal 引擎支持：

   • 支持源码版 Unreal 5.3，为开发者提供更灵活的 Unreal 开发环境。

   • 支持官方 Unreal 5.3，提供更稳定的 Unreal 开发环境。

   • 支持额外主机端高阶功能（Decal, Deferred Shading），为开发者提供更多开发功能和可能性。

8. PICO 模拟器（Beta）：

   • PICO 面向开发者推出的业内 Android 平台首款 XR 设备模拟器。允许在 Mac、Windows 双系统平台运行 PICO OS 并调试 XR 应用，为开发者提供更便捷的调试工具。

   • 支持使用键鼠操作、截屏、视频录制、堆栈调试等多个创新功能（本工具处于 Beta 阶段，可能会存在性能及应用兼容性问题，欢迎反馈）。

二. 首次OTC版本更新：V5.11.0.U

主控室

1. 主控室的渲染分辨率提升为 2400*2400，并开启了固定注视点渲染，清晰度进一步提升，提供更清晰的主控室体验。

2. 新增主控室性能偏好选择功能，【显示效果优先】保证在主控室沉浸模式下采用 90Hz 高刷新率，在透视时采用屏幕帧对齐技术获得更流畅的透视画面体验，【多窗口优先】保证开启多个应用窗口时的使用体验，可以在控制中心或者设置中切换，用户可以根据自己的需求选择不同的性能偏好，获得更佳的体验。

3. 使用引导新增导航栏远近距离、窗口缩放教学，更方便用户理解和使用相关功能。

系统设置

优化家长控制的策略，更严格的应用访问权限管理，为孩子健康使用 XR 保驾护航，提升用户体验，确保儿童在使用 XR 时更加安全。

虚拟场景

1. 新增精选场景「冬」，欣赏冰山的壮丽景色；控制中心新增虚拟场景入口，方便切换，为用户提供更豐富的虚拟场景选择。

2. 优化 AI 场景沉浸预览效果，新增站立台开关、全景图视角旋转拉杆；新增随机词池一键创作功能，提升 AI 场景的创作体验，让用户可以更便捷地创作个性化的场景。

手势交互

手势追踪算法更新，优化在点击的成功率及复杂场景下追踪的稳定性，提升手势交互的精准度和稳定性，提供更流畅的操作体验。

相机

提升空间视频拍摄时的防抖效果，降低使用手势控制相机时的误触概率，提升空间视频拍摄体验，让用户可以更安心地进行拍摄。

相册

1. 支持分享空间视频到 PICO 视频并发布到抖音，为用户提供更便捷的空间视频分享服务。

2. 支持观看 iPhone 和 VisionPro 拍摄的空间照片，提升跨设备兼容性，让用户可以更方便地查看和管理空间照片。

3. 支持观看全景照片，为用户提供更丰富的照片内容选择。

4. 可以通过 PICO 手机应用导入任意照片、视频文件（不仅限于空间视频和照片），提升用户体验，让用户可以更方便地管理和使用照片和视频内容。

浏览器

1. 支持窗口尺寸自由拖拽，网页内容自适应布局，横竖大小由你定，提升用户体验，提供更灵活的网页浏览体验。

2. 升级到最新的 Chromium 125 内核，更好的性能和兼容性，为用户提供更流畅的网页浏览体验。

3. 支持 MR、手势等能力，顺畅体验使用了相关能力的网页，为用户提供更豐富的网页浏览体验。

Avatar

官方 Avatar 形象更新，最新技术美术带来更加逼真自然的形象表现力，为用户提供更丰富的 Avatar 选择，提升社交体验。

互联

优化 Wi-Fi 7 的多通道策略，有更好的无线性能和抗干扰能力，提供更稳定流畅的无线连接体验。

PICO 体感追踪器

体感追踪器支持与手势识别共用，无需手柄即可获得全身动捕能力，为用户提供更便捷的全身动捕体验。

混合现实录制

1. 采用新的第三视角相机校准方案，更好的兼容性和操作便捷性，提升混合现实录制体验。

2. 支持 MR 游戏的混合现实录制（目前仅 iOS 版本），为用户提供更丰富的录制内容选择。

轻世界

支持 PICO 体感追踪器，畅玩全身动捕，为用户提供更丰富的游戏体验。

PICO OS 部分新功能 OTA 规划

以下新功能的OTA规划仅为目前拟定方案，并非最终确定版本，可能因未来各种因素发生变化：