江苏龙网

  1. 首页 > 人文 > >

虚拟现实|苹果新专利显示在AR/VR开发一种专门的空间音频格式

（映维网 2020年09月11日）如同ARKit的3D模型一样 ， 苹果正在为XR设备开发一种全新的音频格式 ， 从而允许开发者更轻松地将声音放置在穿戴“苹果眼镜”的用户周围 ， 包括移动的情况 。另外 ， 这一格式或许是基于与皮克斯的合作 。
除了致力于实现高分辨率的图像外 ， 苹果同样在努力提升“苹果眼镜”的音频效果 。日前美国专利商标局公布了两份与之相关的沉浸式音频专利申请 ， 而这表明苹果正在探索如何为设备实现空间音频 。
具体而言 ， 苹果希望构建一种类似于.MP3或.AAC的音频格式 ， 并将其打造成XR设备的标准格式 。所述格式能够将AR所需的额外空间信息合并在一起 ， 并纳入相关的空间音频效果 。值得一提的是 ， 苹果早前曾与皮克斯为AR开发了一种名为USDZ的格式 ， 即在用户周围的三维空间中放置音频 。延伸阅读：已在皮克斯发展6年 ， 解读苹果USDZ AR文件格式 ， 对AR发展有何帮助
虚拟现实|苹果新专利显示在AR/VR开发一种专门的空间音频格式
文章图片
名为“File Format For Spatial Audio”的苹果专利申请指出：“在增强现实、虚拟现实和混合现实应用中生成三维音效是一个挑战 ， 因为现有的音频格式最初是为在有着固定扬声器位置和固定听者的物理环境中产生3D声音而设计 ， 比如电影院 。”
苹果在这份专利文档中将AR、VR和MR统称为模拟现实（Simulated Reality；SR） ， 并表示他们希望以现有的3D音频格式作为基础来为SR模拟现实构建一种空间音频格式 。这家公司指出 ， 设计用于产生3D声音的空间音频格式可以包括MPEG-H 3D Audio标准、HOA空间音频技术和杜比 ATMOS环绕声技术 。
苹果进一步介绍道：“在SR环境中产生3D音效的另一种选择是操纵音频对象所包含的单个离散声音 ， 而所述声音几乎可以位于3D环境中的任何地方 。”相关专利：Apple Patent | File Format For Spatial Audio
苹果在解释需要一种全新的格式时指出：“（然而）使用现有的空间音频格式和对象来为SR应用程序合成音频十分困难 ， 因为没有统一的方法来访问各种声源并将它们合并到动态SR环境中 。”
苹果提出的解决方案是创建一种类似于.m4v和.mp4 ， 并负责将不同元素组合在一起的“容器”格式 。就苹果的空间音频需求而言 ， 这家公司建议创建一种“音频asset库…(其中)包括允许SR应用开发者编写用于SR应用的asset元数据 。”
asset元数据不仅描述了声音是如何编码 ， 而且描述了模拟现实环境中的用户是如何体验声音 。配置模拟现实开发者平台 ， 以便开发者可以使用音频库中存储的音频资源来为模拟现实对象合成声音 。包括asset元数据编辑 ， 以纳入支持asset元数据实现动态转换的转换参数 ， 从而改变用户体验合成声音的方式 。
虚拟现实|苹果新专利显示在AR/VR开发一种专门的空间音频格式
文章图片
在另一份名为“Spatial Audio Upmixing”的专利申请中 ， 苹果主要介绍了一种可用于XR设备的空间音频上混频（Upmixing） 。作为说明 ， 音频领域存在Upmixing（上混频）和Downmixing（下混频）的技术 。一般而言 ， 与下混频相反 ， 上混频是指将音频声道转换成更多的音频声道 ， 实际上 ， 这个过程主要是将双声道转换为5.1声道 ， 亦即中央声道 ， 前置左右声道和后置左右声道 ， 以及所谓的0.1重低音声道 。
苹果进一步指出：“Spatial Bed是一种代表完整声场描述的多声道音频内容 ， Spatial Bed是表示完整声场描述的多声道音频内容 ， 如虚拟声场 。通过混合至少两个这样的Spatial Bed ， 可以生成新的Spatial Bed 。”
音频专业人士或许会认为这里的上混频只是指左右位置 ， 但对于XR领域 ， 苹果是在考虑一种球体布置 。相关专利：Apple Patent | Spatial Audio Upmixing
文件指出：“新的空间音频对象可以包括一个虚拟声源（虚拟球体）的球形阵列 ， 而所述阵列定义了围绕新空间音频对象收听位置的声场 ， 例如 ， 在定制混音球体的中心 。”
一个典型的声音编辑器应用现在拥有一个音频波形的平面图形显示 ， 而苹果提出了一个可以在球体范围内显示音频的全新系统 。
苹果表示：“所述过程同时可以将新的空间音频对象（新的Spatial Bed）可视化为一个单独的新球体 ， 例如在SR环境中从声音设计师的角度显示新球体的表面 ， 这样他们就可以在新球体的内部设计声音 。”
文件继续说道：“这可以呈现为声音设计师在SR环境中伸出的虚拟双手 ， 并用手持式画笔或喷雾设备绘制新球体的内部（或外部） ， 而所选声音的（空间音频对象的输入）将被渲染 。”


推荐阅读


上一篇：健身|3个月养成超拉风的背阔肌，这样锻炼，轻松拥有健壮的上半身

下一篇：智能穿戴|跑分平台泄露采用XR2芯片的HTC Vive Focus