苹果耳机AirPods Max（Pro）的空间音频技术，Unity端开源框架下载

公众号[三次方AIRX]：三次方•数字化人才在线教育平台。帮助Z时代大学生和0-5年职场人得到混合现实、人工智能、游戏开发、大数据等能力。markdown

AIRX三次方会按期为你们推荐一些可移植性强的、可二次开发应用的、可落地实际场景使用的实战工程源码分享给你们。另外有优秀的demo或案例推广、解决方案对接的也能够联系咱们（尾部有联系方式）。本部分分享的代码主要是Unity 空间音频（AirPods Pro（Max））app

不论是AirPods Pro，仍是新出AirPods Max，支持动态头部追踪的空间音频功能可在观看大片时，带给你剧场般的环绕声体验。利用内置的陀螺仪和加速感应器，AirPods Max 能与 iPhone 或 iPad 配合，追踪头部的轻微活动，让你始终感受声音来自设备的方向。框架

苹果在iOS 14中发布了Headphone Motion API，能够经过AirPods Pro（Max）兼容耳机访问头部跟踪数据。Unity也公开这个API。使用这个来从苹果耳机(如AirPods Pro)获取头部跟踪数据到Unity场景中。oop

Headphone Motion API：大数据

developer.apple.com/documentati…编码

下****面是一些头部跟踪数据的可能用途:人工智能

用于空间音频应用的音频侦听器旋转
头像头部运动
天然手势交互(点头表示赞成)
健身跟踪应用程序

该插件的功能：spa

检查给定设备上的耳机运动API是否可用
耳机链接和断开链接事件

项目工程代码：插件

assetstore.unity.com/packages/to…设计

空间音频绝对是MR眼镜必备功能，苹果一直在研发新的音频空间格式。就像对ARKit的3D模型（usdz）所作的那样，Apple正在开发一种新的音频格式，即便在用户移动，戴着“ Apple Glass ”或其余AR设备时，也能够更轻松沉浸式地在用户周围放置“3d声音”。

之前已经证实Apple在为AR制做高分辨率视频图像，如今它也致力于与之配套产生高质量的音频。在新的专利申请中，该公司正在研究与空间音频有关的工做。

具体来讲，Apple但愿创建一种音频格式，例如.MP3或.AAC，并结合了AR所需的额外空间信息。该格式不只须要包含实际的音频，并且还远远超出在立体声图片的左侧仍是右侧播放元素的范围。苹果之前曾与皮克斯合做开发一种名为USDZ的格式，该格式用于将音频放置在用户周围的3D空间中。

“在加强现实（AR），虚拟现实（VR）和混合现实（MR）应用程序中产生三维（3D）声音效果是具备挑战性的……由于现有的音频格式最初是为在物理环境中产生3D声音而设计的具备固定的扬声器位置和固定的听众。”

苹果将AR，VR和MR统称为“模拟现实”（SR），并表示但愿在许多现有3D音频格式的基础上发展。例如，旨在产生3D声音的空间音频格式包括MPEG-H 3D音频标准，HOA空间音频技术和DOLBY ATMOS环绕声技术。

苹果公司提出的解决方案是建立一种格式，该格式相似于.m4v和.mp4是将不一样元素组合在一块儿的格式。对于苹果公司对空间音频的新要求，该公司建议建立一个音频资产库，其中包括资产元数据，使模拟现实（SR）应用程序开发人员可以为SR应用程序编写声音。”

苹果公司说：“音频通过了格式化，包括音频数据，这些数据编码了可以被编入SR应用程序的声音，以及资产元数据，不只描述了声音的编码方式，并且还描述了SR环境中听众的感觉。

另外Facebook Reality Labs研究小组以前也分享了一些关于AR的音频项目。该小组的目标是将技术融入到AR眼镜中，经过在嘈杂的环境中轻松隔离对话声音，加强你的听力，并可以重现虚拟声音，让它们看起来像是来自你周围的真实世界。自定义的HRTF是提供这种体验的关键，它是每一个人根据头部和耳朵形状听到声音的独特方式的数字版本，但这个过程既耗时又昂贵。该团队正在研究一种可扩展的解决方案，能够从你的耳朵的一张简单照片生成精确的HRTF。

不论是苹果仍是FaceBook，都在一步步围绕ARVR来迭代相关技术，将来的AR眼镜或是AR应用也会由于这些细节技术（空间音频等）更加沉浸、更加现实，带来更好的用户体验！