【Oculus】虚拟现实音频处理VR Audio - Part 6【翻译】

7、VR的混合场景

https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-intro-mixing/

和声音设计同样，为VR混合一个场景既是艺术又是科学，如下的推荐可能包含警告。

1. 创造性的控制

咱们的最终目标不必定是真实，须要一直记住这一点。和计算机环境中的灯光同样，什么须要连续或者正确并非在艺术上有很高的要求。音频团队应该注意，不要逼着本身在VR环境中去追求彻底的正确。特别是在考虑动态范围、衰变曲线以及直接返回时间的时候。

2. 声源的精确3D位置信息

声源必须被精确的放在3D的场景中。之前，一个大概的位置信息就足够，由于能够经过移动和衰变来定位。一个物体的默认位置多是它的尾部或者是脚和地面接触的地方，当一个声音从这些位置发出时，会在空间中显得很不和谐。

3. 有方向的声源

Oculus Audio SDK不包含声源的方向，可是高层级的SDK会使用基于角度的衰变进行建模，来控制方向。这些方向的衰变会在空间化以前就发生。

4. 场景声音

Oculus Audio SDK不包含场景声音，例如瀑布、河流、人群等。

5. 多普勒效应

当声音接近或远去时，会产生明显的多普勒效应。VR能够经过声源和听者之间的相对速度来消除，可是这个过程很容易引入噪声。

6. 声音传输时间

在现实世界中，声音的传输须要时间，所以在看到和听到东西之间会有明显的延迟。

Oculus Audio SDK支持time-of-arrival。

7. 非空间化的声音

并非全部的声音都须要被空间化，有许多声音是静态的或者与头部相关的，例如：

• 用户交互的元素，例如点击、哔哔声、传输或者其余。

• 背景音乐

• 旁白

• 身体声音，例如呼吸和心跳

这些声音应该在编写程序时被隔离，避免它们在混音时不当心被加入到3D空间化声音的流水线中。

8. 效果

空间化的效果与设备的性能有关，例如在高配的PC上能够空间化30多种声音，可是在移动设备上只能空间化一到两个。

有些声音空间化后效果不好，例如低频的轰隆声，给出的空间感很弱。这些声音能够经过一些移动和衰变来做为标准的立体声播放。

9. 气氛（Ambiance）

传统的非VR游戏很难作到声音的沉浸感。由于PC用户的话筒质量很低，家庭影院的隔离效果不好。

有了耳机、位置追踪和彻底的视觉沉浸以后，对用于声音体验的音效设计变得更为重要。

这就意味着：

• 有效空间化的声源

• 合适的音效范围，不太密集，也不太稀疏

• 避免用户疲劳

• 合适的音量，可让用户听得时间比较长

• 空间和环境的效果

10. 延迟

VR音效的延迟与设备有关，最少能够达到2ms，最多可能达到几百毫秒。当用户脑壳的移动速度与声源速度的差异较大时，系统延迟会比较明显。若是观看者移动较慢，且场景相对静止时，音频的延迟很难被察觉。

11. 特效

在VR体验中，特效是很重要的一个环节，像是滤波、赋值、变形和折边等。例如一个低通的滤波器能够模拟水下游泳的声音，由于高频会比在空气中失去能量的更快。或者能够用扭曲来模拟迷失方向。