3D位置语音，引领吃鸡游戏体验升级

欢迎你们前往云加社区，获取更多腾讯海量技术实践干货哦~

做者：腾讯游戏云

导语：在刚刚结束的首届腾讯用户开放日上，腾讯音视频实验室带着3D位置音效解决方案，向全部用户亮相，为用户提供360度立体空间的沉浸式听觉体验，那么这项技术如何结合具体的场景提高用户听感和体验呢？这篇文章将会详细阐述。

基于游戏开发引擎（例如Unreal、Unity）实现的3D音效在游戏中的应用已经很是广泛了，经过游戏引擎模拟重现空间中声源方位，例如CS中射击的枪声、中弹时的音效、附近敌人轻微的脚步声，能够显著提升游戏的沉浸感，造就身临其境的游戏体验。

这里咱们能够听一段音视频实验室经过3D音效算法处理先后的音频对比（请带上耳机收听）：

处理前：m.v.qq.com/play/play.h…

处理后：m.v.qq.com/play/play.h…

能够听到，处理后的音频携带了更多的空间感和方位感信息，经过扩展音乐的延展度，让声场更大、声音位置感更准确、声音运动轨迹更加生动，提高音乐的临场感和沉浸感。

然而，3D音效以前并无大规模应用在实时语音沟通领域，这主要是因为以前重度游戏中玩法对于语音能力的定位更可能是沟通方式而非创新玩法，使用场景对于实时语音携带方位感诉求也不强烈。

2017年一款游戏《绝地求生：大逃杀》，经过创新的百人大逃杀、胜者吃鸡玩法，短期得到了全球玩家的青睐和追捧。除了游戏玩法自己的创意以外，游戏对于实时语音玩法也进行了颠覆式创新。游戏过程当中玩家能够设置【全体模式】向附近的玩家喊话、挑衅、搭讪，这种语音模式能够与陌生人进行颇有趣的沟通和互动。社交媒体上已经有不少用户基于这种语音模式，创做了不少趣味视频。

而引入3D位置语音以后，玩家在喊话过程当中会暴露本身的方位和位置信息，玩家的声音也会根据位置变化而实时改变。能够说，3D音效让《大逃杀》这种玩家间的沟通和战斗体验更真实，感觉更加沉浸式、更加身临其境的吃鸡玩法。

3D音效除了应用在吃鸡游戏中以外，结合线上棋牌房等多人语音场景也能够显著提高用户体验。

如今多人会话中几路声音混为单声道后，声源将集中于一点。应用3D位置音效，收听者能够将不一样发送方虚拟到空间不一样的位置上，用户更容易经过位置信息知道当前是谁在讲话。这种技术很是适合应用到固定方位的聊天室中。

例如，3D音效应用到棋牌类游戏的语音房间时，经过将各个声音虚拟到桌面相应位置，玩家能够清楚地感知到其余玩家的声音是来自本身左、右仍是正前方，打造线上棋牌房的沉浸式体验，也让玩家开语音沟通的意愿更增强烈。

如下是咱们模拟玩家方位处理的一段棋牌游戏中实时语音效果：

m.v.qq.com/play/play.h…

3D音效的另外一个重要应用场景是VR音频。

VR的一切都是关于临场感，而逼真的3D音效效果能够成为临场感的点睛之笔。VR设备可以经过头部运动追踪物体当然重要，可以听到携带物体位置信息的声音也一样重要，逼真的3D音效效果可以给玩家传递其余玩家的位置信息、环境信息，经过视觉和听觉的相互增强来达到最好的效果。

从方位上，VR中各个声音能够虚拟到空间的某个位置上，使用户感觉声音来自特定位置；用户转头时，VR中刚才所虚拟方位的声音将随之变化相应的方位，制造出360度立体空间声音定位的效果，让玩家更加确信声源就在现实中。这对于VR类游戏体验很是关键。目前音视频实验室的3D音效相关技术提案已提交到AVS（国家音视频编解码技术标准）的VR音频国家标准中，且在腾讯今年发布的一款VR 游戏“hello world”中已上线。

3D音效还可用于高清视频的音频处理，用户只需使用双声道耳机，便可在家体验影院的沉浸式立体声视听体验。

咱们知道，在电影院观影过程当中为了打造立体声效果经常使用5.1声道，7.1声道，每一个声道的声音经过不一样位置的音箱播放出来，配合影片，观众体验更加震撼。而当戴耳机来观看电影时，因为常规的方法是简单的将靠左侧的全部声道混在左声道，靠右侧的声道混在右声道，中置声道左右都混，这致使不管5.1仍是7.1全部声像最终都变成左中右，模糊掉许多细节致使一些声音的变化体现不真实，例如从左后方运动到左方再到左前。更严重的是，假如其余声道无声，只有左前声道有声音，就变成了只有左耳机响，这种感觉很很差。

而3D音效可将各声道虚拟到各个相应音箱的位置，从而使听觉更像来自空间中的各个音箱。运用3D音效技术，用户在家用双声道耳机便可体验沉浸式的影院立体声效果。

如下是咱们在腾讯视频上截取的音乐原声并经过3D音效处理后的效果：

m.v.qq.com/play/play.h…

那么，三维虚拟听觉是如何实现的呢？要将普通单声道声音处理为沉浸感的音频须要先了解下面的问题：人耳如何分辨声音来自何方？ 咱们先看下面的图：

经过图中咱们能够看到，左右耳听到的声音前后、左右耳听到的声音的大小、左右耳听到声音实际频谱都是有差别的。

咱们的3D音效技术，就是利用“头部关联传输函数”（HRTF 算法），对双耳之间的时间差别和频谱差别进行建模，造成有声源方位感的声音。同时咱们还经过采样混响填补HRIR缺失的环境反射声，从而构建完整的声场模型。好比在一个小房间里，不只能够听到两我的之间的对话，还能够听到声音从墙壁中反射的效果，增长沉浸感。在下一篇关于3D音效技术揭秘的文章中，咱们会披露关于此项技术更多的原理介绍，敬请期待！

3D位置语音解决方案应用到游戏实时语音沟通中，玩家能够根据队友语音“听声辨位”，拥有“身临其境”的沉浸式游戏体验。目前3D音效技术已经集成到腾讯音视频实验室推出的实时游戏音视频TMG（Tencent Mobile Gaming）解决方案中。TMG提供了包括多人实时语音、实时视频、语音消息、语音转文本等功能，覆盖了休闲社交类、MOBA 类、MMORPG 等多种游戏类型，是一个专门针对游戏场景定制的实时游戏音视频 SDK，且接入门槛极低，一个 SDK 便可知足多样化的游戏音视频诉求。

实时游戏音视频（Tencent Mobile Gaming）服务已正式登录腾讯云，为广大游戏厂商开发者提供服务，详细信息可浏览：cloud.tencent.com/product/tmg…

想了解更多腾讯云游戏行业解决方案和案例，当即报名1月19日腾讯云GAME-TECH沙龙杭州站，咱们一块儿探讨

直播预定：www.itdks.com/eventlist/d…

相关阅读

「腾讯云游戏开发者技术沙龙」1月19日游戏加速主题等你来约！
腾讯游戏云 Dolphin 上线 开启游戏更新 easy 模式
一分钟配置的“黑科技”，腾讯云独家开放云压测能力

此文已由做者受权云加社区发布，转载请注明原文出处