影响音视频延迟的关键因素（三）：传输、渲染

影响音视频延迟的种因素有不少，此前咱们已分享了不一样流媒体系统对时延影响，数据流动过程当中采集、前处理、编解码三个环节是怎样引入时延的，今天咱们将分享在流媒体数据传输、渲染环节，有哪些因素会致使时延。

1）传输

流媒体数据传输是很是复杂的过程，涉及到运营商、物理距离、接入方式以及节点部署等多方面因素。传输的极限是光速，光在光纤中的传输速度大概是28万每秒，从北京到深圳，大概须要10ms，但在实际传输过程当中，使用光纤到户这种方式传输大概须要20ms，用4G的话会达到80ms，咱们实测的5G会好不少，5G更接近光纤。

在传输方面作延迟的优化，能够经过如下几个方面来实现：

第一，更好的基础设施。好比FTTH（光纤到户）、5G，若是没有好的网络，作低延迟的优化是不现实的，因此首先是要增强网络建设；

第二，合理部署服务。让咱们的服务自己足够靠近用户，作好全链路最优路由；

第三，针对实时流媒体优化传输控制协议。现实的网络中抖动、丢包是不可避免的，咱们须要针对这种特性去设计咱们实时流媒体传输控制协议，包括重传、估算可用带宽、编码，根据网络状况加入编码冗余；为了对抗抖动要加dejitter等

5G对低延迟的影响有这两个方面：第一高可靠低时延通讯，它的空口时延号称达到1ms，咱们自测的话是接近光纤，基于此咱们能够实现一些关键操做，好比远程控制，工业的自动化；另外一个是加强型移动宽带，它能够达到很大的上行，咱们测的话能够达到7/800兆，上传4K、8K的视频没有太大压力。

即构很期待5G的到来和铺开的，首先咱们方案是转控分离的，咱们的信令面和媒体转发面是分开的，转发面咱们就能够从一个localDC到另外一个localDC，不须要再往上面去扩，这样更靠近用户走更短的路径，有时延的优化；第二是咱们控制面是有状态的，那咱们仍是往上走，控制面并不影响数据的延迟。

2）渲染

最后一个是渲染，渲染时会调用系统的接口，所以系统接口的类别对时延的影响很大。如安卓咱们用OPENSL ES，这个是低时延的关键，还有一些厂商作的私有接口优化，好比耳返。在某些场景耳返是个重要功能，如唱歌过程当中歌声须要实时返回耳朵来判断唱的准不许，那这里的时延就很是关键，若是不作耳返优化，在VIVOX9它的时延可能达到了209ms，而当开启优化以后，时延下降到14ms，这是很是明显的优化。

即构的接口SDK已经去适配这些厂商，拿到了他们的文档、接口，咱们作了适配，选择即构的方案，就能够即插即用。

以上就是分环节分析延迟产生的各类因素，但下降延迟是一个系统性工程，任何单个节点出现异常，都会引起总体异常。

下图上下两部分是两个极端，上半部分粒度很粗，采集、前处理、编码一块儿作完给传输，对端解码、后处理、渲染也一口气作完。这样作，在设备性能好的状况下，延迟是能够比下面的流水线实现低的，可是吞吐是有问题的；

另外一个极端是把每一个环节拆的很细，采集、前处理、编码、后处理等环节都当成一个个单独的任务，拆的很细就会有另外一个overhead，咱们把数据从前一个抛给后一个是生产者和消费者的关系，这样是自带buffer的，buffer就意味着延迟。

所以咱们须要权衡考虑设备的能力和怎么去拆解每一个环节任务，作更合理的分割。