**影响音视频延迟的关键因素(一):流媒体系统**

低延迟的实时音视频技术应用场景在不断扩大,从秀场直播、连麦PK直播到在线教育、视频会议,音视频技术的落地应用朝着更高清、更低延时发展。下面咱们来看看,构成音视频低延迟的因素有哪些,如何实现更低延时的实时音视频?缓存

首先,来看看第一个影响音视频延迟的关键因素:流媒体系统网络

如下是目前比较流行的媒体传输系统的延迟对比:
image
第一个是HLS,这是苹果公司提出的一套传输协议,它依托于现有的Http框架,加上苹果强有力的推进,让它有了普遍的设备支持基础。但HLS是以切片为单位传输,默认 6s一个切片,播放器为了保障流畅,会默认缓存3个切片才开始播放。所以,即时不考虑任何其余因素,HLS的系统延迟就达到了18S;框架

在HLS基础上,基于Http的分块传输编码,LHLS作了优化,它能够作到3-7S的延迟。这套方案还在演进,苹果在去年的WWDC上提出了新的草案,新版草案号称能够作到2S,你们能够期待下。优化

第二个和第三个是RTMP和HTTP-FLV,这两个都是Adobe提出的,其实这两种协议在优化的较好的状况下是能够作到比较低延迟的,即构也支持RTMP,咱们的方案能够作到实验室状况下400ms。但它有个硬伤,它的传输基于TCP,TCP在有丢包的状况下没法作流控,也就是说现实中它的延迟会达到秒级。编码

第四个就是比较火的WebRTC,在实验室状况它能够作到100ms之内,即构也有作WebRTC的网关,实测的话是300-500ms。spa

最后一个是即构自研的私有协议,这一套方案在实验室环境的延迟和WebRTC区别不大,由于只要有好网络,不少策略都用不上的,可是在有丢包、网络抖动的状况下,咱们的表现会优于RTC,感兴趣的小伙伴能够与咱们联系获取实测数据。视频

咱们所说的延迟是端到端的延迟,那么按照数据的流动能够分为这几个步骤:采集、前处理、编码、传输、解码、后处理、渲染。这整套流程的每一个环节都会引入时延,接下来咱们会分享如何针对每一环节去作优化,敬请期待第二篇~blog

相关文章
相关标签/搜索