处处都在说直播连麦技术，它们真的能连吗？

直播火了。连麦直播在火的路上。

那么，这些连麦技术方案，真的能连吗？本文将常见的，不常见的直播技术方案进行了比较，各位同窗本身甄别。

首先，基础知识普及，技术上直播的流程是什么？

1、直播的流程

正如上图所示，整个直播流程分为如下几个关键步骤：

一、主播客户端，将本地采集的视频推送到CDN；
二、CDN对视频流进行缓存以及转发；
三、观众客户端，拉取CDN中缓存视频流进行播放；

能够看到CDN在这里起到了关键的做用，2016也是一个CDN崛起的年代，网宿、快网、七牛、高升、蓝汛、观止云、腾讯云、百度云、阿里云等CDN纷纷表示对直播进行了支持，直播也逐渐成为了CDN的标配。

那么接下来了解一下CDN的技术原理。

2、CDN技术原理

CDN的全称为Content Delivery Network，即内容分发网络，是一个策略性部署的总体系统，主要用来解决因为网络带宽小、用户访问量大、网点分布不均匀等致使用户访问网站速度慢的问题。

CDN的技术原理见上图，具体实现是经过在现有的网络中，增长一层新的网络架构，将网站的内容发布到离用户最近的网络节点上，这样用户能够就近获取所需的内容，解决以前网络拥塞、访问延迟高的问题，提升用户体验。

对于直播来讲，则将Web服务器换做主播客户端，以下图所示。

因为视频占用带宽较大，与普通的Web服务差异较大，这样CDN的优点更能体现出来：网络拥塞减小，访问延迟下降，带宽获得良好的控制等等。

另外，CDN直播中经常使用的流媒体协议包括RTMP，HLS，HTTP FLV等。

• RTMP（Real Time Messaging Protocol）是基于TCP的，由Adobe公司为Flash播放器和服务器之间音频、视频传输开发的开放协议。

• HLS（HTTP Live Streaming）是基于HTTP的，是Apple公司开放的音视频传输协议。

• HTTP FLV则是将RTMP封装在HTTP协议之上的，能够更好的穿透防火墙等。

3、CDN的经常使用架构

CDN架构设计比较复杂。不一样的CDN厂商，也在对其架构进行不断的优化，因此架构不能统一而论。这里只是对一些基本的架构进行简单的剖析。

CDN主要包含：源站、缓存服务器、智能DNS、客户端等几个主要组成部分。

• 源站：是指发布内容的原始站点。添加、删除和更改网站的文件，都是在源站上进行的；另外缓存服务器所抓取的对象也所有来自于源站。对于直播来讲，源站为主播客户端。

• 缓存服务器：是直接提供给用户访问的站点资源，由一台或数台服务器组成；当用户发起访问时，他的访问请求被智能DNS定位到离他较近的缓存服务器。若是用户所请求的内容恰好在缓存里面，则直接把内容返还给用户；若是访问所需的内容没有被缓存，则缓存服务器向邻近的缓存服务器或直接向源站抓取内容，而后再返还给用户。

• 智能DNS：是整个CDN技术的核心，它主要根据用户的来源，以及当前缓存服务器的负载状况等，将其访问请求指向离用户比较近且负载较小的缓存服务器。经过智能DNS解析，让用户访问同服务商下、负载较小的服务器，能够消除网络访问慢的问题，达到加速做用。

• 客户端：即发起访问的普通用户。对于直播来讲，就是观众客户端。

对于直播来讲，CDN总体架构以下图：

主要流程为：

1. 主播开始进行直播，向智能DNS发送解析请求；

2. 智能DNS返回最优CDN节点IP地址；

3. 主播端采集音视频数据，发送给CDN节点，CDN节点进行缓存等处理；

4. 观众端要观看此主播的视频，向智能DNS发送解析请求；

5. 智能DNS返回最优CDN节点IP地址；

6. 观众端向CDN节点请求音视频数据；

7. CDN节点同步其余节点的音视频数据；

8. CDN节点将音视频数据发送给观众端；

4、CDN的短板

大概了解了CDN的技术原理后，咱们在作直播选型时，还须要了解一个方案优缺点。接下来，咱们来分析一下CDN的短板。

4.1 短板：播放延时

连麦直播的难题主要是播放延时！播放延时从何而来？

4.1.1 网络延时

网络延时这里指的是从主播端采集，到观众端播放，这之间的时间差。这里不考虑主播段采集对视频进行编码的时间，以及观众端观看对视频进行解码的时间，仅考虑网络传输中的延时。例如说下图中的网络延时：

假设每一个节点进行缓存的时间为Tcache，那么从主播到观众的延时Tdelay为：

Tcache=Tdelay1+Tcache1+Tdelay2+Tcache2+Tdelay3+Tcache3+Tdelay4+Tcache4+Tdelay5

另外，数据传输过程当中还涉及到逻辑上的交互，例如包的重传以及确认，以及缓存上的一些逻辑等，会在这个基础上又增长不少。

那么来简单估算一下大概的网络延时。众所周知，光在真空中的速度约为300,000km/s，而在其余介质中光 速会大大下降，因此在普通光纤中，工程上通常认为传输速度是200,000km/s。从现实上来讲，能够参考以下：

因此说，在节点较少、网络状况较好的状况下，那么网络延时对应也是最小，加上必定的缓存，能够控制延时在1s~2s左右。可是节点多、网络差的状况下，网络延时会对应增大，经验来讲延时能够达到15s以上。

4.1.2 网络抖动

网络抖动，是指数据包的到达顺序、间隔和发出时不一致。好比说，发送100个数据包，每一个包间隔1s发出。结果第27个包在传输过程当中遇到网络拥塞，形成包27不是紧跟着26到达的，而是延迟到87后面才达。在直播中，这种抖动的效果实际上跟丢包是同样的。由于你不能依照接收顺序把内容播放出来，不然会形成失真。

网络抖动，会形成播放延时对应增大。若是网络中抖动较大，会形成播放卡顿等现象。

如上图所示，主播端t3和t5发出的包，分别在t3'和t5'到达，可是中间延时增大，即发生了网络抖动。这样形成观众端观看视频的延时会不断增大。

4.1.3 网络丢包

CDN直播中用到的RTMP、HLS、HTTP FLV等协议都是在TCP的基础之上。TCP一个很重要的特性是可靠性，即不会发生数据丢失的问题。为了保证可靠性，TCP在传输过程当中有3次握手，见下图。首先客户端会向服务端发送链接请求，服务端赞成后，客户端会确认此次链接。这就是3次握手。接着，客户端就开始发送数据，每次发送一批数据，获得服务端的“收到“确认后，继续发送下一批。TCP为了保证传到，会有自动重传机制。若是传输中发生了丢包，没有收到对端发出的“收到”信号，那么就会自动重传丢失的包，一直到超时。

因为互联网的网络情况是变化的，以及主播端的网络情况是没法控制的。因此当网络中丢包率开始升高时，重传会致使延时会不断增大，甚至致使不断尝试重连等状况，这样不能有效的缓存，严重状况下会致使观众端视频没法观看。

4.2 短板：连麦

直播中，主播若是要与用户交互，常见有两种方式：

第一种方式：文字，这种比较常见，实现也比较简单，这里再也不进行分析；
第二种方式：连麦，这样主播能够面对面与观众进行交互，增长了互动性；
因为连麦方式比较复杂，这里进行详细分析。

4.2.1 多路RTMP流实现

前面提到，RTMP是目前主播中最经常使用的协议，使用RTMP协议，能够实现最简单的一种连麦方式，以下图。

当有连麦者时，则主播端和连麦者端，都分别推一路RTMP流到CDN，CDN再将这两路RTMP流发送给观众端，观众端将两路RTMP流合成为一个画面。这种方式的优缺点以下：

• 优势

  • 实现简单；

• 缺点

  • 主播与连麦者若是要进行交互，考虑到上面分析的延时问题，在这里延时须要至少加大一倍。这样对于实时交互来讲，彻底没法接受；

  • 主播与连麦者交互时，声音会产生干扰，造成回音；
    观众端要接收两条视频流，带宽、流量消耗过大，而且两路视频流解码播放，耗费CPU等资源也很是多；

  • 这样看来，这种方式弊大于利，基本不可取。

4.2.2 主播端与连麦者P2P

第二种方式，是主播端与连麦者之间使用P2P方式进行交互，而后主播端将本身和连麦者的视频进行合并，再推到CDN上，CDN再发送给观众端，以下图：

这种方式的优缺点以下：

• 优势

  • 主播和连麦者之间使用P2P，网络质量较好，延迟较小，保证了二者之间交互不会有很是大的延时；
    解决声音的干扰问题，消除回声；

• 缺点

  • P2P在某些网络下没法穿透，有些观众根本没法与主播端进行交互；

  • 主播端须要上传两路视频：一路P2P与连麦者进行交互，一路使用RTMP推到CDN。还要下载一路视频：连麦者P2P发送过来的交互数据。因此主播端要求带宽须要较高，网络较差时没法进行主播

  • 主播端要进行多路视频的编码、解码，要求主播端设备配置比较高，较差的设备也没法进行主播；

  • 只能支持一个连麦者，不能支持多个连麦者；

  • 因为主播端和连麦者通过CDN合并成一路，所以，不能实现主播端和连麦者视频大小窗口切换。

综合来讲，P2P方式在必定程度上能够解决连麦的问题。

4.2.3 服务器端合图

另一种方式，是主播和连麦者都将视频推送到CDN中，而后CDN内部对这几路视频进行合图，再将其发送给观众端。以下图：

这种方式的优缺点以下：

• 优势

  • 主播和连麦者各路视频都使用RTMP推送到CDN，能够保证延时较小；

  • 因为CDN进行视频合图和发送，因此主播不须要很高的带宽；

  • 因为CDN进行视频合图，因此主播的设备不须要配置很是高；

  • 没有声音干扰问题；

  • 能够支持多个连麦者连麦；

• 缺点

  • CDN须要进行视频的合图，须要额外开发工做，而且逻辑比较复杂；

  • CDN须要进行视频的合图，须要消耗较高服务器资源；

  • CDN合图后的布局难控制；

  • 据目前所知，尚未CDN支持这种方案；

5、基于SD-RTN的解决方案

声网Agora.io，在开发互动直播解决方案时，抛弃传统的基于TCP协议的CDN方案，从底层协议和布网上开始，建立了基于UDP协议的SD-RTN方案。

（一）什么是SD-RTN

SD-RTN（Software-Defined Real Time Net work），软件定义实时传输网络，是一种新型的专为内容实时传输而设计的网络架构。经过在互联网上不一样地区的数据中心放置软件组网单元，相互链接互相调度，在现有的公共互联网基础上构建一层新的虚拟网络。SD-RTN系统可以实时根据各节点的链接和传输情况、负载情况以及到用户的距离和响应时间，自动分配最优、最通畅的传输路径，达到实时传输须要的质量保障级别。

（二）SD-RTN与CDN有何不一样

• 基本原理不一样。CDN是存储转发结构，设计目的是在各个边缘节点缓存待分发内容，结构上从源站到观众是伞状多级缓存放大方式。SD-RTN本质上一个实时传输网络，用户的数据在网络单元内部和传输线路上都以实时交换方式传送，从而可以保证最低延迟。

• 底层协议不一样。SD-RTN采用了专为实时传输设计的UDP协议，避免了采用TCP的延时不可控缺点。可以大大缩短交互延时，延时可从CDN方案的数秒，下降到数百毫秒。

• 内容分发机制不一样。SD-RTN是基于自定义路由，选择最优传输路径，直接将内容端到端传输，数据在网络单元中从不缓存，从而最大可能的下降延迟，同时内容安全性也更好。CDN是将内容缓存于缓存服务器中，再将内容就近下发。

• 使用场景不一样。SD-RTN适用于要求极低时延的实时互动场景，例如网络电话、视频会议、有主播与观众交互需求的互动直播等。CDN适用于对时延要求不高的场景，例如对延时要求不高、相似电视的单点直播、网站加速等。若硬要将CDN改造用于互动直播，那么其结构上对下降延迟的不适应性，始终会成为质量改进需求的瓶颈。

（三）SD-RTN相较CDN，有何优势

一、时延大大缩短。

直播延时可从CDN方案的数秒，下降到数百毫秒。这一延迟范围，属于实时通讯或准实时通讯延迟的范畴。在这一级别上，主播和观众能够基本重如今现场活动中的交互体验，从而大大释放了内容制做者的潜力，也为业务运营者创造新业务形式打开了无限的空间和可能。

好比，在这一延迟下，主播和观众能够不光经过文字交互，也能够经过音频实时交互，而不会感到延迟过大而不天然。这种交互体验，在手机上也更天然，比打字更符合人的天然习惯。业务运营方固然能够把这一功能看成比文字互动更高级别的特权能力，仅仅对于付费或是必定级别、身份的用户才能够直接和主播语音互动。业务运营者也能够利用此类功能创造相似课堂，或小剧场的现场互动氛围，让主播能够听获得观众的发问，或是掌声、叹息，甚至嘘声，实现天然的台上台下交互和有沉浸感的互动直播体验。加上辅助功能，体验上能够任意规定谁能够发声，谁不能够，这中间的可能性是无限的。

更重要的是，即使在通常的连麦直播场景，这样的体验也能够帮助这类低延迟观众（咱们称为“近场观众”）在上麦互动的时候实现平滑体验，不用每次切换就黑屏一次，好像节目中断同样。

对于近场观众，即使是在网络较差的时候，基本上可以保证延迟不超过1秒，极少数观众延迟不超过2秒。相对于CDN，即使在网络质量无问题时，也有3秒以上延迟。实测网络丢包仅仅10%，就可让延迟拉大到10秒。这样的丢包率，在手机的无线信号下但是常常出现的。

全部这些，都要归公于声网SD-RTN的实时传输保障能力。UDP实现的传输协议，不会由于前一个包的丢失或延迟致使下后续包的延迟送达，而丢包能够用对延迟更友好的方式修复或补偿出来。不采用这个机制是没法达到这样的延迟保障效果的。

二、抗丢包能力强。

使用声网的技术，30%丢包时，依然可以进行正常直播。而基于TCP的CDN直播方案在丢包2%时就明显卡顿，达到30%常常已断开链接。

（三）基于SD-RTN 的直播架构与特性

下图是声网Agora.io互动直播的架构图

客户端均经过UDP链接SD-RTN（Agora Global Network），经过SD-RTN的就近接入策略，让使用者就近接入质量最好的数据节点，经过Agora Global Network的软件定义优化路由，通过传输延迟和质量优化的最优路径，自动避免网络拥塞，并规避骨干网络故障的影响。

如有常规的长延迟旁路直播需求，则能够将主播与连麦者合成一路直播流，经过RTMP推到CDN，进行下发。链接这一路的观众，不能参与连麦互动（称为“远场观众”）。

主要特色以下：

一、能够支持更多的主播交互，目前支持7人视频交互，100人语音交互。
二、当有观众连麦时，其余观众端收到的多路视频，观众端能够动态选择布局；
三、声网Agora.io会将直播视频推送到CDN，其余观众（网页端等）能够直接观看；
四、当有观众连麦时，声网Agora.io会将视频合图后推送到CDN，其余观众（网页端等）能够观看到连麦者与主播的互动；
五、在通过RTMP推流前的观众端，能够进行大小流切换，自主选择视频大小窗口的切换。

【本文做者】

单辉 声网Agora.io 高级开发工程师

RTC2016火热报名中！

若是你看这篇讲直播的文章还不过瘾，那么能够来到RTC 大会现场，参加直播技术分论坛，听Top5直播平台的大拿们“华山论剑”。

188元基础票，限时免费中，能够参加“直播技术分论坛”。

详情查看大会官网，http://rtcexpo.org