流媒体知识点概述

流媒体

流媒体，又叫流式媒体，是边传边播的媒体，是多媒体的一种。边传边播是指媒体提供商在网络上传输媒体的同时，用户一边不断地接收并观看或收听被传输的媒体。“流”媒体的“流”指的是这种媒体的传输方式（流的方式），而并非指媒体自己。流媒体分为直播和点播，被普遍运用于在线直播、视频点播、远程教育、实时视频会议等领域。

流媒体协议

流媒体协议包括RTP，RTCP，RTMP，MMS，HLS，HTTP-FLV等。一般来讲点播使用的都是HTTP协议，直播主要用的是RTMP，HLS，HTTP-FLV等。

• RTMP：是Adobe公司为Flash/AIR平台和服务器之间音、视频及数据传输开发的实时消息传送协议，协议创建在TCP协议之上。RTMP协议中，视频必须是H264编码，音频必须是AAC或MP3编码，且多以flv格式封包。RTMP是目前最主流的流媒体传输协议，对CDN支持良好，实现难度较低，是大多数的直播平台的选择。RTMP基于flash没法在iOS的浏览器里播放，可是实时性比HLS要好。

• HLS：是苹果公司实现的基于HTTP的流媒体传输协议，可实现流媒体的直播和点播，iOS和 Android 都自然支持这种协议，配置简单，直接使用video标签便可。HLS点播基本上就是常见的分段HTTP点播，不一样在于它的分段很是小。HLS直播的原理是将视频分红5-10秒的小分片，而后用m3u8索引表进行管理，因为客户端下载到的视频都是5-10秒的完整数据，故视频的流畅性很好，但因为分段推送的技术特色，决定了HLS的延迟通常会高于普通的流媒体直播协议。

 

协议	优势	缺点	播放延时
RTMP	1.速度快，误码率低，延迟低 2.协议在制定的时候就考虑到不少底层的优化 3.消息块的传输可以提供更加稳定的直播环境	1.不支持HTML5直播、浏览器推送 2.开发难度大，门槛较高 3.硬件要求相较于HLS较高	1s-3s
HLS	1.手机浏览器支持度高 2.HLS协议客户端支持简单，只须要支持HTTP请求便可，HTTP协议无状态，只须要按顺序下载媒体片断便可 3.网络兼容性好，HTTP数据包也能够方便地经过防火墙或者代理服务器	1.相比RTMP这类长链接协议，HLS延时较高，难以用到直播场景 2.对于点播服务来讲，因为海量小分片在文件分发，对一致性缓存，存储等挑战性较大	10s-30s

直播的推流和拉流

• 推流：指的是把采集阶段封包好的内容传输到服务器的过程。

流程以下：

1.通过输出设备(AVCaptureVideoDataOutput)获得原始的采样数据–视频数据（YUV）和音频数据（AAC）

2.使用硬编码（对应系统的API）或软编码（FFMpeg）来编码压缩音视频数据

3.分别获得已编码的H.264视频数据和AAC音频数据

4.根据不一样的封装格式（如FLV、TS、MPEG-TS）

5.使用HLS协议的时候加上这一步（HLS分段生成策略及m3u8索引文件）

6.经过流上传到服务器

7.服务器进行相关协议的分发

 

• 拉流（播放）：指服务器已有直播内容，用指定地址进行拉取的过程。

根据协议类型与服务器创建链接并接收数据流程以下：

1.解析二进制数据，从中找到相关流信息

2.根据不一样的封装格式（如FLV、TS）解复用（demux）

3.分别获得已编码的H.264视频数据和AAC音频数据

4.使用硬解码（对应系统的API）或软解码（FFMpeg）来解压音视频数据

5.通过解码后获得原始的视频数据（YUV）和音频数据（AAC）

6.由于音频和视频解码是分开的，因此咱们得把它们同步起来，不然会出现音视频不一样步的现象，好比别人说话会跟口型对不上

7.最后把同步的音频数据送到耳机或外放，视频数据送到屏幕上显示