h5直播

文章转载：https://www.nihaoshijie.com.cn/index.php/archives/615

1 H5到底能不能作视频直播？

固然能够， H5火了这么久，涵盖了各个方面的技术。

对于视频录制，可使用强大的webRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音对话或视频对话的技术，缺点是只在PC的chrome上支持较好，移动端支持不太理想。

对于视频播放，可使用HLS(HTTP Live Streaming)协议播放直播流，ios和android都自然支持这种协议，配置简单，直接使用video标签便可。

webRTC兼容性：

video标签播放hls协议视频：

<video controls autoplay>  
    <source src="http://10.66.69.77:8080/hls/mystream.m3u8" type="application/vnd.apple.mpegurl" />  
    <p class="warning">Your browser does not support HTML5 video.</p>  
</video>

2 到底什么是HLS协议？

当简单讲就是把整个流分红一个个小的基于HTTP的文件来下载，每次只下载一些，前面提到了用于H5播放直播视频时引入的一个.m3u8的文件，这个文件就是基于HLS协议，存放视频流元数据的文件。

每个.m3u8文件，分别对应若干个ts文件，这些ts文件才是真正存放视频的数据，m3u8文件只是存放了一些ts文件的配置信息和相关路径，当视频播放时，.m3u8是动态改变的，video标签会解析这个文件，并找到对应的ts文件来播放，因此通常为了加快速度，.m3u8放在web服务器上，ts文件放在cdn上。

.m3u8文件，其实就是以UTF-8编码的m3u文件，这个文件自己不能播放，只是存放了播放信息的文本文件：

#EXTM3U                     m3u文件头
#EXT-X-MEDIA-SEQUENCE       第一个TS分片的序列号
#EXT-X-TARGETDURATION       每一个分片TS的最大的时长
#EXT-X-ALLOW-CACHE          是否容许cache
#EXT-X-ENDLIST              m3u8文件结束符
#EXTINF                     指定每一个媒体段(ts)的持续时间（秒），仅对其后面的URI有效
mystream-12.ts

ts文件：

HLS的请求流程是：
1 http请求m3u8的url
2 服务端返回一个m3u8的播放列表，这个播放列表是实时跟新的，通常一次给出3段数据的url
3 客户端解析m3u8的播放列表，再按序请求每一段的url，获取ts数据流

简单流程：

 

3 HLS直播延时

当咱们知道hls协议是将直播流分红一段一段的小段视频去下载播放的，因此假设列表里面的包含5个TS文件，每一个TS文件包含5秒的视频内容，那么总体的延迟就是25秒。由于当你看到这些视频时，主播已经将视频录制好上传上去了，因此时这样产生的延迟。固然能够缩短列表的长度和单个TS文件的大小来下降延迟，极致来讲能够缩减列表长度为1，而且TS的时长为1s，可是这样会形成请求次数增长，增大服务器压力，当网速慢时回形成更多的缓冲，因此苹果官方推荐的ts时长时10s，因此这样就会大改有30s的延迟。参考资料：https://developer.apple.com/library/ios/documentation/NetworkingInternet/Conceptual/StreamingMediaGuide/FrequentlyAskedQuestions/FrequentlyAskedQuestions.html

4 视频直播的整个流程是什么？

当视频直播可大体分为：

1 视频录制端：通常是电脑上的音视频输入设备或者手机端的摄像头或者麦克风，目前已移动端的手机视频为主。

2 视频播放端：能够是电脑上的播放器，手机端的native播放器，还有就是h5的video标签等，目前仍是已手机端的native播放器为主。

3 视频服务器端：通常是一台nginx服务器，用来接受视频录制端提供的视频源，同时提供给视频播放端流服务。

简单流程：

5 怎样进行音视频采集？

当首先明确几个概念：

视频编码：所谓视频编码就是指经过特定的压缩技术，将某个视频格式的文件转换成另外一种视频格式文件的方式，咱们使用的iphone录制的视频，必需要通过编码，上传，解码，才能真正的在用户端的播放器里播放。

编解码标准：视频流传输中最为重要的编解码标准有国际电联的H.26一、H.26三、H.264，其中HLS协议支持H.264格式的编码。
音频编码：同视频编码相似，将原始的音频流按照必定的标准进行编码，上传，解码，同时在播放器里播放，固然音频也有许多编码标准，例如PCM编码，WMA编码，AAC编码等等，这里咱们HLS协议支持的音频编码方式是AAC编码。

下面将利用ios上的摄像头，进行音视频的数据采集，主要分为如下几个步骤：

 

1 音视频的采集，ios中，利用AVCaptureSession和AVCaptureDevice能够采集到原始的音视频数据流。
2 对视频进行H264编码，对音频进行AAC编码，在ios中分别有已经封装好的编码库来实现对音视频的编码。
3 对编码后的音、视频数据进行组装封包；
4 创建RTMP链接并上推到服务端。

 

ps：因为编码库大多使用c语言编写，须要本身使用时编译，对于ios，可使用已经编译好的编码库。

x264编码：https://github.com/kewlbear/x264-ios

faac编码：https://github.com/fflydev/faac-ios-build

ffmpeg编码：https://github.com/kewlbear/FFmpeg-iOS-build-script

关于若是想给视频增长一些特殊效果，例如增长滤镜等，通常在编码前给使用滤镜库，可是这样也会形成一些耗时，致使上传视频数据有必定延时。

简单流程：

6 前面提到的ffmpeg是什么？

和以前的x264同样，ffmpeg其实也是一套编码库，相似的还有Xvid，Xvid是基于MPEG4协议的编解码器，x264是基于H.264协议的编码器，ffmpeg集合了各类音频，视频编解码协议，经过设置参数能够完成基于MPEG4,H.264等协议的编解码，demo这里使用的是x264编码库。

7 什么是RTMP？

Real Time Messaging Protocol（简称 RTMP）是 Macromedia 开发的一套视频直播协议，如今属于 Adobe。和HLS同样均可以应用于视频直播，区别是RTMP基于flash没法在ios的浏览器里播放，可是实时性比HLS要好。因此通常使用这种协议来上传视频流，也就是视频流推送到服务器。

这里列举一下hls和rtmp对比：

8 推流

简所谓推流，就是将咱们已经编码好的音视频数据发往视频流服务器中，通常经常使用的是使用rtmp推流，可使用第三方库librtmp-iOS进行推流，librtmp封装了一些核心的api供使用者调用，若是以为麻烦，可使用现成的ios视频推流sdk，也是基于rtmp的，https://github.com/runner365/LiveVideoCoreSDK

9 推流服务器搭建

简简单的推流服务器搭建，因为咱们上传的视频流都是基于rtmp协议的，因此服务器也必需要支持rtmp才行，大概须要如下几个步骤：

1 安装一台nginx服务器。

2 安装nginx的rtmp扩展，目前使用比较多的是https://github.com/arut/nginx-rtmp-module

3 配置nginx的conf文件：

rtmp {  
  
    server {  
  
        listen 1935;  #监听的端口
  
        chunk_size 4000;  
        
         
        application hls {  #rtmp推流请求路径
            live on;  
            hls on;  
            hls_path /usr/local/var/www/hls;  
            hls_fragment 5s;  
        }  
    }  
}

4 重启nginx，将rtmp的推流地址写为rtmp://ip:1935/hls/mystream，其中hls_path表示生成的.m3u8和ts文件所存放的地址，hls_fragment表示切片时长，mysteam表示一个实例，即未来要生成的文件名能够先本身随便设置一个。更多配置能够参考：https://github.com/arut/nginx-rtmp-module/wiki/

根据以上步骤基本上已经实现了一个支持rtmp的视频服务器了。

10 在html5页面进行播放直播视频？

简单来讲，直接使用video标签便可播放hls协议的直播视频：

<video autoplay webkit-playsinline>  
    <source src="http://10.66.69.77:8080/hls/mystream.m3u8" type="application/vnd.apple.mpegurl" />  
    <p class="warning">Your browser does not support HTML5 video.</p>  
</video>

须要注意的是，给video标签增长webkit-playsinline属性，这个属性是为了让video视频在ios的uiwebview里面能够不全屏播放，默认ios会全屏播放视频，须要给uiwebview设置allowsInlineMediaPlayback＝YES。业界比较成熟的videojs，能够根据不一样平台选择不一样的策略，例如ios使用video标签，pc使用flash等。

11 坑点总结

简根据以上步骤，笔者写了一个demo，从实现ios视频录制，采集，上传，nginx服务器下发直播流，h5页面播放直播视频者一整套流程，总结出如下几点比较坑的地方：

1 在使用AVCaptureSession进行采集视频时，须要实现AVCaptureVideoDataOutputSampleBufferDelegate协议，同时在- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection捕获到视频流，要注意的是didOutputSampleBuffer这个方法不是didDropSampleBuffer方法，后者只会触发一次，当时开始写的是didDropSampleBuffer方法，差了半天才发现方法调用错了。

2 在使用rtmp推流时，rmtp地址要以rtmp://开头，ip地址要写实际ip地址，不要写成localhost，同时要加上端口号，由于手机端上传时是没法识别localhost的。

这里后续会补充上一些坑点，有的须要贴代码，这里先列这么多。

12 业界支持

目前，腾讯云，百度云，阿里云都已经有了基于视频直播的解决方案，从视频录制到视频播放，推流，都有一系列的sdk可使用，缺点就是须要收费，若是能够的话，本身实现一套也并非难事哈。

 

demo地址：https://github.com/lvming6816077/LMVideoTest/