iOS 音视频学习 - 视频录制阶段

前言

伴随着大火的短视频应用，正好本身也有点时间，就稍微学习了一下视频相关的内容。

这种多媒体技术并无想象的那么简单，这算是一个技术方向了。我把这些视频相关的技术分为了两部分，暂且叫作应用层面和底层技术层面（本身取得名字并不许确）。

应用层面能够理解为调用一些系统的api或者使用一些三方的框架，完成项目中的需求。从一个视频类app的流程来讲，可能就要包括视频的录制，视频的处理（多段合成一段，添加背景音乐等），视频的播放等，固然了还包括一些滤镜效果，美颜效果，甚至是一些特效。

底层技术呢，就包括视频如何编码解码，相机滤镜美颜特效的一些实现。

坦白的说，从这两个方面来讲，我都很菜，这段时间的学习就算是这方面一个进阶的过程吧。首先先从应用的角度来入手，毕竟有项目驱动的话，首先咱得先把某些效果给实现了，而后再考虑他们底层一些的技术。

视频入门

视频实质：
纯粹的视频（不包括音频）实质上就是一组帧图片，通过视频编码成为视频（video）文件再把音频（audio）文件有些还有字幕文件组装在一块儿成为咱们看到的视频（movie）文件。1秒内出现的图片数就是帧率，图片间隔越小画面就越流畅，因此帧率越高效果就越好，须要的存储空间也就越多。

视频格式：
MP四、MOV、AVI、RMVB这些播放格式其实都是封装格式，除了RMVB比较特殊外，其余格式内封装的视频编码格式都是H264，H264以高压缩率闻名于世，压缩效率比MEPG-2提高一倍多，可是世上没有一箭双鵰的事，H264的解码难度提升了3倍多。

这两个概念就足觉得我本身扫盲了。咱们以前接触到的视频文件，其实咱们不能单一把它当作一个文件，其实他是一种封装。它包括了纯粹的视频，也就是一连串的图片，包括音频，还可能包括了字幕。

视频录制

我上网看了不少的文章，总结起来实现视频的录制有三种方法能够用。

1. UIImagePickerController
2. AVCaptureSession + AVCaptureMovieFileOutput
3. AVCaptureSession + AVAssetWriter

下面咱们来分别说一下这三种方式的。

第一种：UIImagePickerController是使用起来最简单的，固然可定制化也是最低的，只能设置一些简单的参数来实现基本的视频录制的效果。若是你想自定义录制界面的UI，那你就只能抛弃这个简单的方法了。

第2、三两种方式要使用AVFoundation框架。
在AVFoundation框架中，关于视频录制的是要的类是AVCaptureSession，他负责调配输入和输出，算是总的管理。单独管理输入的是AVCaptureDeviceInput这个类。

AVFoundation中类不少，一个类会有各类属性，用起来比较麻烦。咱们第一次使用就先着重了解这个总体流程和主要的那几个类。

第二种方法中使用了AVCaptureMovieFileOutput来做为输出，这是一个须要不多配置就能够直接输出视频的类，什么意思呢，也就是使用第二种AVCaptureSession + AVCaptureMovieFileOutput的方式录制视频，在你结束录制以后，AVCaptureMovieFileOutput会帮你直接生成一个视频文件到你指定的路径下，好处就是便捷，直接输出了视频文件。

第三种方法我我的以为是最麻烦的，由于它处理的最原始的数据，并且视频数据和音频数据是分开处理，同时这也提升了这种方法的可定制性。

这种方法是经过AVCaptureVideoDataOutput和AVCaptureAudioDataOutput 分别拿到原始的视频和音频的数据，再进行处理。咱们拿到这些原始的数据流能够来为设置不少参数，也能够添加背景音乐水印等。而后经过AVAssetWriter把这些数据流处理合成视频文件。

固然了，第二和三两种方法中，咱们还须要AVCaptureVideoPreviewLayer来实时预览摄像头的画面。（也就是说咱们摄像头捕获的画面，是经过这个类来管理展现的）

代码示例和DEMO

这部分具体的操做逻辑就是上面描述的这个样子，主要的东西都在代码上。每一个功能类的初始化，各类属性配置，使用AVAssetWriter时数据时如何写入的，这都是一个个麻烦的点。还好我从网上发现了一份特别棒的代码，而后照着大神的代码敲了一遍，而后针对我想实现的功能作了一点点修改，我把改后的代码放到百度网盘了。

这是个人DEMO，你们能够下载来看

下面是第二种方法里面的一段代码，从中能够看出整个流程来

#pragma mark - 主要过程
- (void)setUpWithType:(VideoViewType)type {
    /// -1. 提早异步建立存储路径 
    dispatch_async(dispatch_get_main_queue(), ^{
        [self videoFold];
    });
    
    ///0. 初始化捕捉会话，数据的采集都在会话中处理
    [self setUpInit];
    
    ///1. 设置视频的输入
    [self setUpVideo];
    
    ///2. 设置音频的输入
    [self setUpAudio];
    
    ///3.添加写入文件的fileoutput
    [self setUpFileOut];
    
    ///4. 视频的预览层
    [self setUpPreviewLayerWithType:type];
    
    ///5. 开始采集画面
    [self.session startRunning];
    
    
}

这个地方要声明一下，那个第-1步提早异步建立存储路径是我加上的，以前代码里面没有，为何要加这一步呢？

再点击了开始录制按钮以后呢，会出现短暂的卡顿而后才开始录制，我分析了一下多是在第3步的时候有建立路径的操做，你们都知道，都文件的操做是比较耗时的，因此我才在最开始就先异步把路径提早建立好了，而后正真开始录制的时候就会免去这一步耗时的操做，体验好一些，固然这是个人想法。

视频录制的细节功能

咱们从项目开始讲起吧 ~ 

这是项目结构，我提早声明一下，那个RecordVideo文件中我是照着大神的FileOut文件中的代码敲得（也就是视频录制的第二种方法），里面有一些小改动。而后针对第三种方法的代码修改我都是直接在AVAssetWriter这个文件中直接改的。

下面是重点

原来这份代码只是从三个方面实现了视频录制的功能，三种方法实现的效果都是同样的，就是简单的视频录制。

可是在实际的项目中，咱们有时候会遇到这么一个需求，那就是在录制的过程当中暂停，而后恢复录制。

我从网上看了一下，找到了两种实现方法。一种是经过暂停时候的时间偏移量计算来实现，第二种是多段视频拼接。第一种我暂时还没能深刻的了解，因此我经过修改AVAssetWriter这个文件中的代码，来实现一下多段视频拼接的思路。

个人修改是这样的：

1. 点击开始录制是开始录制第一段视频，点击中止的时候就中止录制并生成第一段视频 （以前是点击了中止生成视频直接跳到下一级页面播放了）
2. 再一次点击开始录制的时候，开始录制第二段，点击中止时中止录制并生成第二段。
3. 以此类推
4. 在view上我添加了一个录制完成的button，点击这个button就开始把以前的多段视频合成一段。（点击button以后注意看xcode的打印台）
5. 合成完成以后。直接跳转到下一个页面预览咱们生成的视频文件。

视频合成的代码能够去FMWVideoView这个类中的下面方法中看，我给了不少注释。

//////////////// 视频合成////////////
- (void)showFiles{}

上面方法的代码也有不少不足的地方，好比说若是给整个视频录制规定一个最大时间长度，上面实现的分段录制并无收到这个最大时间的限制，这都是要进一步完善的地方，重点在于这个分段录制合成的思路。

两点补充

1. 使用AVAssetWriter完成视频录制

   在用AVAssetWriter实现录制的时候，视频数据和音频数据分别是使用AVCaptureVideoDataOutput和AVCaptureAudioDataOutput来进行输出，他与以前的AVCaptureMovieFileOutput输出不一样的是，AVCaptureMovieFileOutput会直接输出来视频文件，可是AVCaptureVideoDataOutput和AVCaptureAudioDataOutput输出的是原始的数据，再结合AVAssetWriter的把原始数据写成文件的能力来实现整个录制过程。

   AVAssetWriter实现录制视频相对来讲麻烦一点，具体麻烦在把采集到的数据写成文件的这个过程。其实具体的实现流程并无什么难懂，关键是这写类的用法问题。还有在写入文件时，视频和音频是分开处理的。具体的用法，代码写的很清楚，你们能够看一下。

2. 关于视频更改背景音乐的思考

   上面说到两个视频合成一个视频的例子，其实更改背景音乐用到的就是这种方法。

   举个例子说，就像咱们说过的，咱们要把A和B两个视频合成一个新的视频，咱们会建立一个视频轨道一个音频轨道，而后把A和B的视频部分提取出来加到视频轨道中，音频部分提取出来加到音频轨道中，而后用这两个轨道合成一个文件。咱们在更改背景音乐的时候，就是要处理这个音频轨道，在这个音频轨道中，咱们再也不是添加以前文件的音频部分，并且把咱们须要的那个背景音乐添加到音频轨道中，用添加了背景音乐的音频轨道和视频轨道合成视频文件。

   固然了，这里面还涉及一些是否保留原音，或者或者跟范围有关的一些问题，你们能够本身再研究一下。

接下来学习

滤镜效果。

特别感谢

特别感谢大神的代码，不胜感激，附上大神的github主页。
https://github.com/suifengqjn

参考文章

https://www.cnblogs.com/zy198...

http://gcblog.github.io/2017/...

http://ios.jobbole.com/85069/

https://www.jianshu.com/p/174...

音视频相关的东西太多太多，咱们一边学习，一边领悟吧。