直播一：H.264编码基础知识详解

1、编码基础概念

一、为何要进行视频编码？

视频是由一帧帧图像组成，就如常见的gif图片，若是打开一张gif图片，能够发现里面是由不少张图片组成。通常视频为了避免让观众感受到卡顿，一秒钟至少须要16帧画面（通常是30帧），假如该视频是一个1280x720分辨率的视频，那么不通过编码一秒钟的大小：
结果：1280x720x60≈843.75M

因此不通过编码的视频根本无法保存，更不用说传输了。

二、视频压缩编码标准

视频中存在不少冗余信息，好比图像相邻像素之间有较强的相关性，视频序列的相邻图像之间内容类似，人的视觉系统对某些细节不敏感等，对这部分冗余信息进行处理的过程就是视频编码。

H.26X系列（由ITU[国际电传视讯联盟]主导）
    H.261：主要在老的视频会议和视频电话产品中使用
    H.263：主要用在视频会议、视频电话和网络视频上
    H.264：H.264/MPEG-4第十部分，或称AVC（Advanced Video Coding，高级视频编码），是一种视频压缩标准，一种被普遍使用的高精度视频的录制、压缩和发布格式。
    H.265：高效率视频编码（High Efficiency Video Coding，简称HEVC）是一种视频压缩标准，H.264/MPEG-4 AVC的继任者。可支持4K分辨率甚至到超高画质电视，最高分辨率可达到8192×4320（8K分辨率），这是目前发展的趋势，还没有有大众化编码软件出现
    
MPEG系列（由ISO[国际标准组织机构]下属的MPEG[运动图象专家组]开发）
    MPEG-1第二部分：MPEG-1第二部分主要使用在VCD上，有些在线视频也使用这种格式
    MPEG-2第二部分（MPEG-2第二部分等同于H.262，使用在DVD、SVCD和大多数数字视频广播系统中
    MPEG-4第二部分（MPEG-4第二部分标准可使用在网络传输、广播和媒体存储上

三、编码流程
在进行当前信号编码时，编码器首先会产生对当前信号作预测的信号，称做预测信号（predicted signal）

预测的方式：

时间上的预测（interprediction），亦即便用先前帧的信号作预测
    空间上的预测 （intra prediction），亦即便用同一张帧之中相邻像素的信号作预测

获得预测信号后，编码器会将当前信号与预测信号相减获得残余信号（residual signal），并只对残余信号进行编码,如此一来，能够去除一部份时间上或是空间上的冗余信息。

编码器并不会直接对残余信号进行编码，而是先将残余信号通过变换（一般为离散余弦变换）而后量化以进一步去除空间上和感知上的冗余信息。量化后获得的量化系数会再透过熵编码，去除统计上的冗余信息。

2、H.264编码详解(AVC)

一、H.264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称

相关理解：
    在相邻几幅图像画面中，通常有差异的像素只有10%之内的点,亮度差值变化不超过2%，而色度差值的变化只有1%之内
    因此对于一段变化不大图像画面，咱们能够先编码出一个完整的图像帧A，随后的B帧就不编码所有图像，只写入与A帧的差异，这样B帧的大小就只有完整帧的1/10或更小！
    B帧以后的C帧若是变化不大，咱们能够继续以参考B的方式编码C帧，这样循环下去。
    这段图像咱们称为一个序列：序列就是有相同特色的一段数据
    当某个图像与以前的图像变化很大，没法参考前面的帧来生成，那咱们就结束上一个序列，开始下一段序列
    也就是对这个图像生成一个完整帧A1，随后的图像就参考A1生成，只写入与A1的差异内容

二、H.264三种帧

在H.264中定义了三种帧：
    I帧：完整编码的帧叫I帧
    P帧：参考以前的I帧生成的只包含差别部分编码的帧叫P帧
    B帧：参考先后的帧编码的帧叫B帧

H264采用的核心算法是帧内压缩和帧间压缩：
    帧内压缩是生成I帧的算法
    帧间压缩是生成B帧和P帧的算法

压缩方法：
    分组:把几帧图像分为一组(GOP，也就是一个序列),为防止运动变化,帧数不宜取多
    定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;
    预测帧:以I帧作为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;
    数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

GOP序列：
    在H264中图像以序列为单位进行组织，一个序列是一段图像编码后的数据流。
    一个序列的第一个图像叫作 IDR 图像（当即刷新图像），IDR 图像都是 I 帧图像：

a、H.264 引入 IDR 图像是为了解码的重同步，当解码器解码到 IDR 图像时，当即将参考帧队列清空，将已解码的数据所有输出或抛弃，从新查找参数集，开始一个新的序列。
b、这样，若是前一个序列出现重大错误，在这里能够得到从新同步的机会。
c、IDR图像以后的图像永远不会使用IDR以前的图像的数据来解码。

    一个序列就是一段内容差别不太大的图像编码后生成的一串数据流：

a、当运动变化比较少时，一个序列能够很长，由于运动变化少就表明图像画面的内容变更很小，因此就能够编一个I帧，而后一直P帧、B帧了。
b、当运动变化多时，可能一个序列就比较短了，好比就包含一个I帧和三、4个P帧。

在视频编码序列中，GOP即Group of picture（图像组），指两个I帧之间的距离。

I帧、P帧、B帧实际顺序&&编码顺序：

3、H.264分层设计

H264算法在概念上分为两层：
    VCL:(Video Coding Layer)视频编码层，负责高效的内容表示。
    NAL:(Network Abstraction Layer)网络提取层，负责以网络所要求的恰当的方式对数据进行打包和传送。
    上面所学习的知识都是VCL层。

NAL设计的目的，是根据不一样的网络把数据打包成相应的格式，将VCL产生的比特字符串适配到各类各样的网络和多元环境中。

NAL的封装方式：
    NAL是将每一帧数据写入到一个NAL单元中，进行传输或存储的
    NALU分为NAL头和NAL体
    NALU头一般为00 00 00 01，做为一个新的NALU的起始标识
    NALU体封装着VCL编码后的信息或者其余信息

NAL的封装过程：
    I帧、P帧、B帧都是被封装成一个或者多个NALU进行传输或者存储的
    每个I帧开始以前也有非VCL的NAL单元，用于保存其余信息，它们是PPS、SPS
    PPS（Picture Parameter Sets）：图像参数集
    SPS（Sequence Parameter Set）：序列参数集
    在实际的H264数据帧中，每每帧前面带有00 00 00 01 或 00 00 01分隔符，通常来讲编码器编出的首帧数据为PPS与SPS，接着为I帧，后续是B帧、P帧等数据