H264编码原理以及I帧、B和P帧详解

 H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称，在编码方面，我理解的他的理论依据是：参照一段时间内图像的统计结果代表，在相邻几幅图像画面中，通常有差异的像素只有10%之内的点,亮度差值变化不超过2%，而色度差值的变化只有1%之内。因此对于一段变化不大图像画面，咱们能够先编码出一个完整的图像帧A，随后的B帧就不编码所有图像，只写入与A帧的差异，这样B帧的大小就只有完整帧的1/10或更小！B帧以后的C帧若是变化不大，咱们能够继续以参考B的方式编码C帧，这样循环下去。这段图像咱们称为一个序列（序列就是有相同特色的一段数据），当某个图像与以前的图像变化很大，没法参考前面的帧来生成，那咱们就结束上一个序列，开始下一段序列，也就是对这个图像生成一个完整帧A1，随后的图像就参考A1生成，只写入与A1的差异内容。
    在H264协议里定义了三种帧，完整编码的帧叫I帧，参考以前的I帧生成的只包含差别部分编码的帧叫P帧，还有一种参考先后的帧编码的帧叫B帧。
   H264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成I帧的算法，帧间压缩是生成B帧和P帧的算法。

 

序列的说明
    在H264中图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，以I帧开始，到下一个I帧结束。
    一个序列的第一个图像叫作 IDR 图像（当即刷新图像），IDR 图像都是 I 帧图像。H.264 引入 IDR 图像是为了解码的重同步，当解码器解码到 IDR 图像时，当即将参考帧队列清空，将已解码的数据所有输出或抛弃，从新查找参数集，开始一个新的序列。这样，若是前一个序列出现重大错误，在这里能够得到从新同步的机会。IDR图像以后的图像永远不会使用IDR以前的图像的数据来解码。
        一个序列就是一段内容差别不太大的图像编码后生成的一串数据流。当运动变化比较少时，一个序列能够很长，由于运动变化少就表明图像画面的内容变更很小，因此就能够编一个I帧，而后一直P帧、B帧了。当运动变化多时，可能一个序列就比较短了，好比就包含一个I帧和三、4个P帧。

 

三种帧的说明

一、I帧
I帧:帧内编码帧 ，I帧表示关键帧，你能够理解为这一帧画面的完整保留；解码时只须要本帧数据就能够完成（由于包含完整画面）
I帧特色:
1)它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;
2)解码时仅用I帧的数据就可重构完整图像;
3)I帧描述了图像背景和运动主体的详情;
4)I帧不须要参考其余画面而生成;
5)I帧是P帧和B帧的参考帧(其质量直接影响到同组中之后各帧的质量);
6)I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
7)I帧不须要考虑运动矢量;
8)I帧所占数据的信息量比较大。

二、P帧 

P帧:前向预测编码帧。P帧表示的是这一帧跟以前的一个关键帧（或P帧）的差异，解码时须要用以前缓存的画面叠加上本帧定义的差异，生成最终画面。（也就是差异帧，P帧没有完整画面数据，只有与前一帧的画面差异的数据）
P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一块儿传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以获得P帧“某点”样值,从而可获得完整的P帧。
P帧特色:
1)P帧是I帧后面相隔1~2帧的编码帧;
2)P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测偏差);
3)解码时必须将I帧中的预测值与预测偏差求和后才能重构完整的P帧图像;
4)P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;
5)P帧能够是其后面P帧的参考帧,也能够是其先后的B帧的参考帧;
6)因为P帧是参考帧,它可能形成解码错误的扩散;
7)因为是差值传送,P帧的压缩比较高。

三、B帧

B帧:双向预测内插编码帧。B帧是双向差异帧，也就是B帧记录的是本帧与先后帧的差异（具体比较复杂，有4种状况，但我这样说简单些），换言之，要解码B帧，不只要取得以前的缓存画面，还要解码以后的画面，经过先后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，可是解码时CPU会比较累。
B帧的预测与重构
B帧之前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和,获得B帧“某点”样值,从而可获得完整的B帧。
B帧特色
1）B帧是由前面的I或P帧和后面的P帧来进行预测的;
2）B帧传送的是它与前面的I或P帧和后面的P帧之间的预测偏差及运动矢量;
3）B帧是双向预测编码帧;
4）B帧压缩比最高,由于它只反映丙参考帧间运动主体的变化状况,预测比较准确;
5）B帧不是参考帧,不会形成解码错误的扩散。

注:I、B、P各帧是根据压缩算法的须要，是人为定义的,它们都是实实在在的物理帧。通常来讲，I帧的压缩率是7（跟JPG差很少），P帧是20，B帧能够达到50。可见使用B帧能节省大量空间，节省出来的空间能够用来保存多一些I帧，这样在相同码率下，能够提供更好的画质。

 

压缩算法的说明
h264的压缩方法:
1.分组:把几帧图像分为一组(GOP，也就是一个序列),为防止运动变化,帧数不宜取多。
2.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;
3.预测帧:以I帧作为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;
4.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。
    帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩相似。帧内通常采用有损压缩算法，因为帧内压缩是编码一个完整的图像，因此能够独立的解码、显示。帧内压缩通常达不到很高的压缩，跟编码jpeg差很少。　　
    帧间（Interframe）压缩的原理是：相邻几帧的数据有很大的相关性，或者说先后两帧信息变化很小的特色。也即连续的视频其相邻帧之间具备冗余信息,根据这一特性，压缩相邻帧之间的冗余量就能够进一步提升压缩量，减少压缩比。帧间压缩也称为时间压缩（Temporal compression），它经过比较时间轴上不一样帧之间的数据进行压缩。帧间压缩通常是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它经过比较本帧与相邻帧之间的差别，仅记录本帧与其相邻帧的差值，这样能够大大减小数据量。
       顺便说下有损（Lossy ）压缩和无损（Lossy less）压缩。无损压缩也即压缩前和解压缩后的数据彻底一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程当中要丢失一些人眼和人耳所不敏感的图像或音频信息,并且丢失的信息不可恢复。几乎全部高压缩的算法都采用有损压缩,这样才能达到低数据率的目标。丢失的数据率与压缩比有关,压缩比越小，丢失的数据越多,解压缩后的效果通常越差。此外,某些有损压缩算法采用屡次重复压缩的方式,这样还会引发额外的数据丢失。