H.264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称。算法
在H.264协议里定义了三种帧，完整编码的帧叫 I 帧，参考以前的 I 帧生成的只包含差别部分编码的帧叫 P 帧，还有一种参考先后的帧编码的帧叫 B 帧。缓存
H.264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成 I 帧的算法，帧间压缩是生成 B 帧和 P 帧的算法。微信
序列的说明
在H.264中图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，以 I 帧开始，到下一个 I 帧结束。
网络
一个序列的第一个图像叫作 IDR 图像（当即刷新图像），IDR 图像都是 I 帧图像。app
H.264 引入 IDR 图像是为了解码的重同步，当解码器解码到 IDR 图像时，当即将参考帧队列清空，将已解码的数据所有输出或抛弃，从新查找参数集，开始一个新的序列。编辑器
这样，若是前一个序列出现重大错误，在这里能够得到从新同步的机会。IDR 图像以后的图像永远不会使用 IDR 以前的图像的数据来解码。性能
一个序列就是一段内容差别不太大的图像编码后生成的一串数据流。学习
当运动变化比较少时，一个序列能够很长，由于运动变化少就表明图像画面的内容变更很小，因此就能够编一个 I 帧，而后一直 P 帧、B 帧了。测试
当运动变化多时，可能一个序列就比较短了，好比就包含一个 I 帧和 三、4个P帧。
flex
3 种帧的说明
I帧
I 帧：帧内编码帧 ，I 帧表示关键帧，你能够理解为这一帧画面的完整保留；解码时只须要本帧数据就能够完成（由于包含完整画面）。
P帧
P 帧：前向预测编码帧。P 帧表示的是这一帧跟以前的一个关键帧（或P 帧）的差异，解码时须要用以前缓存的画面叠加上本帧定义的差异，生成最终画面。
P帧的预测与重构：P 帧是以 I 帧为参考帧,在 I 帧中找出 P 帧“某点”的预测值和运动矢量，取预测差值和运动矢量一块儿传送。
在接收端根据运动矢量从 I 帧中找出 P 帧“某点”的预测值并与差值相加以获得 P 帧“某点”样值,从而可获得完整的 P 帧。
B帧
B 帧：双向预测内插编码帧。B 帧是双向差异帧，也就是 B 帧记录的是本帧与先后帧的差异（具体比较复杂，有 4 种状况，但我这样说简单些）。
换言之，要解码 B 帧，不只要取得以前的缓存画面，还要解码以后的画面，经过先后画面的与本帧数据的叠加取得最终的画面。B 帧压缩率高，可是解码时 CPU 会比较累。
B 帧的预测与重构：B 帧之前面的 I 或 P 帧和后面的 P 帧为参考帧,“找出”B 帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。
接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和,获得 B帧“某点”样值,从而可获得完整的 B 帧。
注：I、B、P 各帧是根据压缩算法的须要，是人为定义的,它们都是实实在在的物理帧。通常来讲，I 帧的压缩率是7（跟JPG差很少），P 帧是20，B 帧能够达到50。
可见使用 B 帧能节省大量空间，节省出来的空间能够用来保存多一些 I 帧，这样在相同码率下，能够提供更好的画质。
下面举例说明：
在如上图中，GOP (Group of Pictures) 长度为 13，S0~S7 表示 8 个视点，T0~T12 为 GOP 的 13 个时刻。每一个 GOP 包含帧数为视点数 GOP 长度的乘积。在该图中一个 GOP 中，包含 94 个 B 帧。B 帧占一个 GOP 总帧数的 90.38%。
GOP 越长，B 帧所占比例更高，编码的率失真性能越高。下图测试序列 Race1 在不一样 GOP 下的率失真性能对比。
压缩算法的说明
h264的压缩方法：
（1）分组：把几帧图像分为一组(GOP，也就是一个序列)，为防止运动变化,帧数不宜取多。
（2）定义帧：将每组内各帧图像定义为三种类型,即 I 帧、B 帧和 P 帧;
（3）预测帧：以I帧作为基础帧，以 I 帧预测 P 帧,再由 I 帧和 P 帧预测 B 帧;
（4）数据传输：最后将 I 帧数据与预测的差值信息进行存储和传输。
帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩相似。帧内通常采用有损压缩算法，因为帧内压缩是编码一个完整的图像，因此能够独立的解码、显示。帧内压缩通常达不到很高的压缩，跟编码 jpeg 差很少。
帧间（Interframe）压缩的原理是：相邻几帧的数据有很大的相关性，或者说先后两帧信息变化很小的特色。也即连续的视频其相邻帧之间具备冗余信息,根据这一特性，压缩相邻帧之间的冗余量就能够进一步提升压缩量，减少压缩比。帧间压缩也称为时间压缩（Temporal compression），它经过比较时间轴上不一样帧之间的数据进行压缩。
帧间压缩通常是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它经过比较本帧与相邻帧之间的差别，仅记录本帧与其相邻帧的差值，这样能够大大减小数据量。
I 帧与 IDR 帧的区别
IDR（Instantaneous Decoding Refresh）--即时解码刷新。
I 和 IDR 帧都是使用帧内预测的。它们都是同一个东西而已，在编码和解码中为了方便，要首个 I 帧和其余 I 帧区别开，因此才把第一个首个 I 帧叫 IDR，这样就方便控制编码和解码流程。
IDR 帧的做用是马上刷新，使错误不致传播,从IDR帧开始，从新算一个新的序列开始编码。而 I 帧不具备随机访问的能力，这个功能是由 IDR 承担。IDR 会致使DPB（参考帧列表——这是关键所在）清空，而 I 不会。
IDR 图像必定是 I 图像，但I图像不必定是 IDR 图像。一个序列中能够有不少的I图像，I 图像以后的图像能够引用 I 图像之间的图像作运动参考。
一个序列中能够有不少的 I 图像，I 图像以后的图象能够引用I图像之间的图像作运动参考。
对于 IDR 帧来讲，在 IDR 帧以后的全部帧都不能引用任何 IDR 帧以前的帧的内容，与此相反，对于普通的 I 帧来讲，位于其以后的 B- 和 P- 帧能够引用位于普通 I- 帧以前的 I- 帧。
从随机存取的视频流中，播放器永远能够从一个 IDR 帧播放，由于在它以后没有任何帧引用以前的帧。可是，不能在一个没有 IDR 帧的视频中从任意点开始播放，由于后面的帧老是会引用前面的帧。
举个例子，在一段视频中，存在如下帧：I P B P B P B B P I P B…
若是这段视频应用了多重参照帧，那么蓝色的 P 帧在参照他前面的 I 帧（红色）的同时，还可能会参照 I 帧以前的 P （绿色），因为 I 帧先后的场景可能会有很大的反差甚至根本不一样。
因此此时 P 帧参考I帧以前的帧不但会没有意义，反而会形成不少问题。因此一种新型的帧被引入，那就是 IDR 帧。
若是这段视频应用了多重参考帧的同时采用了 IDR 帧，那么帧的顺序就会变成这样：I P B P B P B B P IDR P B…
因为 IDR 帧禁止后面的帧向本身前面的帧参照，因此这回那个蓝色的 P 帧就不会参照绿色的 P 帧了。
文章来源：https://blog.csdn.net/qq_29350001/article/details/73770702
做者：聚优致成
-- END --
进技术交流群，扫码添加个人微信：Byte-Flow
获取视频教程和源码
推荐：
FFmpeg + OpenGL ES 实现 3D 全景播放器
FFmpeg + OpenGLES 实现视频解码播放和视频滤镜
以为不错，点个在看呗~
本文分享自微信公众号 - 字节流动（google_developer）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。