RTP中H264封装NALU(SPS,PPS等)

NAL的英文全称为Network  Abstract Layer，即网络抽象层，在H264/AVC视频编解码标准中，整个系统框架分为两个层面，视频编解码层面(VCL)和网络抽象层面(NAL)。VCL负责有效表示视频数据内容，NAL负责格式化数据并加上相应的头信息，以保证数据适合各类信道和存储介质上的传输。NAL单元NALU是NAL的基本语法结构，它包含一个字节的头信息和一系列来自VCL的原始字节载序列载荷(RBSP)的字节流。

H264使用RTP传输时，以SPS和PPS开头，以下图：

H264帧由NALU头和NALU载荷构成，以SPS为例以下图：

NALU头有一个字节组成，其中Type有5 bits组成，其中几个比较经常使用的值以下（其余的请查阅相关文档）：

 5     IDR图像中的片
 6     补充加强信息单元（SEI）
 7     SPS
 8     PPS
 9     序列结束
 10    序列结束

上图中SPS的NALU头中的Type值为7，表示SPS(Sequence parameter set)，SPS还包含一些图像编码的一些重要配置信息，好比profile_id，level_id，图像的宽高信息等，具体以下图：

上图中图像的宽高为：1920*1088

若是一帧数据过大，将被分为多个片，即有多个slice组成，以下图：

AUD

 通常文档没有对AUD进行描叙，其实这是一个帧开始的标志，字节顺序为：00 00 00 01 09 f1，从结构上看，有start code, 因此确实是一个NALU，类型09在H264定义里就是AUD（分割器）。大部分播放器能够在没有AUD的状况下正常播放。紧随AUD，通常是SPS/PPS/SEI/IDR的组合或者简单就是一个SLICE，也就是一个帧的开始。像Flash这样的播放器，每次须要一个完整的帧数据，那么把2个AUD之间的数据按照格式打包给播放器就能够了。

H.264编码时，在每一个NAL前添加起始码 0x000001，解码器在码流中检测到起始码，当前NAL结束。为了防止NAL内部出现0x000001的数据，h.264又提出'防止竞争 emulation prevention"机制，在编码完一个NAL时，若是检测出有连续两个0x00字节，就在后面插入一个0x03。当解码器在NAL内部检测到0x000003的数据，就把0x03抛弃，恢复原始数据。
   0x000000  ----------->  0x00000300
   0x000001  ----------->  0x00000301
   0x000002  ----------->  0x00000302
   0x000003  ----------->  0x00000303

 总的来讲，H264的码流的打包方式有两种,一种为annex-b byte stream format 的格式，这个是绝大部分编码器的默认输出格式，就是每一个帧的开头的3~4个字节是H264的start_code,0x00000001或者0x000001；另外一种是原始的NAL打包格式，就是开始的若干字节（1，2，4字节）是NAL的长度，而不是start_code,此时必须借助某个全局的数据来得到编 码器的profile,level,PPS,SPS等信息才能够解码。