用三个图来直观地表示采集的方式吧,以黑点表示采样该像素点的 Y 份量,以空心圆圈表示采用该像素点的 UV 份量。 算法
先记住下面这段话,之后提取每一个像素的 YUV 份量会用到。
windows
YUYV 为 YUV422 采样的存储格式中的一种,相邻的两个 Y 共用其相邻的两个 Cb、Cr,分析,对于像素点 Y'00、Y'01 而言,其 Cb、Cr 的值均为 Cb00、Cr00,其余的像素点的 YUV 取值依次类推。 编码
UYVY 格式也是 YUV422 采样的存储格式中的一种,只不过与 YUYV 不一样的是 UV 的排列顺序不同而已,还原其每一个像素点的 YUV 值的方法与上面同样。 spa
YUV422P 也属于 YUV422 的一种,它是一种 Plane 模式,即平面模式,并非将 YUV 数据交错存储,而是先存放全部的 Y 份量,而后存储全部的 U(Cb)份量,最后存储全部的 V(Cr)份量,如上图所示。其每个像素点的YUV 值提取方法也是遵循 YUV422 格式的最基本提取方法,即两个 Y 共用一个 UV。好比,对于像素点Y'00、Y'01 而言,其 Cb、Cr 的值均为 Cb00、Cr00。 设计
YU12 和 YV12 属于 YUV420 格式,也是一种 Plane 模式,将 Y、U、V 份量分别打包,依次存储。其每个像素点的 YUV 数据提取遵循 YUV420 格式的提取方式,即 4 个 Y 份量共用一组 UV。注意,上图中,Y'00、Y'0一、Y'十、Y'11 共用 Cr00、Cb00,其余依次类推。
code
NV12 和 NV21 属于 YUV420 格式,是一种 two-planar 模式,即 Y 和 UV 分为两个 Plane,可是 UV(CbCr)为交错存储,而不是分为三个 plane。其提取方式与上一种相似,即 Y'00、Y'0一、Y'十、Y'11 共用 Cr00、Cb00
YUV420 planar 数据, 以 720×488 大小图象 YUV420 planar 为例, 视频
三个部份内部均是行优先存储,三个部分之间是 Y, U, V 顺序存储。 内存
4 :2:2 和4:2:0 转换:
最简单的方式:
YUV4:2:2 ---> YUV4:2:0 Y 不变,将 U 和 V 信号值在行(垂直方向)在进行一次隔行抽样。 YUV4:2:0 ---> YUV4:2:2 Y 不变,将 U 和 V 信号值的每一行分别拷贝一份造成连续两行数据。
在 YUV420 中,一个像素点对应一个 Y,一个 4X4 的小方块对应一个 U 和 V。对于全部 YUV420 图像,它们的 Y 值排列是彻底相同的,由于只有 Y 的图像就是灰度图像。YUV420sp 与 YUV420p 的数据格式它们的 UV 排列在原理上是彻底不一样的。420p 它是先把 U 存放完后,再存放 V,也就是说 UV 它们是连续的。而 420sp 它是 UV、UV这样交替存放的。(见下图) 有了上面的理论,我就能够准确的计算出一个 YUV420 在内存中存放的大小: it
width * hight = Y(总和) U = Y / 4 V = Y / 4
因此 YUV420 数据在内存中的长度是 width * hight * 3 / 2,
假设一个分辨率为 8X4 的 YUV 图像,它们的格式以下图:
YUV420sp 格式以下图
class
YUV420p 数据格式以下图
旋转 90 度的算法:
public static void rotateYUV240SP(byte[] src, byte[] des, int width, int height) { int wh = width * height; //旋转Y int k = 0; for(int i = 0; i < width; i++) { for(int j = 0; j < height; j++) { des[k] = src[width*j + i]; k++; } } for(int i = 0; i < width; i+ = 2) { for(int j = 0; j < height/2; j++) { des[k] = src[wh+ width*j + i]; des[k+1]=src[wh + width*j + i+1]; k+ = 2; } } }
通常来讲,直接采集到的视频数据是 RGB24 的格式,RGB24 一帧的大小 size=width×heigth×3 Bit,RGB32 的 size=width×heigth×4,若是是 I420(即 YUV 标准格式 4:2:0)的数据量是 size=width×heigth×1.5 Bit。
在采集到 RGB24 数据后,须要对这个格式的数据进行第一次压缩。即将图像的颜色空间由 RGB2YUV。由于,X264在进行编码的时候须要标准的 YUV(4:2:0)。可是这里须要注意的是,虽然 YV12 也是(4:2:0),可是 YV12 和 I420 的倒是不一样的,在存储空间上面有些区别。以下:
YV12 : 亮度(行×列) + U(行×列/4) + V(行×列/4)
I420 : 亮度(行×列) + V(行×列/4) + U(行×列/4)
能够看出,YV12 和 I420 基本上是同样的,就是 UV 的顺序不一样。
继续咱们的话题,通过第一次数据压缩后 RGB24->YUV(I420)。这样,数据量将减小一半,为何呢?呵呵,这个就太基础了,我就很少写了。一样,若是是 RGB24->YUV(YV12),也是减小一半。可是,虽然都是一半,若是是 YV12 的话效果就有很大损失。而后,通过 X264 编码后,数据量将大大减小。将编码后的数据打包,经过 RTP 实时传送。到达目的地后,将数据取出,进行解码。完成解码后,数据仍然是 YUV 格式的,因此,还须要一次转换,这样 windows 的驱动才能够处理,就是 YUV2RGB24。
YUY2 是 4:2:2 [Y0 U0 Y1 V0]
yuv420: yuv yuv yuv
YUV420P,Y,U,V 三个份量都是平面格式,分为 I420 和 YV12。I420 格式和 YV12 格式的不一样处在 U 平面和V 平面的位置不一样。在 I420 格式中,U 平面紧跟在 Y 平面以后,而后才是 V 平面(即:YUV);但 YV12 则是相反(即:YVU)。
YUV420SP, Y 份量平面格式,UV 打包格式, 即 NV12。 NV12 与 NV21 相似,U 和 V 交错排列,不一样在于 UV 顺序。
I420: YYYYYYYY UU VV =>YUV420P
YV12: YYYYYYYY VV UU =>YUV420P
NV12: YYYYYYYY UVUV =>YUV420SP
NV21: YYYYYYYY VUVU =>YUV420SP