Reprinted from: http://www.cnblogs.com/azraelly/archive/2013/01/01/2841269.html
Author: azraelly
from: unknown (everyone seems to be reprinting)
Author: unknown
There are two main categories of YUV formats: planar and packed.
For the planar YUV format, the Y of all pixels is stored consecutively, followed by the U of all pixels, followed by the V of all pixels.
For the packed YUV format, the Y, U, V of each pixel are stored continuously.
YUV, divided into three components, "Y" represents the brightness (Luminance or Luma), which is the gray value; and "U" and "V" represent the chroma (Chrominance or Chroma), which is used to describe the image. Hue and Saturation, used to specify the color of the pixel.
Similar to the well-known RGB, YUV is also a color coding method, which is mainly used in TV systems and analog video fields. It separates luminance information (Y) from color information (UV), and can display a complete image without UV information. It's just black and white, and this design solves the problem of compatibility between color TVs and black and white TVs. Moreover, YUV does not require three independent video signals to be transmitted at the same time like RGB, so transmission in YUV takes up very little bandwidth.
The storage format of the YUV code stream is actually closely related to its sampling method. There are three mainstream sampling methods, YUV4:4:4, YUV4:2:2, YUV4:2:0. For its detailed principle, you can learn about other articles on the Internet. , what I want to emphasize here is how to restore the YUV value of each pixel from the code stream according to its sampling format, because only by correctly restoring the YUV value of each pixel can it be extracted through the conversion formula between YUV and RGB The RGB value of each pixel is then displayed.
Use three diagrams to visually represent the acquisition method. The black dot represents the Y component of the pixel that is sampled, and the hollow circle represents the UV component of the pixel.
Remember the following paragraph first, which will be used later to extract the YUV component of each pixel.
- YUV 4:4:4 sampling, each Y corresponds to a set of UV components.
- YUV 4:2:2 sampling, each two Y shares a set of UV components.
- YUV 4:2:0 sampling, each four Y shares a set of UV components.
2. Storage method
Below I give the common storage method of YUV code stream in the form of a picture, and append the method of sampling the YUV data of each pixel point after the storage method, among which, the meanings of Cb and Cr are equivalent to U and V.
(1) YUVY format (belonging to YUV422)
YU12 and YV12 belong to the YUV420 format, which is also a Plane mode. The Y, U, and V components are packaged separately and stored in sequence. The YUV data extraction of each pixel follows the extraction method of the YUV420 format, that is, the four Y components share a set of UVs. Note that in the above figure, Y'00, Y'01, Y'10, and Y'11 share Cr00 and Cb00, and so on.
(5) NV12, NV21 (belonging to YUV420)
NV12和NV21属于YUV420格式，是一种two-plane模式，即Y和UV分为两个Plane，但是UV（CbCr）为交错存储，而不是分为三个plane。其提取方式与上一种类似，即Y'00、Y'01、Y'10、Y'11共用Cr00、Cb00
YUV420 planar数据， 以720×488大小图象YUV420 planar为例，
其存储格式是： 共大小为(720×480×3>>1)字节，
分为三个部分:Y,U和V
Y分量： (720×480)个字节
U(Cb)分量：(720×480>>2)个字节
V(Cr)分量：(720×480>>2)个字节
三个部分内部均是行优先存储，三个部分之间是Y,U,V 顺序存储。
即YUV数据的0－－720×480字节是Y分量值，
720×480－－720×480×5/4字节是U分量
720×480×5/4 －－720×480×3/2字节是V分量。
4 ：2： 2 和4：2：0 转换：
最简单的方式：
YUV4:2:2 ---> YUV4:2:0 Y不变，将U和V信号值在行(垂直方向)在进行一次隔行抽样。 YUV4:2:0 ---> YUV4:2:2 Y不变，将U和V信号值的每一行分别拷贝一份形成连续两行数据。
在YUV420中，一个像素点对应一个Y，一个4X4的小方块对应一个U和V。对于所有YUV420图像，它们的Y值排列是完全相同的，因为只有Y的图像就是灰度图像。YUV420sp与YUV420p的数据格式它们的UV排列在原理上是完全不同的。420p它是先把U存放完后，再存放V，也就是说UV它们是连续的。而420sp它是UV、UV这样交替存放的。(见下图) 有了上面的理论，我就可以准确的计算出一个YUV420在内存中存放的大小。 width * hight =Y（总和） U = Y / 4 V = Y / 4
所以YUV420 数据在内存中的长度是 width * hight * 3 / 2，
假设一个分辨率为8X4的YUV图像，它们的格式如下图：
YUV420sp格式如下图
YUV420p数据格式如下图
旋转90度的算法:
public static void rotateYUV240SP(byte[] src,byte[] des,int width,int height)
{
int wh = width * height;
//旋转Y
int k = 0;
for(int i=0;i<width;i++) {
for(int j=0;j<height;j++)
{
des[k] = src[width*j + i];
k++;
}
}
for(int i=0;i<width;i+=2) {
for(int j=0;j<height/2;j++)
{
des[k] = src[wh+ width*j + i];
des[k+1]=src[wh + width*j + i+1];
k+=2;
}
}
}
YV12和I420的区别 一般来说，直接采集到的视频数据是RGB24的格式，RGB24一帧的大小size＝width×heigth×3 Bit，RGB32的size＝width×heigth×4，如果是I420（即YUV标准格式4：2：0）的数据量是 size＝width×heigth×1.5 Bit。 在采集到RGB24数据后，需要对这个格式的数据进行第一次压缩。即将图像的颜色空间由RGB2YUV。因为，X264在进行编码的时候需要标准的YUV（4：2：0）。但是这里需要注意的是，虽然YV12也是（4：2：0），但是YV12和I420的却是不同的，在存储空间上面有些区别。如下： YV12 ： 亮度（行×列） ＋ U（行×列/4) + V（行×列/4）
I420 ： 亮度（行×列） ＋ V（行×列/4) + U（行×列/4）
可以看出，YV12和I420基本上是一样的，就是UV的顺序不同。
继续我们的话题，经过第一次数据压缩后RGB24－>YUV（I420）。这样，数据量将减少一半，为什么呢？呵呵，这个就太基础了，我就不多写了。同样，如果是RGB24－>YUV（YV12），也是减少一半。但是，虽然都是一半，如果是YV12的话效果就有很大损失。然后，经过X264编码后，数据量将大大减少。将编码后的数据打包，通过RTP实时传送。到达目的地后，将数据取出，进行解码。完成解码后，数据仍然是YUV格式的，所以，还需要一次转换，这样windows的驱动才可以处理，就是YUV2RGB24。
YUY2 是 4:2:2 [Y0 U0 Y1 V0]
YUV420P，Y，U，V三个分量都是平面格式，分为I420和YV12。I420格式和YV12格式的不同处在U平面和V平面的位置不同。在I420格式中，U平面紧跟在Y平面之后，然后才是V平面（即：YUV）；但YV12则是相反（即：YVU）。
YUV420SP, Y分量平面格式，UV打包格式, 即NV12。 NV12与NV21类似，U 和 V 交错排列,不同在于UV顺序。
I420: YYYYYYYY UU VV =>YUV420P
YV12: YYYYYYYY VV UU =>YUV420P
NV12: YYYYYYYY UVUV =>YUV420SP
NV21: YYYYYYYY VUVU =>YUV420SP
YUV是指亮度参量和色度参量分开表示的像素格式，而这样分开的好处就是不但可以避免相互干扰，还可以降低色度的采样率而不会对图像质量影响太大。YUV是一个比较笼统地说法，针对它的具体排列方式，可以分为很多种具体的格式。
YUV格式解析1（播放器——project2）
YUV 的优点之一是，色度频道的采样率可比 Y 频道低，同时不会明显降低视觉质量。有一种表示法可用来描述 U 和 V 与 Y 的采样频率比例，这个表示法称为 A:B:C 表示法：
| ? | 4:4:4 表示色度频道没有下采样。 |
| ? | 4:2:2 表示 2:1 的水平下采样，没有垂直下采样。对于每两个 U 样例或 V 样例，每个扫描行都包含四个 Y 样例。 |
| ? | 4:2:0 表示 2:1 的水平下采样，2:1 的垂直下采样。 |
| ? | 4:1:1 表示 4:1 的水平下采样，没有垂直下采样。对于每个 U 样例或 V 样例，每个扫描行都包含四个 Y 样例。与其他格式相比，4:1:1 采样不太常用，本文不对其进行详细讨论。 |
图 1 显示了 4:4:4 图片中使用的采样网格。灯光样例用叉来表示，色度样例则用圈表示。
4:2:2 采样的这种主要形式在 ITU-R Recommendation BT.601 中进行了定义。图 2 显示了此标准定义的采样网格。
4:2:0 采样有两种常见的变化形式。其中一种形式用于 MPEG-2 视频，另一种形式用于 MPEG-1 以及 ITU-T recommendations H.261 和 H.263。图 3 显示了 MPEG-1 方案中使用的采样网格，图 4 显示了 MPEG-2 方案中使用的采样网格。
与 MPEG-1 方案相比，在 MPEG-2 方案与为 4:2:2 和 4:4:4 格式定义的采样网格之间进行转换更简单一些。因此，在 Windows 中首选 MPEG-2 方案，应该考虑将其作为 4:2:0 格式的默认转换方案。
表面定义本节讲述推荐用于视频呈现的 8 位 YUV 格式。这些格式可以分为几个类别：
| ? | 4:4:4 格式，每像素 32 位 |
| ? | 4:2:2 格式，每像素 16 位 |
| ? | 4:2:0 格式，每像素 16 位 |
| ? | 4:2:0 格式，每像素 12 位 |
首先，您应该理解下列概念，这样才能理解接下来的内容：
| ? | 表面原点。对于本文讲述的 YUV 格式，原点 (0,0) 总是位于表面的左上角。 |
| ? | 跨距。表面的跨距，有时也称为间距，指的是表面的宽度，以字节数表示。对于一个表面原点位于左上角的表面来说，跨距总是正数。 |
| ? | 对齐。表面的对齐是根据图形显示驱动程序的不同而定的。表面始终应该 DWORD 对齐，就是说，表面中的各个行肯定都是从 32 位 (DWORD) 边界开始的。对齐可以大于 32 位，但具体取决于硬件的需求。 |
| ? | 打包格式与平面格式。YUV 格式可以分为打包 格式和平面 格式。在打包格式中，Y、U 和 V 组件存储在一个数组中。像素被组织到了一些巨像素组中，巨像素组的布局取决于格式。在平面格式中，Y、U 和 V 组件作为三个单独的平面进行存储。 |
4:4:4 格式，每像素 32 位
推荐一个 4:4:4 格式，FOURCC 码为 AYUV。这是一个打包格式，其中每个像素都被编码为四个连续字节，其组织顺序如下所示。
标记了 A 的字节包含 alpha 的值。
4:2:2 格式，每像素 16 位
支持两个 4:2:2 格式，FOURCC 码如下：
| ? | YUY2 |
| ? | UYVY |
两个都是打包格式，其中每个巨像素都是编码为四个连续字节的两个像素。这样会使得色度水平下采样乘以系数 2。
YUY2
在 YUY2 格式中，数据可被视为一个不带正负号的 char 值组成的数组，其中第一个字节包含第一个 Y 样例，第二个字节包含第一个 U (Cb) 样例，第三个字节包含第二个 Y 样例，第四个字节包含第一个 V (Cr) 样例，如图 6 所示。
如果该图像被看作由两个 little-endian WORD 值组成的数组，则第一个 WORD 在最低有效位 (LSB) 中包含 Y0，在最高有效位 (MSB) 中包含 U。第二个 WORD 在 LSB 中包含 Y1，在 MSB 中包含 V。
YUY2 是用于 Microsoft DirectX? Video Acceleration (DirectX VA) 的首选 4:2:2 像素格式。预期它会成为支持 4:2:2 视频的 DirectX VA 加速器的中期要求。
UYVY
此格式与 YUY2 相同，只是字节顺序是与之相反的 — 就是说，色度字节和灯光字节是翻转的（图 7）。如果该图像被看作由两个 little-endian WORD 值组成的数组，则第一个 WORD 在 LSB 中包含 U，在 MSB 中包含 Y0，第二个 WORD 在 LSB 中包含 V，在 MSB 中包含 Y1。
4:2:0 格式，每像素 16 位
推荐两个 4:2:0 每像素 16 位格式，FOURCC 码如下：
| ? | IMC1 |
| ? | IMC3 |
两个 FOURCC 码都是平面格式。色度频道在水平方向和垂直方向上都要以系数 2 来进行再次采样。
IMC1
所有 Y 样例都会作为不带正负号的 char 值组成的数组首先显示在内存中。后面跟着所有 V (Cr) 样例，然后是所有 U (Cb) 样例。V 和 U 平面与 Y 平面具有相同的跨距，从而生成如图 8 所示的内存的未使用区域。
IMC3
此格式与 IMC1 相同，只是 U 和 V 平面进行了交换：
4:2:0 格式，每像素 12 位
推荐四个 4:2:0 每像素 12 位格式，FOURCC 码如下：
| ? | IMC2 |
| ? | IMC4 |
| ? | YV12 |
| ? | NV12 |
在所有这些格式中，色度频道在水平方向和垂直方向上都要以系数 2 来进行再次采样。
IMC2
此格式与 IMC1 相同，只是 V (Cr) 和 U (Cb) 行在半跨距边界处进行了交错。换句话说，就是色度区域中的每个完整跨距行都以一行 V 样例开始，然后是一行在下一个半跨距边界处开始的 U 样例（图 10）。此布局与 IMC1 相比，能够更加高效地利用地址空间。它的色度地址空间缩小了一半，因此整体地址空间缩小了 25%。在各个 4:2:0 格式中，IMC2 是第二首选格式，排在 NV12 之后。
IMC4
此格式与 IMC2 相同，只是 U (Cb) 和 V (Cr) 行进行了交换：
YV12
所有 Y 样例都会作为不带正负号的 char 值组成的数组首先显示在内存中。此数组后面紧接着所有 V (Cr) 样例。V 平面的跨距为 Y 平面跨距的一半，V 平面包含的行为 Y 平面包含行的一半。V 平面后面紧接着所有 U (Cb) 样例，它的跨距和行数与 V 平面相同（图 12）。
NV12
所有 Y 样例都会作为由不带正负号的 char 值组成的数组首先显示在内存中，并且行数为偶数。Y 平面后面紧接着一个由不带正负号的 char 值组成的数组，其中包含了打包的 U (Cb) 和 V (Cr) 样例，如图 13 所示。当组合的 U-V 数组被视为一个由 little-endian WORD 值组成的数组时，LSB 包含 U 值，MSB 包含 V 值。NV12 是用于 DirectX VA 的首选 4:2:0 像素格式。预期它会成为支持 4:2:0 视频的 DirectX VA 加速器的中期要求。
YUV格式解析2
每秒25帧，每帧两场，扫描线（包括电视机的电子束）自上而下先扫描一场，然后再自上而下扫描第二场
之所以引入场的概念，我的理解是主要为了在有限的带宽和成本内使画面运动更加平滑和消除闪烁感。
这两个场的扫描线是一条一条互相间隔开的，比如说对于一个帧来讲，最上面一条线编号为0，紧挨着的是1，再下来是2，3，4，5，6。。。。那么第一场也许是0，2，4，6；也许是1，3，5，7——这就是隔行扫描
在逐行扫描模式下，就是扫描线按照0，1，2，3，4，5的顺序依次扫描，很明显，这时候就不存在场的概念了。
4:4:4采样就是说三种元素Y,Cb,Cr有同样的分辨率,这样的话,在每一个像素点上都对这三种元素进行采样.数字4是指在水平方向上对于各种元素的采样率,比如说,每四个亮度采样点就有四个Cb的Cr采样值.4:4:4采样完整地保留了所有的信息值.4:2:2采样中(有时记为YUY2),色度元素在纵向与亮度值有同样的分辨率,而在横向则是亮度分辨率的一半(4:2:2表示每四个亮度值就有两个Cb和Cr采样.)4:2:2视频用来构造高品质的视频彩色信号.
在流行的4:2:0采样格式中(常记为YV12)Cb和Cr在水平和垂直方向上有Y分辨率的一半.4:2:0有些不同，因为它并不是指在实际采样中使用4:2:0，而是在编码史中定义这种编码方法是用来区别于4:4:4和4:2:2方法的).4:2:0采样被广泛地应用于消费应用中，比如视频会议，数字电视和DVD存储中。因为每个颜色差别元素中包含了四分之一的Y采样元素量，那么4:2:0YCbCr视频需要刚好4: 4:4或RGB视频中采样量的一半。
4:2:0采样有时被描述是一个"每像素12位"的方法。这么说的原因可以从对四个像素的采样中看出. 使用4:4:4采样，一共要进行12次采样，对每一个Y,Cb和Cr，就需要12*8=96位，平均下来要96/4=24位。使用4:2:0就需要6*8 =48位，平均每个像素48/4=12位。
在一个4:2:0隔行扫描的视频序列中，对应于一个完整的视频帧的Y,Cb,Cr采样分配到两个场中。可以得到，隔行扫描的总采样数跟渐进式扫描中使用的采样数目是相同的。
各种格式的具体使用位数的需求（使用4:2:0采样，对于每个元素用8个位大小表示)：
格式： Sub-QCIF 亮度分辨率： 128*96 每帧使用的位: 147456
格式： QCIF 亮度分辨率： 176*144 每帧使用的位: 304128
格式： CIF 亮度分辨率： 352*288 每帧使用的位: 1216512
格式： 4CIF 亮度分辨率： 704*576 每帧使用的位: 4866048