在图像的世界里，一般使用RGB作为存储格式。而在视频的世界里，一般使用YUV作为压缩存储格式。有时候面试官会问：为什么视频使用YUV来压缩存储，而不用RGB？YUV与RGB有什么区别，两者如何转换的？常见的RGB格式有哪些，常见的YUV格式又有哪些？手机摄像头的预览格式是什么，如何转换为YUV420P的？我们带着这些问题，来揭开RGB与YUV格式的面纱。
目录
一、RGB格式
RGB是一种图像存储格式，也是三原色，取值范围[0, 255]。R代表Red红色，G代表Green绿色，B代表Blue蓝色。在openCV中，一般使用BGR格式。在图像中，一般使用32位色的ARGB(或RGBA)代表一个像素，其中A代表Alpha透明度。常见的RGB格式有RGB888、RGBA8888、RGB565等。
1、RGBA8888
关于RGBA8888格式，每个通道占8位，即一个字节。四个通道构成一个像素，总共占32位。排列顺序如下图所示：
2、RGB565
关于RGB565格式，其中R占5位，G占6位，B占5位。三个通道构成一个像素，总共占16位。排列顺序如下图所示：
3、图像的像素阵列
一张图像由宽x高的像素阵列构成，为了内存对齐，会使用stride来填充。如下图所示，由4x3构成的像素阵列，其中P代表pixel：
二、YUV格式
YUV是一种视频压缩存储格式。其中Y代表Luma亮度，U代表Chroma色度，V代表Contrast对比度。常见的YUV采样比例如下：
- 4:4:4 表示完全采样
- 4:2:2 表示水平2:1采样，垂直完全采样
- 4:2:0 表示水平2:1采样，垂直2:1采样
- 4:1:1 表示水平4:1采样，垂直完全采样
常见的YUV格式有：YUV420p、YUV420sp、NV21等。由于U和V分量都是Y分量的1/4，而RGB888的所有分量占比都是1。进一步可得，YUV整体占比是3/2，RGB整体占比是6/2，YUV所占存储空间比RGB少了3/2。因此，默认采用YUV作为视频压缩存储格式。
1、YUV420p
YUV420p属于平面存储，YUV分量占比为4:1:1，即每4个Y共享一组UV。先是Y分量，然后是U分量，最后是V分量。排列如下图所示：
2、YUV420sp
YUV420sp属于交错存储，YUV分量占比为4:1:1，即每4个Y共享一组UV。先是Y分量，然后是UV分量交错存储。排列如下图所示：
3、NV21
NV21属于交错存储，YUV分量占比为4:1:1，即每4个Y共享一组UV。Android手机摄像头预览数据默认是NV21格式。和YUV420sp的区别是，NV21是VUVU这样排列，如下图所示：
三、RGB与YUV转换
关于YUV与RGB的转换公式，可参考ITU标准：https://www.itu.int/rec/R-REC-BT.601。也可以参考维基百科：https://zh.wikipedia.org/wiki/YUV。咱们来看下转换公式：
以rgb转yuv为例，示例代码如下：
void rgb_to_yuv(int8_t *yuv, int *rgb, int width, int height) {
int rgbIndex = 0;
int yIndex = 0;
int uIndex = width * height;
int vIndex = width * height * 5 / 4;
int R, G, B;
float Y, U, V;
// 遍历图像，获取所有像素点
for (int i = 0; i < height; i++) {
for (int j = 0; j < width; j++) {
// 从像素点获取R、G、B分量
R = (rgb[rgbIndex] & 0xFF0000) >> 16;
G = (rgb[rgbIndex] & 0xFF00) >> 8;
B = (rgb[rgbIndex] & 0xFF);
// 使用公式把RGB转成YUV
Y = 0.299 * R + 0.587 * G + 0.114 * B;
U = -0.147 * R - 0.289 * G + 0.436 * B;
V = 0.615 * R - 0.515 * G - 0.100 * B;
// YUV分量赋值给yuv数组
yuv[yIndex++] = (int8_t)Y;
if (i % 2 == 0 && j % 2 == 0) {
yuv[uIndex++] = (int8_t) U;
yuv[vIndex++] = (int8_t) V;
}
rgbIndex++;
}
}
}四、NV21转换为YUV420p
由于NV21是交错存储，4个Y共享一组UV，而且是VUVU这样排列。所以，我们需要把偶数的V分量、奇数的U分量读出来，然后赋值给YUV420p。代码如下：
static void nv21_to_yuv420p(int8_t *dst, int8_t *src, int len) {
memcpy(dst, src, len); // y
for (int i = 0; i < len / 4; ++i) {
*(dst + len + i) = *(src + len + i * 2 + 1); // u
*(dst + len * 5 / 4 + i) = *(src + len + i * 2); // v
}
}五、YUV旋转
YUV的存储是有旋转角度的存在。在手机拍摄时，按照逆时针来看，横屏向左是0度，竖屏向下是90度，横屏向右是180度，竖屏向上是270度。既然有旋转角度，我们就需要对YUV进行旋转处理，代码如下：
static void yuv420p_rotate90(int8_t *dst, const int8_t *src, int width, int height) {
int n = 0;
int wh = width * height;
int half_width = width / 2;
int half_height = height / 2;
// y
for (int j = 0; j < width; j++) {
for (int i = height - 1; i >= 0; i--) {
dst[n++] = src[width * i + j];
}
}
// u
for (int i = 0; i < half_width; i++) {
for (int j = 1; j <= half_height; j++) {
dst[n++] = src[wh + ((half_height - j) * half_width + i)];
}
}
// v
for (int i = 0; i < half_width; i++) {
for (int j = 1; j <= half_height; j++) {
dst[n++] = src[wh + wh / 4 + ((half_height - j) * half_width + i)];
}
}
}
static void yuv420p_rotate180(int8_t *dst, const int8_t *src, int width, int height) {
int n = 0;
int half_width = width / 2;
int half_height = height / 2;
// y
for (int j = height - 1; j >= 0; j--) {
for (int i = width; i > 0; i--) {
dst[n++] = src[width * j + i - 1];
}
}
// u
int offset = width * height;
for (int j = half_height - 1; j >= 0; j--) {
for (int i = half_width; i > 0; i--) {
dst[n++] = src[offset + half_width * j + i - 1];
}
}
// v
offset += half_width * half_height;
for (int j = half_height - 1; j >= 0; j--) {
for (int i = half_width; i > 0; i--) {
dst[n++] = src[offset + half_width * j + i - 1];
}
}
}
static void yuv420p_rotate270(int8_t *dst, const int8_t *src, int width, int height) {
for (int j = 0; j < width; j++) {
for (int i = 1; i <= height; i++) {
*dst++ = *(src + i * width - j);
}
}
auto *src_u = const_cast<int8_t *>(src + width * height);
for (int j = 0; j < width / 2; j++) {
for (int i = 1; i <= height / 2; i++) {
*dst++ = *(src_u + i * width / 2 - j);
}
}
auto *src_v = const_cast<int8_t *>(src + width * height * 5 / 4);
for (int j = 0; j < width / 2; j++) {
for (int i = 1; i <= height / 2; i++) {
*dst++ = *(src_v + i * width / 2 - j);
}
}
}
static void yuv420p_rotate(int8_t *dst, int8_t *src, int width, int height, int degree) {
switch(degree) {
case 0:
memcpy(dst, src, width * height * 3 / 2);
break;
case 90:
yuv420p_rotate90(dst, src, width, height);
break;
case 180:
yuv420p_rotate180(dst, src, width, height);
break;
case 270:
yuv420p_rotate270(dst, src, width, height);
break;
default:
break;
}
}