YUV和RGB的相互转换实验

1、彩色空间转换基本原理

1)彩色空间转换公式:

为了实现格式转换,我们首先要明确待转换格式和目标格式的特点和相互转换关系,这是编程实现转换的核心。对于RGB转YUV的过程,我们要首先拿到RGB文件的数据,再通过上图的YUV计算公式对其做运算,得到YUV数据,从而实现转换。而对于YUV转RGB则要首先获得YUV数据,用第二组RGB公式计算得到RGB数据。 在本实验中,转换公式如下。

Y = 0.298R + 0.612G + 0.117B;
 
U = -0.168R - 0.330G + 0.498B + 128;
 
V = 0.449R - 0.435G - 0.083B + 128;
 
R = Y + 1.4075( V - 128);
 
G = Y - 0.3455( U - 128) - 0.7169( V - 128);
 
B = Y + 1.779( U - 128);

       其中,计算UV分量时+128是因为UV分量有负值,加上128刚好可以将变化范围调整为0—255。所以在做YUV转RGB时,要特别注意,给UV分量减去128才能代入去乘转换系数。

2)了解两种格式的存储方式:

       RGB存储方式:RGB三个分量按照B、G、R的顺序储存。(4:4:4)

YUV存储方式:先存Y再存UV分量。(4:2:0)

3)初始化参数。

指向输入、输出文件的指针:FILE * rgbfile,FILE * yuvfile;

文件的相关信息:宽framewidth, 高frameheight;

指向所开辟空间的指针:unsigned char型,yuv_Buf,rgb_Buf;

注:根据YUV和RGB存储方式的特点,申请空间时RGB和YUV采用不同的方法。存储RGB只开一块完整的空间,用一个buffer;而YUV三个分量各自分开储存,尽管在内存中也是一维的数据流,但是为了方便计算和指针操作,三个分量分别用三个buffer,开三块空间存储。

本文福利, C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓

2、实验流程分析

RGB2YUV:首先,主函数中,打开待转换的RGB文件fopen,读出其中的数据,即将数据写到rgb_Buf空间中;其次,进入转换函数,对rgb_Buf空间的数据进行计算处理(y_buffer指向yuv_Buf,u_buffer & v_buffer各自开辟空间),y的计算结果写入y_buffer(yuv_Buf),UV分量计算结果存在u_buffer和v_buffer;然后,将UVbuffer中的UV分量进行下采样(YUV4:2:0),将结果存入目标空间sub_u_buf,sub_v_buf(出口:u_out,v_out),释放掉转换函数中开辟的空间;最后,回到主函数,将结果写出到目标文件中去fwrite,释放掉所开空间。

YUV2RGB:首先,主函数中,打开YUV文件,读出其中的数据,将数据写到yuv_Buf中;其次,对yuv_Buf的数据进行上采样,即,Y不动,将UV分量补全存入up_yuv_buf所开空间(将一个像素点的uv值赋给对应点及右、下、右下点);最后,对yuv_Buf,up_yuv_buf中的YUV数据进行计算,还原出RGB数据,存入rgb_Buf,释放掉转换函数中开辟的空间;最后,将结果输出到目标文件,释放掉所开空间。

检验:第一步,将RGB素材转换得到YUV1,用yuv播放器看是否正确;第二步,再将得到的YUV1转回RGB格式,并再次将RGB转YUV2,若YUV2和此前得到的YUV1完全一致,则YUV2RGB转换无误;否则,应就问题再做修改和调试。

3、关键代码及其分析

1)YUV2RGB过程UV上采样部分

在转换函数中开辟一块空间up_yuv_buf,空间大小为2*size刚好存放UV分量。psu1、psu2指针指向空间中存U分量部分的奇偶两行,pu指向原空间中U分量所在位置。psv指针同u。一次循环中,利用指针对UV分量各自的奇偶两行同时赋值,随后各自加1,再次赋值,实现四个像素点取同样的值,即,上采样。

for (i = 0; i < y_dim / 2; i++)
	{
		psu1 = up_yuv_buf + 2 * i * x_dim;  //U偶数行指针
		psu2 = up_yuv_buf + (2 * i + 1) * x_dim;  //U奇数行指针
		psv1 = up_yuv_buf + size + 2 * i * x_dim;   //V偶数行指针
		psv2 = up_yuv_buf + size + (2 * i + 1) * x_dim;  //V奇数行指针
		pu = u_buf + i * x_dim / 2;
		pv = v_buf + i * x_dim / 2;
		for (j = 0; j < x_dim / 2; j++)
		{
			*psu1 = *pu; *psu2 = *pu;     //奇数偶数行第一次像素点赋值,UV同时
			*psv1 = *pv; *psv2 = *pv;     
			psu1++; psu2++;
			psv1++; psv2++;
			*psu1 = *pu; *psu2 = *pu;     //奇数偶数行第二次像素点赋值,UV同时
			*psv1 = *pv; *psv2 = *pv;
			psu1++; psu2++;
			psv1++; psv2++;
			pu++; pv++;
		}
	}

1)YUV2RGB过程计算RGB部分
   防溢出:此处定义了三个float变量:tmpr,tmpg,tmpb分别暂存计算得到的float型rgb数值,然后判断,如果数值大于225,令其等于225;如果小于0,令其等于0。随后再将变量赋给r/g/b指针指向的位置。这一步非常重要,float型16位,unsigned char型8位,计算得到的数值在强制类型转换时很可能溢出,导致的结果是图像上明显可见数值溢出的点,小于0的是红色点,大于255的是蓝色点。

for (i = 0; i < y_dim; i++)
{
	for(j=0;j<x_dim;j++)
	{
		g = b + 1;
		r = b + 2;
		tmpr=*y + RGBYUV1402[*v];
		tmpg=*y - RGBYUV0344[*u] - RGBYUV0714[*v];
		tmpb=*y + RGBYUV1772[*u];
		//To prevent overflow
		tmpr=tmpr>255?255:(tmpr<0?0:tmpr);
		tmpg=tmpg>255?255:(tmpg<0?0:tmpg);
		tmpb=tmpb>255?255:(tmpb<0?0:tmpb);
		*r=(unsigned char)tmpr;
		*g=(unsigned char)tmpg;
		*b=(unsigned char)tmpb;
		y ++;
		u ++;
		v ++;
		b += 3;
	}
}

4、实验结果及分析

(为了方便查找错误,找到一个既能播放RGB也能播放YUV的播放器,分享:http://wwww.236.6122.net/uploadFile/2013/vooya.rar)

结果1:YUV文件为灰色,无图像。像素点YUV(204,127,127)

         原因:在函数内,给rgb_buffer又开了一次空间。rgb_buffer本身已经指向出口rgb_out,已经指向了主函数中为目标开的空间rgb_Buf,所以在函数内没必要再开空间,加一条开空间的代码反而会导致计算得到的数值都给了后开的空间,从而无法写入真正的目标空间。由于目标空间是空的,写入文件时RGB的值都是默认值,转换回YUV后就是初始值(204,127,127)。

rgb_buffer = (unsigned char *)rgb_out;
	
//rgb_buffer = (unsigned char *)malloc(3 * size * sizeof(unsigned char));//已经指向函数出口,即一段空间,这里不用再开空间,反而造成无法将数据写出到指定空间
up_yuv_buf = (unsigned char *)malloc(2 * size * sizeof(unsigned char));

结果2:YUV文件为灰色,有模糊图像。以及修复后为紫色,检查rgb文件也为紫色,有模糊图像。

原因:当时在上采样时,给up_yuv_buf开了存放YUV三个分量的空间,并且将Y进行了搬移,搬移过程中指针的初始定位语句放在了循环内,导致每一行都是第一行的Y分量数值,所以只有第一行是正常的结果。将播放器放大两倍发现第一行是正确的,所以确定是指针的问题,检查代码果然是搬移时出错,修改后可以得到图像。而图像呈紫色是因为如下所示代码中,i没有减去128,而是在上面数组调用时写作: RGBYUV1402[*v-128];

本文福利, C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓

注:这个数组的定义只从0-155,先减掉128必然会有数值小于0的问题出现,导致图像出错。正确做法应该在下面的函数中减去128。

void InitLookupTable()
{
	int i;
 
	for (i = 0; i < 256; i++) RGBYUV1402[i] = (float)(1.402 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV0344[i] = (float)(0.34414 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV0714[i] = (float)(0.71414 * (i-128));
	for (i = 0; i < 256; i++) RGBYUV1772[i] = (float)(1.772 * (i-128));
	
}

结果三:rgb文件上有蓝色红色点,yuv文件上相反。

原因:上文提到的没有对计算得到的RGB数值进行判断,导致强制类型转换成unsigned char之后数据溢出了,从而导致图像上某些点变成红色和蓝色。

for (i = 0; i < y_dim; i++)
	{
		for(j=0;j255?255:(tmpr<0?0:tmpr);
			tmpg=tmpg>255?255:(tmpg<0?0:tmpg);
			tmpb=tmpb>255?255:(tmpb<0?0:tmpb);
			*r=(unsigned char)tmpr;
			*g=(unsigned char)tmpg;
			*b=(unsigned char)tmpb;
			y ++;
			u ++;
			v ++;
			b += 3;
		}
	}

结果四:

       另外附上三个其他yuv文件的转换结果:我们可以发现,YUV转RGB的过程中,颜色发生了十分明显的改变,蓝色系会偏红,红色系会偏蓝。这种变化在最后一幅图的红色袖子上体现的相当明显。

 

 本文福利, C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击领取↓↓

猜你喜欢

转载自blog.csdn.net/m0_60259116/article/details/126410158