视频技术基础

视频技术基础与演进

基础概念

色彩空间

1. RGB
   红绿蓝，RGB24就是常见的用24位，每个用0～255表示。 RGB32就是加上Alpha通道，好像就是透明值。
2. YCbCR/YUV
   解决黑白电视不能接收彩色信号问题。Y是亮度，U、V是色彩。

视频

即图像叠加

帧

I帧 关键帧，参考帧。压缩效率低，无需参考其他图像，可作为参考图像。
P帧 前向预测帧，依赖前面的帧，可作为参考图像
B帧 双向预测，依赖前、后的帧，不能作为参考图像

图像编码

不压缩文件会很大，所以需要编码压缩。

1. 空间冗余，相邻点相近或相同，有空间相关性
2. 时间冗余，同一位置相邻帧之间相近或相同
3. 结构，有纹理结构？感觉像空间冗余
4. 知识，利用先验知识
5. 视觉冗余，人眼对高频信号不敏感；对亮度比色度敏感

编码格式

1. png，无损压缩，压缩效率较低
2. jpeg，有损压缩，不支持透明图片
3. Bitmap，无损，压缩效率低
4. Webp，耗时久

jpeg压缩

1. RGB转YUV，人眼对亮度信息敏感度高于色度信息，专成YUV后，将YUV444转为YUV420，即4个Y共用一组UV。压缩了UV信息
2. DCT，离散余弦变换。把88的YUV各值矩阵转换为88的表示频率的矩阵（离散余弦变换具有很强的"能量集中"特性：大多数的自然信号（包括声音和图像）的能量都集中在离散余弦变换后的低频部分），这个矩阵左上角是低频数据，右下角是高频数据。（高频是指变化剧烈的地方，如边缘、轮廓
3. 量化。
   1. 稀疏矩阵能高效压缩
   2. 量化舍弃不敏感数据，把矩阵转为稀疏矩阵。
   3. 做法：对应位置除以量化表的对应值。
   4. 在jpeg中，量化是规定好的，据说是大量试验得出的。像尼康、佳能等厂商都有自己的量化表，量化表区别就是对不同频率数据的压缩程度不同。
      

Webp压缩

压缩大小只有jpeg的2/3
相比jpeg，加了帧内预测和分块。

1. 分块在亮度用16*16了，uv还是8*8，因为现在图片大了，空间相关性需要用更大的块才能体现出来，所以更大了。HEVC可以动态调整这个分块大小，根据图像大小决定。
2. 帧内预测，帧帧内利用已经编码的块对当前编码块进行预测，找到最优模式。