H264视频压缩编码标准简介(一)

1. H.264/AVC编码器：

1）H264 编码器特点：

H264并不明确地规定一个编码器如何实现，而是规定了一个编码的视频比特流的句法，和该比特流的解码方法，各个厂家的编码器和解码器在此框架下应能够互通，在实现上具有较大灵活性，而且有利于相互竞争。

2）编码器：

a）编码器采用的仍是变换和预测的混合编码法。输入的帧或场Fn以宏块单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。

b）如果采用帧内预测编码，其预测值PRED（图中用P表示）是由当前片中前面已编码的参考图像经运动补偿（MC）后得出，其中参考图像用F’n-1表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来（指显示次序上）已编码解码重建和滤波的帧中进行选择。

c）预测值PRED和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变换系数，再经熵编码，与解码所需的一些变信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流。

d）正如上述，为了提高进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的Dn’与预测P相加，得到uFn’（未经滤波的帧）。为了去除编码解码环路中产生的噪声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出Fn’即重建图像可用作参考图像。

图1H.264编码器

3）H264解码器：

a）由图1可知，由编码器的NAL输出一个压缩后的H264压缩比特流。由图2，经熵解码得到量化后的一组变换系数X，再经反量化、反变换、得到残差Dn’。利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器中的原始PRED是相同的。当该解码器产生的PRED与残差Dn’相加后，就产生uFu’，在经滤波后，最后就得到滤波后的Fn’，这个Fn’就是最后的解码输出图像。

图2H.264解码器

2. H.264/AVC的结构：

1）名词解释

a) 场和帧

   视频的一场或一帧可用来产生一个编码图像。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。

b）宏块、片:  一个编码图像通常划分成若干宏块组成，一个宏块由一个16×16亮度像素和附加的一个8×8Cb和一个8×8Cr彩色像素块组成。每个图象中，若干宏块被排列成片的形式。

–I片只包含I宏块，P片可包含P和I宏块，而B片可包含B和I宏块。

–I宏块利用从当前片中已解码的像素作为参考进行帧内预测。

–P宏块利用前面已编码图象作为参考图象进行帧内预测，

–一个帧内编码的宏块可进一步作宏块的分割：即16×16、16×8、8×16或8×8亮度像素块（以及附带的彩色像素）；如果选了8×8的子宏块，则可再分成各种子宏块的分割，其尺寸为8×8、8×4、4×8或4×4亮度像素块（以及附带的彩色像素）。

–B宏块则利用双向的参考图象（当前和未来的已编码图象帧）进行帧内预测。。

2）档次和级

–H.264规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特定的应用。

–1）基本档次：利用I片和P片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进行的熵编码（CAVLC）。主要用于可视电话、会议电视、无线通信等实时视频通信；

–2）主要档次：支持隔行视频，采用B片的帧间编码和采用加权预测的帧内编码；支持利用基于上下文的自适应的算术编码（CABAC）。主要用于数字广播电视与数字视频存储；

–3）扩展档次：支持码流之间有效的切换（SP和SI片）、改进误码性能（数据分割），但不支持隔行视频和CABAC。主要用于网络的视频流，如视频点播

–图3为H.264各个档次具有的不同功能，可见扩展档次包括了基本档次的所有功能，而不能包括主要档次的。每一档次设置不同参数（如取样速率、图像尺寸、编码比特率等），得到编解码器性能不同的级。

图3H.264档次

3）编码数据格式

     –H.264支持4:2:0的逐行或隔行视频的编码和解码。

4)参考图像 

–可从一组前面或后面已编码图像中选出一个或两个与当前最匹配的图像作为帧间编码间的参数图像，

–H.264中最多可从15个参考图像中进行选择，选出最佳的匹配图像。

–对于P片中帧间编码宏块可从表“0”中选择参数图像；对于B片中的帧间编码宏块和宏块分割的预测，可从表“0”和“1”中选择参考图像。

5）片和片组  

–片

–一个视频图像可编码成一个或更多个片，每片包含整数个宏块（MB），即每片至少一个MB，最多时每片包含整个图像的宏块。

–设片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。某片的预测不能以其它片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其它片中去。

–编码片共有5种不同类型，I片、P片、B片外，还有SP片和SI片。其中SP（切换P）是用于不同编码流之间的切换。

图4 片的句法结构

–片组

   片组是一个编码图象中若干MB的一个子集，它可包含一个或若干个片。

–在一个片组中，每片的MB按光栅扫描次序被编码，如果每幅图象仅取一个片组，则该图象中所有的MB均按光栅扫描次序被编码。

–还有一种片组，叫灵活宏块次序（FMO），它可用灵活的方法，把编码MB序列映射到解码图象中MB的分配用MB到片组之间的映射来确定，它表示每一个MB属于哪个片组。表1为MB到片组的各种映射类型。

表1MB到片组的映射

转载自：https://blog.csdn.net/u013354805/article/details/51554444

1. H.264/AVC编码器：

1）H264 编码器特点：

H264并不明确地规定一个编码器如何实现，而是规定了一个编码的视频比特流的句法，和该比特流的解码方法，各个厂家的编码器和解码器在此框架下应能够互通，在实现上具有较大灵活性，而且有利于相互竞争。

2）编码器：

a）编码器采用的仍是变换和预测的混合编码法。输入的帧或场Fn以宏块单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。

b）如果采用帧内预测编码，其预测值PRED（图中用P表示）是由当前片中前面已编码的参考图像经运动补偿（MC）后得出，其中参考图像用F’n-1表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来（指显示次序上）已编码解码重建和滤波的帧中进行选择。

c）预测值PRED和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变换系数，再经熵编码，与解码所需的一些变信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流。

d）正如上述，为了提高进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的Dn’与预测P相加，得到uFn’（未经滤波的帧）。为了去除编码解码环路中产生的噪声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出Fn’即重建图像可用作参考图像。

图1H.264编码器

3）H264解码器：

a）由图1可知，由编码器的NAL输出一个压缩后的H264压缩比特流。由图2，经熵解码得到量化后的一组变换系数X，再经反量化、反变换、得到残差Dn’。利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器中的原始PRED是相同的。当该解码器产生的PRED与残差Dn’相加后，就产生uFu’，在经滤波后，最后就得到滤波后的Fn’，这个Fn’就是最后的解码输出图像。

图2H.264解码器

2. H.264/AVC的结构：

1）名词解释

a) 场和帧

   视频的一场或一帧可用来产生一个编码图像。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。

b）宏块、片:  一个编码图像通常划分成若干宏块组成，一个宏块由一个16×16亮度像素和附加的一个8×8Cb和一个8×8Cr彩色像素块组成。每个图象中，若干宏块被排列成片的形式。

–I片只包含I宏块，P片可包含P和I宏块，而B片可包含B和I宏块。

–I宏块利用从当前片中已解码的像素作为参考进行帧内预测。

–P宏块利用前面已编码图象作为参考图象进行帧内预测，

–一个帧内编码的宏块可进一步作宏块的分割：即16×16、16×8、8×16或8×8亮度像素块（以及附带的彩色像素）；如果选了8×8的子宏块，则可再分成各种子宏块的分割，其尺寸为8×8、8×4、4×8或4×4亮度像素块（以及附带的彩色像素）。

–B宏块则利用双向的参考图象（当前和未来的已编码图象帧）进行帧内预测。。

2）档次和级

–H.264规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特定的应用。

–1）基本档次：利用I片和P片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进行的熵编码（CAVLC）。主要用于可视电话、会议电视、无线通信等实时视频通信；

–2）主要档次：支持隔行视频，采用B片的帧间编码和采用加权预测的帧内编码；支持利用基于上下文的自适应的算术编码（CABAC）。主要用于数字广播电视与数字视频存储；

–3）扩展档次：支持码流之间有效的切换（SP和SI片）、改进误码性能（数据分割），但不支持隔行视频和CABAC。主要用于网络的视频流，如视频点播

–图3为H.264各个档次具有的不同功能，可见扩展档次包括了基本档次的所有功能，而不能包括主要档次的。每一档次设置不同参数（如取样速率、图像尺寸、编码比特率等），得到编解码器性能不同的级。

图3H.264档次

3）编码数据格式

     –H.264支持4:2:0的逐行或隔行视频的编码和解码。

4)参考图像 

–可从一组前面或后面已编码图像中选出一个或两个与当前最匹配的图像作为帧间编码间的参数图像，

–H.264中最多可从15个参考图像中进行选择，选出最佳的匹配图像。

–对于P片中帧间编码宏块可从表“0”中选择参数图像；对于B片中的帧间编码宏块和宏块分割的预测，可从表“0”和“1”中选择参考图像。

5）片和片组  

–片

–一个视频图像可编码成一个或更多个片，每片包含整数个宏块（MB），即每片至少一个MB，最多时每片包含整个图像的宏块。

–设片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。某片的预测不能以其它片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其它片中去。

–编码片共有5种不同类型，I片、P片、B片外，还有SP片和SI片。其中SP（切换P）是用于不同编码流之间的切换。

图4 片的句法结构

–片组

   片组是一个编码图象中若干MB的一个子集，它可包含一个或若干个片。

–在一个片组中，每片的MB按光栅扫描次序被编码，如果每幅图象仅取一个片组，则该图象中所有的MB均按光栅扫描次序被编码。

–还有一种片组，叫灵活宏块次序（FMO），它可用灵活的方法，把编码MB序列映射到解码图象中MB的分配用MB到片组之间的映射来确定，它表示每一个MB属于哪个片组。表1为MB到片组的各种映射类型。

表1MB到片组的映射

转载自：https://blog.csdn.net/u013354805/article/details/51554444