概述
目前，H.264视频压缩编码方式仍在视频压缩领域有一席之地，所熟知的MPEG-4 AVC与MPEG-4 Part 10方式，均指H.264。其主要编码过程以去除各种冗余信息为目的，包含数据变换、基于运动补偿的帧间预测、熵编码和量化过程。
本实验通过使用软件对一个mp4文件进行码流信息查看，并分析其基本信息、帧信息等参数，并对其比例与概率等参数进行绘制分析，以熟悉文件的结构与编码方式。
所用软件：H264Visa、Elecard StreamEye Tools。
实验步骤
一、打开文件
使用H264Visa软件，打开一个h264编码的mp4文件后，可看到软件出现了四个信息窗口：
-
Summary
显示文件整体的信息。
图中即为对整个文件的码流进行信息读取，可以看到此码流的profile类型（与之后SPS中的信息对应，可见后文）、视频格式等信息。 -
Header Info
显示当前文件信息的数值。其中提取的重要信息包含SPS、PPS等信息。
-
MB Info 和 Pixel Info
两窗口分别显示当前选取的宏块的信息以及宏块内所有像素的信息。
因目前刚刚打开文件，其所在位置为mp4的文件信息头，未读取任何帧信息，故对画面内的相关数据还为空。
二、文件信息分析
1、SPS信息
SPS信息即SPS即Sequence Paramater Set，又称作序列参数集。SPS中保存了一组编码视频序列(Coded Video Sequence)的全局参数。
通过其中的参数可求得文件图像序列的信息。重要参数包括：
-
profile_idc
标识当前码流的profile。H264的profile参数定义包含Baseline、Main、Extended 和 High 等档次，直观影响的是GOP内IPB帧的比例关系。profile_idc 所对应的档次如下：
此实验中可看到对应值为100，即本视频所用的 profile 为 High。 -
constraint_set[%d]_flag
此字段一般有多个，是对视频序列的码流编码档次方面增加限制性条件的参数。 -
level_idc
标识当前码流的level。其level参数的真值为level_idc/10，对应下表。
可见此实验文件中level的值为3.1。 -
log2_max_frame_num_minus4
用于计算MaxFrameNum的值。计算公式为MaxFrameNum = 2(log2_max_frame_num_minus4 +4)。MaxFrameNum的物理含义是frame_num的上限值，frame_num是图像序号的一种表示方法，在帧间编码中常用作一种参考帧标记的手段。
此文件中的 MaxFrameNum 值为 26 = 64。 -
pic_order_cnt_type
表示解码picture order count(POC)的方法，取值空间为 0、1 或 2。 -
gaps_in_frame_num_value_allowed_flag
标识位，说明frame_num中是否允许不连续的值。 -
pic_width_in_mbs_minus1
用于计算图像的宽度，单位为宏块个数。
因序列使用宏块为16×16，故其图像宽度公式为
frame_width = 16 × (pic_width_in_mbs_minus1 + 1) -
pic_height_in_map_units_minus1
用于计算图像的高度，单位为宏块个数，公式为
frame_height = 16 × (pic_height_in_map_units_minus1 + 1)
至此，使用 pic_width_in_mbs_minus1和 pic_height_in_map_units_minus1可直接得到图像分辨率：
frame_width = 16 × (pic_width_in_mbs_minus1 + 1) = 640
frame_height = 16 × (pic_height_in_map_units_minus1 + 1) = 368
故图像分辨率为640×368。
使用VLC打开文件，发现确实为此分辨率。
- frame_mbs_only_flag
标识位，说明宏块的编码方式。等于0时表示本序列中所有图像的编码模式都是帧，等于1时表示本序列中的编码模式可能是帧或场或帧场自适应。 - direct_8x8_inference_flag
标识运动向量的预测方法，frame_mbs_only_flag为0时此处则应为1。 - frame_cropping_flag
标识是否需要对输出图像进行裁剪，要裁剪（=1）时需要再声明裁剪的边缘位置frame_cropping_rect_left_offset，frame_cropping_rect_right_offset，frame_cropping_rect_top_offset，frame_cropping_rect_bottom_offset。 - vui_parameters
标识码流中是否有vui子结构。同时，其中 time_scale 与num_unis_in_tick 可以对视频的帧率进行计算。公式为
frame = time_scale / num_unis_in_tick
本实验中的 time_scale 与 num_unis_in_tick 分别为96和4，故其帧率为24，与VLC中读取信息相同。
2、PPS信息
PPS信息即Picture Paramater Set，图像参数集，也为表征序列图像信息的数据。其与SPs信息共同封装于文件头中。
其重要参数如下：
- pic_parameter_set_id
声明当前PPS的id。 - seq_parameter_set_id
声明当前PPS所引用的SPS的id。 - entropy_coding_mode_flag
熵编码模式标识，表示码流中熵编码/解码选择的算法。等于0时表示熵编码使用CAVLC，等于1时表示熵编码使用CABAC。 - num_slice_groups_minus1
表示某一帧中slice group的个数。当该值为0时，一帧中所有的slice都属于一个slice group。 - num_ref_idx_l0_default_active_minus1
表示当Slice Header中的num_ref_idx_active_override_flag标识位为0时，P/SP/B slice的语法元素num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1的默认值。 - weighted_pred_flag
标识位，表示在P/SP slice中是否开启加权预测。 - weighted_bipred_idc
表示在B Slice中加权预测的方法，取值范围为[0,2]。0表示默认加权预测，1表示显式加权预测，2表示隐式加权预测。 - pic_init_qp_minus26和pic_init_qs_minus26
表示初始的量化参数。实际的量化参数由该参数、slice header中的slice_qp_delta/slice_qs_delta计算得到。 - chroma_qp_index_offset
用于计算色度分量的量化参数，取值范围为[-12,12]。 - deblocking_filter_control_present_flag
标识位，用于表示Slice header中是否存在用于去块滤波器控制的信息。当该标志位为1时，slice header中包含去块滤波相应的信息；当该标识位为0时，slice header中没有相应的信息。 - constrained_intra_pred_flag
若该标识为1，表示I宏块在进行帧内预测时只能使用来自I和SI类型宏块的信息；若该标识位0，表示I宏块可以使用来自Inter类型宏块的信息。 - redundant_pic_cnt_present_flag
标识位，用于表示Slice header中是否存在redundant_pic_cnt语法元素。当该标志位为1时，slice header中包含redundant_pic_cnt；当该标识位为0时，slice header中没有相应的信息。
三、帧内分析
1、帧内编码帧
将文件读取的指针向后移动一帧，画面即出现，为整个文件的第一帧，也为第一个GOP的 I 帧。可看到所有宏块全部为 I 类型宏块，且其中有16×16宏块、8×8宏块和4×4宏块。其中8×8和4×4的宏块共有539个，16×16的宏块为381个。
将宏块显示打开后如图。
观察可以发现，在帧内预测帧（I 帧）中，其宏块类型与宏块当前所处位置的图像复杂度有关。更加细分的宏块，其更适用于较复杂的区域。将16×16宏块、8×8宏块和4×4宏块各取一个查看信息。
| 宏块类型 | 宏块信息 |
|---|---|
| 16×16 |  |
| 8×8 |  |
| 4×4 |  |
2、前向预测编码帧
向后逐帧跳转，到达第一个P帧后，查看此帧图像宏块信息。
不难看出P帧中宏块大部分为 P 类型宏块（829/920），且P类型宏块中16×16（349/829）类型和skip宏块（408/829）为最多。原因应在于前后图像的变化不大，同时存在帧内编码宏块以弥补此帧相对于之前的 I 帧差异较大的细节部分。
其中与上述 I 帧内部宏块分为16×16、8×8、4×4宏块同理，此帧中还包含16×8的宏块。但此帧中发现了一个贼有意思的宏块，若未显示错误，此宏块是一个含有8×8和8×4的混合宏块。
此宏块的信息仍显示为8×8宏块。
3、双向预测内插编码帧
随机抽取一位幸运的 B 帧进行查看。
同样可看到帧内预测宏块 I 类型宏块的存在。同时，大部分为双向预测帧编码类型的宏块（881/920）。
同时，将此帧的运动向量进行显示。经历了几秒钟的程序未响应之后， 可看到此 B 帧在进行块匹配过程中，运动向量的存在量很多，原因应在于画面的镜头一直摇晃的缘故。
若换一个仅有部分区域移动的视频序列，可看到运动向量的排布。（下图中运动向量均为红色，仅在人的区域出现，可以放大图片观看）
4、图像帧比特分析
使用 Elecard StreamEye Tools 软件打开mp4文件，可看到其所有的帧及其比特数全部在GUI界面中展示。
其中橙色的线为设置显示的帧比特数的平均值，即视频序列的比特率。红色的为 I 帧，蓝色为 P 帧，绿色为 B 帧。从图中就可看出，相对来说 B 帧要比 I 帧和 P 帧占用更小的比特数。而在视频开头，由于视频中开头部分镜头晃动较为明显，故P帧和B帧比特率并未低多少。
在上图中也可看到由于帧间预测，帧存在乱序，即显示顺序与其在码流中的顺序不同的情况。
将此视频序列的帧信息存入csv文件中，可看到码流顺序的帧排序。
考虑到第一个GOP开头部分由于镜头原因，比特数对比程度不大，故对第二个GOP中（第251 - 500个帧，下标为250 - 499）帧的比特数进行绘图。
参考与引用
[1] h264 : 关于level_idc和Profile_IDC的解释
[2] JM-H264参考手册（VIP下载地址）
[3] (知乎) H264码流中SPS PPS详解
[4] 从H264/H265码流SPS中获取宽、高及帧率