1.为什么要对视频进行编码
视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像，由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，我们看到的就是动作连续的视频，这么多连续的图像数据如果不经过编码则数据量太大了。
2.H.264编码框架
H.264码流文件分为两层
（1）VCL(Video Coding Layer，视频编码层): 负责高效的视频内容表示，VCL数据即编码处理的输出，它表示被压缩编码后的视频数据序列。
（2）NAL (Network Abstraction layer，网络提取层): 负责以网络所要求的恰当的方式对数据进行打包和传送，是传输层。I不管在本地播放还是网络播放，都要通过这一层来传输。
VCL就是被压缩编码后的原始数据
将VCL数据封装到NAL单元中，才可以用于传输和存储
3.H.264码流分析
一般H.264编码器的默认输出为：起始码+NAL单元(NALU)。起始码为：0x00000001或者0x000001
（1）NAL单元
H.264的编码视频序列包括一系列的NAL单元。
一个NAL单元=一个原始字节序列负载（RBSP）+一个对应于视频编码的NAL头文件。
H.264码流NAL单元序列如图
（2）NAL Header
通过解析NAL头部，可以确定每个NAL单元的帧类型IPB帧。
l帧:帧内编码帧，关键帧，l帧可以看作一个图像经过压缩之后的产物，可以单独解码出一个完整的图像。
P:前向预测编码，记录了本帧跟之前的一个关键帧(或P)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。
B帧:双向预测编码帧，记录了本帧与前后帧的差别，解码需要参考前面一个I帧或者P帧，同时也需要后面的P帧才能解码一张完整的图像。
NAL头的组成：
NAL头由一个字节组成，如下所示：
语法：禁止位（1位）、重要性指示位（2位）、NALU类型（5位）。
|0|1|2|3|4|5|6|7|
|F|NRI| Type|
NAl头信息的每一位说明如表所示
| 位 | 0 | 1~2 | 3~7 |
| 简称 | F | NRI | TYPE |
| 全称 | forbidden_zero_bit | nal_ref_idc | nal_unit_type |
| 中文 | 禁止位 | 重要性指示位 | NALU类型 |
| 作用 | 当网络发现NAL单元有比特错误时，可设置该比特为1，以便接收方丢掉该单元 | 标志该NAL单元用于重建时的重要性，值越大，越重要，取值为00~11 | 1~23表示单个NAL包，24~31需要分包或者组合发送。 |
nal_unit_type取值的含义如下：
（3）原始字节序列负载（RBSP）
每个NAL单元包含一个RBSP。典型的RBSP单元序列如图
每个单元都独立的NAL单元传送。NAL单元的信息头（1字节）定义了RBSP单元的类型，NAL单元的其余部分为RBSP数据。
RBSP各部分的解释:
| RBSP | 描述 |
| 参数集PS | 序列的全局参数 |
| 增强信息SEI | 视频序列解码的增强信息 |
| 图像定界符 | 视频图像的边界 |
| 编码 | 片（Slice）的头信息和数据 |
| 数据分割 | DP片层的数据，用于错误恢复解码 |
| 序列结束符 | 表明下一图像为IDR图像 |
| 流结束符 | 表明该流中已没有图像 |
| 填充数据 | 元数据，用于填充字节 |
片（Slice）:
一帧图片经过 H.264 编码器之后，就被编码为一个或多个片 (slice),每片包含整数个宏块(至少一个宏块，最多包含整个图像宏块)，NAL单元就是装载着这些片 (slice)的载体。
片的语法结构：片头规定了片的类型，属于哪个图像、有关的参考图像等；片的数据包含了一系列宏块和不编码数据。
4.H.264编码原理
H.264编码的原理是通过利用帧内和帧间的相关性、运动估计、变换、量化和熵编码等技术来减小视频数据的体积，从而实现高效的视频压缩。解码器在接收到H.264编码的视频流后，通过反向过程将其还原为可视的视频序列，以实现视频的播放和显示。