1.视音频完整解码播放流程
1.1视频封装格式(mp4、flv、mkv)–>解封装/解复用，打开封装格式–>视频压缩数据（H264、H265）–>视频解码–>视频原始数据（YUV）–>YUV转RGBA–>音视频同步–>呈现在设备上画面
1.2视频封装格式(mp4、flv、mkv)–>解封装/解复用，打开封装格式–>音频压缩数据（AAC、MP3）–>音频解码–>音频原始数据（PCM双声道）–>如果设备只支持单声道，需要重采样，双声道转单声道–>音视频同步–>声音在扬声器设备上播放
2.视音频完整录制编码流程
2.1 采集图像数据–>RGBA数据–>YUV数据–>H264编码器 去编码YUV数据–>H264压缩数据–>数据封包、封装格式mp4
2.2采集音频数据–>PCM数据–>AAC音频编码器去编码PCM数据–>AAC压缩数据–>数据封包，封装格式MP4
3.为什么要编码，编码原理
视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像。由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，我们看到的就是动作连续的视频。这么多连续的图像数据如果不经过编码的数据量太大，所以需要编码压缩。
编码的目的，就是为了压缩。各种视频编码方式，都是为了让视频变得体积更小，有利于存储和传输。编码的核心思想就是去除冗余信息。
- 空间冗余 ( 相邻像素重复)：图像内部相邻像素之间存在较强的相关性多造成的冗余。
- 时间冗余 ( 帧之间差值)：视频图像序列中的不同帧之间的相关性所造成的冗余。
- 视觉冗余 (人类不敏感的颜色)：是指人眼不能感知或不敏感的那部分图像信息。
- 信息熵冗余 (熵编码-哈夫曼算法):也称编码冗余，人们用于表达某一信息所需要的比特数总比理论上表示该信息所需要的最少比特
数要大，它们之间的差距就是信息熵冗余，或称编码冗余。
4.I帧 P帧 B帧 压缩程度
I帧：帧内编码帧，关键帧，I帧可以看作一个图像经过压缩之后的产物，可以单独解码出一个完整的图像；（压缩率最低）
P帧：前向预测/参考 编码帧，记录了本帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。 （压缩率比I帧高，比B帧低 属于 适中情况）
B帧：双向预测/参考 编码帧，记录了本帧与前后帧的差别，解码需要参考前面一个I帧或者P帧，同时也需要后面的P帧才能解码一张完整的图像。 （参考前后的预测得到的，压缩率是最高，但是耗时）（减少B帧可以做到低延时，适合直播场景）
5.H.264进制数据分析
编码标准：H.264 （国际电联）== MPEG-4 - AVC（ISO国际标准化组织）
H.264分层结构(VCL与NAL)：
VCL：（Video Coding Layer，视频编码层）：负责高效的视频内容表示，VCL数据即编码处理的输出，它表示被压缩编码后的视频数据序列。
NAL:（Network Abstraction Layer，网络提取层）：负责以网络所要求的恰当的方式对数据进行打包和传送，是传输层。不管在本地播放还是网络播放，都要通过这一层来传输。
VCL就是被压缩编码后原始数据，在VCL数据封装到NAL单元中之后，才可以用于传输或存储。
NAL( 片 (宏块) )
一帧图片经过 H.264 编码器之后，NAL单元就是装载着这些片（被编码为一个或多个片 slice）, 每片包含整数个宏块（至少一个宏块，最多包含整个图像宏块）。
一般H.264编码器的默认输出为：起始码+NAL 起始码为：0x00000001或者0x000001。
因为每一个NALU都需要分隔，要分隔帧操作，就相对于写文章断句一样所以需要起始码，0x00000001或者0x000001
0x00000001 起始码代表：一个NALU里面有很多片
0x000001 起始码代表： 一个NALU里面一个片
遇到0x00000001或者0x000001，就是NALU的起始码
一个NAL包含了（PPS, I帧，B帧，P帧）
SPS 序列参数集（记录有多少I帧，多少B帧，多少P帧，帧是如何排列）
PPS 图像参数集（图像宽高信息等）
NAL类型表：
NAL数据解析：
00 00 00 01 67 ：前面部分00 00 00 01 就是起始码 67就包含了类型数据
67 转换成2进制 01100111 这个二进制的低5位就记录着类型 00111 转成16进制是：7 查表可知就是序列参数集
前三位：011 可以分两部分：第一位和后边两位，
第一位是0表示可用帧 1表示不可用帧
后边两位：11表示重要帧数据 01 或者00 标识帧不重要
6.PTS与DTS
DTS表示解码时间戳，在什么时候解码这一帧的数据 ；
PTS表示显示时间戳 ，在什么时候显示这一帧。
在没有B帧的情况下，DTS和PTS的输出顺序是一样的。因为B帧打乱了解码和显示的顺序（要解码B帧需要先解码后面的P帧），所以一旦存在B帧，PTS和DTS就会不同。