音频
模拟信号转换成数字信号，通过采样、量化和编码三个步骤完成
采样：奈奎斯特采样定理/乡（香）农采样定理，需要按照比声音最高频率高两倍以上的频率进行采样
量化：把采集到的信号进行数字化，表示信号强度
编码：按照一定的格式记录采样和量化后的数据
声道数：音源数量
音频帧：音频是流式的，所以一般取某一段时长音频为一帧
音频编码：降低采样指标或者压缩
压缩编码的原理就是压缩掉冗余数据
| 编码格式 | 特点 | 适用场合 |
|---|---|---|
| PCM | 音质好，体积大，认为无损 | |
| WAV | PCM数据格式之前添加44字节，分别描述采样率、声道数和数据格式；音质好，大多数软件支持 | 多媒体开发的中间文件、保存音乐和音效素材 |
| MP3 | 中高码率效果比较好，兼容性好 | 高比特率下对兼容性有要求的音乐欣赏 |
| AAC | 通过附加编码技术应对不同场景 | 多用于视频中的音频编码 |
| OGG | 可以用比MP3更小的码率实现比MP3更好的音质，兼容性不好，不支持流媒体特性 | 语音聊天的音频消息场景 |
视频
三原色：红绿蓝
度量：色调、饱和度和明度（色调：颜色的外观；饱和度：颜色的纯洁性，区别颜色明暗的程度；明度：对物体辐射或发光多少的感知属性，用亮度来度量明度）
颜色空间：RGB和YUV
预测编码：基于图像相关性进行数据压缩的一种方式
变换编码：将空域图像信号映射变换到另外一个矢量空间，这个过程会产生一系列的变换系数，然后对这些变换系数进行编码处理
混合编码：融合预测编码和变换编码
空间冗余：图像相邻像素之间有较强的相关性
时间冗余：视频序列的相邻图像之间内容相似
编码冗余：不同像素值出现的概率不同
视觉冗余：人的视觉系统对某些细节不敏感
知识冗余：规律性的结构可由先验知识和背景知识得到
编码器：预测、变换、量化、熵编码
解码器：熵解码、反量化、反变换、预测
https://blog.csdn.net/qq_34447388/article/details/78997339 图片来源
| 编码标准 | 特点 |
|---|---|
| MPEG-1 | 该标准的优点是压缩方式相对时域压缩技术而言要复杂得多，同时编码效率、声音质量也大幅提高，编码延时相应增加。缺点是频宽要求较高 |
| MPEG-2 | 具有更高的图像质量、更多的图像格式和传输码率的图像压缩标准 |
| MPEG-4 | 利用很窄的带宽，通过帧重建技术、数据压缩，以求用最少的数据获得最佳的图像质量 |
| H-264 | 高压缩比率，在技术方面，高精度、多模式的位移估计，基于4*4块的整数变换、分层的编码语法等内容都使得H.264算法具有很高的编码效率，同时，H.264的码流结构网络适应性强，能够很好地适应IP和无线网络的应用 |
| H-265 | 新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置 |
封装：媒体的容器，把编码产生的多媒体内容混合封装在一起的标准
平时常见的那些视频格式就是容器
| 格式 | 后缀 |
|---|---|
| AVI/DV-AVI | .avi |
| MPEG | .mpeg/.3gp/.mp4 |
| WMV | .wmv/.asf |
| Real Video | .rm/.rmvb |
| Flash Video | .flv |