2.数字视频
2.1.2.数字电视PCM原理
将输入的模拟信号转化为输出的数字电视信号，经过取样，量化，编码三个步骤，由A/D变换器完成。
2.1.2.1.取样
在时间轴上将连续变化的模拟信号---》转化为离散量
2.1.2.2.量化
因取样后的脉冲信号在时间上是离散的，在幅值和空间上是连续的，可能取值有无限多个，因此需要进行四舍五入。将这种信号幅值从连续量变为离散量，这个过程为量化。
2.2.2.3.PCM编码
量化信号一般为“0”，“1”，这时编码为PCM编码。
模拟电信号经过–》取样–》量化–》编码后得到的二进制序列就是数字电视信号。一般序列化后的二进制位数越多，则量化的噪音越小，数字信号越靠近模拟信号。
2.2 数字电视信号
2.2.1.1 电视信号的时间取样：
运动图像由每秒若干帧静止图形构成，假设设定电视频率为每秒20帧，这种取样即为时间取样。
2.2.1.2 电视信号的空间取样：
同一个电视信号帧当中，同一行由若干取样点构成，这种取样点为像素，这种取样为空间取样。
2.2.2.2 YUV
实现视频压缩的一种方式：因人视觉对亮度和彩色更敏感，可通过把亮度信息从色彩中分离，使得有更高的清晰度，也可显著降低带宽实现视频压缩。
2.2.4.1 量化值qp的取值大小
一般情况，每个取样值采用8个比特表示，即256个灰度级。因为太大视频粗糙，太小视频质量好，但浪费带宽过大。
2.2.4.2 取样频率
对不同的屏幕类型，取样频率不同。
2.3 视频信号的预处理
一个基本的视频处理和通信包括采集、预处理、视频编码、通信、图像处理等。
2.3.1 色彩插值
一般一个像素点是只能给出从白到黑的单调色调，无法给出RGB三种。对于彩色图像的获取需要借助色彩滤镜阵列
2.3.2 色彩校正
通过色彩插值得到的图像和真实场景仍会有差异，需要对图像像素值进行线性变换尽可能减少差异。
2.3.3 伽玛校正
2.3.4 图像增强
包括直方图均衡，平滑滤波，中值滤波，锐化等。可在空间域
2.3.4.1 平滑滤波
1.图像平滑主要目的：消除图像采样系统的质量因素导致的噪声，并且保持图像的细节。
2.图像平滑包括 空域法和频域法。
2.1 空域法中常用方法：均值滤波和中值滤波。
2.2 频域法中常用方法：低通滤波法。
2.3.4.2 加权均值滤波
方法：取n x n 窗口，取窗口内的n²个像素的加权平均值取代中心像素原来的值。（相关可查询加权算法模板）
2.3.4.3 中值滤波
原理：把以某点(X,Y)为中心的小窗口内所有像素灰度从大-》小排序，将中间值作为（x,y）处的灰度值。一般采用排序算法
2.3.4.4 图像锐化
目的：减少图像中边界、轮廓的模糊带来的影响，使变更清晰。
图像变模糊的根本原因：受到平均/积分造成的，可进行逆运算改变。
图像锐化的两种方法：1.微分法（梯度锐化和拉普拉斯锐化）。2.高通滤波法
2.3.4.5 直方图均衡
概念：是一种图像分析工具，描述了图像的灰度级。
直方图修复：通过灰度映射级函数S=F®，将原灰度直方图改为你希望的直方图，
直方图修复常用：直方图均衡化，即把给定图像直方图分布改为均为直方图分布。
2.3.4.6 白平衡
与色温有关，色温高，蓝色成分越多。色温低，红色成分越多。
自动白平衡的算法：1.全局平衡法。2.局部白平衡法
3.视频压缩编码原理
3.1 预测编码
3.1.1 预测编码基本概念
视频压缩编码常用方法：预测法：即压缩编码后传输的是取样的预测值与实际值之差。因为同一图像相邻像素点之间有很强的的关联性
实际操作方法：距离不同，关联性不同，以P为预测值，按与像素点X的距离给不同权值，把这些权值相加得到预测值P，再与X相减，得到差值q
3.1.2 帧内预测编码
3.1.2.1 一维最佳预测
3.1.2.2 二维最佳预测
3.1.2.3 预测编码增益
3.1.2.4 预测编码的量化器
一般图像中平坦区域比突变区域多，如人脸中鼻子等为突变区域。在突变部分量化误差变大即采取粗量化并不会使得人眼敏感。反之在平坦区域，应该取细量化。
3.1.3 帧间预测编码
3.1.3.1 单向预测
（1）预测原理：
利用上一帧图像经过运动矢量位移作为预测值的方法称为单向预测。即当前帧F（x，y）与帧存储区的上一帧F（x1,y1）同时输入运动参数估值器，比较运动矢量MV。将此MV输入运动补偿预测，得到预测图像F，预测图像和实际图像不可能一样，总存在误差e(x,y)。
（2）基于块匹配的运动矢量估计：
单向预测以像素为单位进行预测，除了传送帧差外，还增加了每个像素的运动矢量，编码效率下降。因此往往把一帧图像分为MXN块，以块为单位分配矢量，可降低总码率。
（3）搜索方法：
1.穷尽搜索法。
2.快速搜素法。
3.1.3.2 双向预测
1.利用前一帧和后一帧像素同时预测。
2.前向参考帧预测当前帧称为前向运动补偿，利用后向参考帧预测当前帧称为后向运动补偿，利用前后向同时预测的就称为双向预测运动补偿。
3.这种预测只针对t-1帧未暴露而t+1帧已呈现的场景
3.1.3.3 重叠块运动补偿OBMC
主要解决基于块的运动补偿带来的估计不准确的问题。采用OBMC时，一个像素的预测不仅基于他所属的MV估计，也基于相邻的MV估计。
3.1.4 运动估计
3.1.4.1 基本概念
帧间预测编码中，活动图像邻近帧存在一定相关性。因此可将活动图像分为若干块，设法搜索出每个块在临近帧图形中位置，并得出块与图形的空间位置的偏移量，得到的偏移量就是所指的 运动矢量。得到运动矢量的过程为运动估计。
优点：经过运动估计可去除帧间冗余度，使得视频传输的比特数大为减少。
3.1.4.2运动估计的方法
3.1.4.3 运动表示法
3.1.4.3.1基于块的运动表示法
3.1.4.3.2亚像素位置的内插
3.1.4.3.3 运动矢量在时空域的预测方式
（1）运动矢量空间域预测方式：
a、运动矢量中值预测（Median Prediction）
b、空间域的上层块模式运动矢量（Uplayer Prediction）
（2）运动矢量在时间域预测方式
a、前帧对应块运动矢量预测（Corresponding-block Prediction）
b、时间域的邻近参考帧运动运动矢量预测（Neighboring Reference-frame Prediction）
3.1.4.3.4 匹配误差在时空域的预测方式
3.1.4.4 运动估计准则分类
运动搜索的目的就是在搜索窗内寻找与当前块最匹配的数据块，这样就存在着如何判断两个块是否匹配的问题，即如何定义一个匹配准则
3.1.4.5 运动搜索算法
主要的几种搜索算法：
①全局搜索算法：在一个预先定义的搜索区域内，把它与参考帧中所有的候选块进行比较，并且寻找具有最小匹配误差的一个。这两个块之间的位移就是所估计的MV。
②分数精度搜索算法：
③快速搜索算法：
④ 分级搜索范围（DSR）算法：
⑤混合搜索算法：
3.2 变换编码
3.2.1 基本概念
大多数图像平坦区域和内容占大部分，细节和内容突变区域占小部分，即图像中直流和低频大部分，高频小部分。这样空间域的图像变换到频域变换，会产生较小的变换系数，并可对其进行压缩编码，即变换编码。
3.2.2 K-L变换
3.2.3 离散余弦变换DCT
3.2.4 锯齿形扫描和游程编码
3.3 变换编码与预测编码的比较
①变换编码实现比较复杂，预测编码的实现相对容易，但预测编码的误差会扩散。
②预测编码的误差会向后扩散，形成区域误码。变换编码不会，其限制只影响在一个块内。
///持续更新