视频基础知识

一．视频基础知识
1. 视频编码原理
     视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。
1.1去时域冗余信息
使用帧间编码技术可去除时域冗余信息，它包括以下三部分：
A．运动补偿:运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。
B．运动表示:不同区域的图像需要使用不同的运动矢量来描述运动信息。运动矢量通过熵编码进行压缩。
C．运动估计:运动估计是从视频序列中抽取运动信息的一整套技术。
注：通用的压缩标准都使用基于块的运动估计和运动补偿。
1.2去空域冗余信息
主要使用帧内编码技术和熵编码技术：
A．变换编码:帧内图像和预测差分信号都有很高的空域冗余信息。变换编码将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。
B．量化编码:经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达到一定的位率。这一过程导致精度的降低。
C．熵编码:熵编码是无损编码。它对变换、量化后得到的系数和运动信息，进行进一步的压缩。
2. 视频编码解码标准
   2.1 H.264　　
H.264是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式，它即保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多优点。 　　
H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1。低码率（Low Bit Rate）对H.264的高的压缩比起到了重要的作用，和MPEG-2和MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费。尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像，正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。　
2.2 MPEG
MPEG-1增加了对半像素运动补偿和双向运动预测帧。和H.261一样，MPEG-1只支持逐行扫描的视频输入。
MPEG-2最大的改进在于增加了对隔行扫描视频的支持。MPEG-2可以说是一个相当老的视频编码标准，但是它已经具有很大的普及度和市场接受度。
MPEG-4第二部分标准可以使用在网络传输、广播和媒体存储上。和MPEG-2一样，它同时支持逐行扫描和隔行扫描。 
2.3 H.263
H.263主要用在视频会议、视频电话和网络视频上。在对逐行扫描的视频源进行压缩的方面，H.263比它之前的视频编码标准在性能上有了较大的提升。尤其是在低码率端，它可以在保证一定质量的前提下大大的节约码率。
2.4 H.261
H.261主要在老的视频会议和视频电话产品中使用。H.261是由ITU-T开发的，第一个使用的数字视频压缩标准。实质上说，之后的所有的标准视频编解码器都是基于它设计的。它使用了常见的YCbCr颜色空间，4:2:0的色度抽样格式，8位的抽样精度，16x16的宏块，分块的运动补偿，按8x8分块进行的离散余弦变换，量化，对量化系数的Zig-zag扫描，run-level符号影射以及霍夫曼编码。H.261只支持逐行扫描的视频输入。
2.5 AVS
AVS是中国制定的音视频压缩编码标准，故准确来说，其不仅仅包括视频编码标准。它最主要的目的是通过采用与H.264不同的专利授权方式，来避免付出大笔的专利授权费用。在技术上，AVS的视频编码部分采用的技术与H.264非常相似，但采取了一些简化措施。这样做，其一可以回避一些非必要专利，另外据称也可以在几乎不影响编码压缩效率的基础上，提高编解码速度。
2.6 DivX，XviD和3ivx
DivX，XviD和3ivx视频编解码器基本上使用的都是MPEG-4第二部分的技术，以后缀*.avi, *.mp4, *.ogm 或者 *.mkv 结尾的文件有一部分是使用这些视频编解码器的。
2.7 WMV
WMV（Windows Media Video）是微软公司的视频编解码器家族，包括WMV 7、WMV 8、WMV 9、WPV 10。这一族的编解码器可以应用在从拨号上网的窄带视频到高清晰度电视(HDTV)的宽带视频。使用Windows Media Video用户还可以将视频文件刻录到CD、DVD或者其它一些设备上。它也适用于用作媒体服务器。WMV 可以被看作是MPEG-4的一个增强版本。最新的WMV的版本是正在SMPTE制定中的VC-1标准。WMV-9（VC-1，开发代号为“Corona”）刚推出的时候称为VC-9，之后才被电影电视工程师协会(SMPTE)改称为VC-1（VC指Video Codec）。技术上，VC-1也与H.264有诸多相似之处。
3.视频采集
       视频采集（Video Capture）把模拟视频转换成数字视频，并按数字视频文件的格式保存下来。所谓视频采集就是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号，通过专用的模拟、数字转换设备，转换为二进制数字信息的过程。
4．常见视频参数
  4.1分辨率:
分辨率就是屏幕图像的精密度，是指显示器所能显示的像素的多少。
常见分辨率:176 x 144、320 x 240、640 x 400、640 x 480、800 x 480、800 x 600 、1024 x 600、1024 x 768、1280 x 720、1280 x 1024、1400 x 1050、1600 x 1200、1920 x 1200、2048 x 1536、2560 x 2048、3200 x 2400
4.2清晰度
250P：320x250
360P：480x360
720P：1280x720
1080P：1920x1080
4.3编码率/比特率
码率也叫比特率，表示经过压缩编码后的视音频数据每秒需要用多少个比特来表示，即把每秒显示的图像进行压缩后的数据量，一般采用的单位是kbps即千位每秒。码率是每   秒播放多少KB,以KB/S为单位，通常情况下：
1920*1080分辨率的视频，码率应该在8M以上；1080*720的分辨率，应该在5M左右；720*576分辨率，应该在3M左右；640*480分辨率，应该在1.5M左右；320*240的分辨率，应该在600K左右。
4.4帧率
帧率（Frame rate）是用于测量显示帧数的量度。所谓的测量单位为每秒显示帧数(Frames per Second，简称：FPS）或“赫兹”（Hz）。每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。
同样分辨率下，视频文件的码流越大，压缩比就越小，画面质量就越高。
4.5采样率
在模拟视频中，采样率定义为帧频和场频，而不是概念上的像素时钟。图像采样频率是传感器积分周期的循环速度。由于积分周期远远小于重复所需时间，采样频率可能与采样时间的倒数不同。
50 Hz - PAL 视频
60 / 1.001 Hz - NTSC 视频
当模拟视频转换为数字视频的时候，出现另外一种不同的采样过程，这次是使用像素频率。一些常见的像素采样率有：13.5 MHz - CCIR 601、D1 video
5.视屏传输协议
   5.1 RTP
RTP（Real-Time Transport Protocol）/RTCP（Real-Time Transport Control Protocol）是一种应用型的传输层协议，它并不提供任何传输可靠性的保证和流量的拥塞控制机制。它是由IETF（Internet Engineering Task Force）为视音频的实时传输而设计的传输协议。RTP协议位于UDP协议之上，在功能上独立于下面的传输层（UDP）和网络层，但不能单独作为一个层次存在，通常是利用低层的UDP协议对实时视音频数据进行组播（Multicast）或单播（Unicast）,从而实现多点或单点视音频数据的传输。
RTP协议被设计成能够为某种特定的应用提供服务的一种协议。实际上，RTP协议的实现已经被融合到应用程序中来。RTP没有连接的概念，它既可以建立在面向连接的底层协议上，也可以建立在面向无连接的底层协议上，因此RTP协议对传输层是独立的。RTP协议一般由两个部分组成：数据报文部分（RTP报文）和控制报文部分（RTCP）。
5.2 UDP
UDP是一种无连接的数据报投递服务，虽然没有TCP那么可靠，并且无法保证实时视音频传输业务的服务质量（QoS）,需要RTCP实时监控数据传输和服务质量，但是，由于UDP的传输延时低于TCP，能与音频和视频流很好地匹配。因此，在实际应用中，RTP/RTCP/UDP用于音视频媒体，而TCP用于数据和控制信令的传输。
6. 影响视频质量的因素
    6.1 编码/压缩的性能
影响音/视频流的压缩/编码性能的因素很多，首先是压缩效率。压缩效率要求在保证一定音/视频质量的前提下，媒体流的码流速率尽量低。其次是编码的冗余性和可靠性。与普通的多媒体文件压缩/编码不同的是，流媒体文件需要在网络上实时传输，因此必须考虑传输中数据丢失对解码质量的影响。为了解决这个问题，采用了一些先进的编码技术，例如错   误弹性编码(ErrorResilient Encoding)：在编码中通过适当的控制使得发生数据丢失后能够最大限度地减少对质量的影响。AnyChat采用国际领先的视频编码标准H.264（MPEG-4 part 10 AVC /H.264）编码，H.264/AVC 在压缩效率方面有着特殊的表现，一般情况下达到 MPEG-2 及 MPEG-4 简化类压缩效率的大约 2 倍。
H.264具有许多与旧标准不同的新功能，它们一起实现了编码效率的提高。特别是在帧内预测与编码、帧间预测与编码、可变矢量块大小、四分之一像素运动估计、多参考帧预测、自适应环路去块滤波器、整数变换、量化与变换系数扫描、熵编码、加权预测等实现上都有其独特的考虑。
6.2服务器性能
随着流媒体规模的扩大，流媒体服务器的性能成为制约流媒体服务扩展能力的重要因素。流媒体服务器性能的关键指标是流输出能力和能同时支持的并发请求数量。影响流媒体服务器性能的因素很多，包括CPU能力，I/O总线，存储带宽等。通常，单个流媒体服务器的并发数都在几百以内，因此，为了具有更好的性能，目前的高性能流媒体服务器都采用大规模并行处理的结构，例如采用超立方体的结构将各个流媒体服务单元连接起来。还有一种方法是采用简单的PC集群的方式，这种方式下多个PC流媒体服务器用局域网连接，前端采用内容交换/负载均衡器将流媒体服务的请求分布到各个PC媒体服务单元。后一种方式性能较前一种方式低，但是成本低，容易实现。
针对可不经过服务器中转的音视频应用，采用了P2P通信技术，该技术的核心在于防火墙的穿越。使用P2P通信技术，可以大大的减轻系统服务器的负荷，并成几何倍数的扩大系统的容量，且并不会因为在线用户数太多而导致服务器的网络阻塞。
6.3 媒体流传输的质量控制
这是制约流媒体性能的最重要的因素。由于流媒体传输对网络带宽、延迟、丢失率等都有很高的要求，而基于无连接的包交换IP网络对带宽资源和服务质量的控制能力都比较弱，因此，在IP网络上进行流媒体传输需要采用一些应用层的质量控制机制来解决传输中的问题。这些质量控制机制可以分为几个层次：最常用的方式是采用速率适应机制，基本的方法是通过一定的速率反馈机制，利用媒体流的速率层次编码能力，在媒体服务器端动态地调节流媒体的传输速率，保证客户端在网络可用带宽变化的时候也能够正常地收看流媒体内容。速率适应机制附以差错控制和冗余控制能够有效地保证流媒体的正常收看。目前流媒体的主流产品都具备应用层的速率适应能力。
7. 视频会议基本原理
       视频会议也称为会议电视、视讯会议,是利用计算机技术和通信设备通过传输信道在两点或多个地点之间建立可视通信,实现数据、语音及图像交流的一种会议形式。与会者不仅能看到对方的会场和发言人,而且可以听到对方的声音,如果再辅以书写电话和电子白板等设备,就可与对方会场的与会人员进行问题研讨,这和现场会议的效果基本一样。该会议系统利用计算机强大的信息处理能力,有效地进行了协同工作,在一定程度上取代了传统会议模式,是一种快速高效、经济方便且应用广泛的新工具。
视频会议终端设备将视频、音频、数据和信令等各种数字信号分别进行处理后组合成一路复合的数字码流，再将它转变为用户-网络接口兼容的，符合传输网络所规定的信道帧结 构的信号格式送上信道进行传输。完成用户视频、音频和数据信号的输入与输出功能。
8.视频监控基本原理
前端摄像机采集图像信号，然后通过线缆将信号转至存储设备和管理设备并通过键盘管理显示图像。