1、视频会议的发展
视频会议是指位于两个或多个地点的人们，通过通信设备网络和视频会议系统软件，实现面对面交谈的会议。视频会议的早期概念Picturephone由美国的AT＆T于1964年在世界博览会上推出。在20世纪70年代后期，AT＆T开始提供Picturephone服务，而爱立信也展示了其第一个视频电话。在此阶段，视频会议的主要技术是通过模拟公共交换电话网（PSTN）传输语音和图像，成本高、体验差，仅用于高端商务场合。经过一段时间的发展，国际电信联盟（ITU）也从1996年开始制定视频会议标准，进入21世纪之后以发展成硬件和软件两种主要的产品类型。
如今，随着全球化进程不可逆转地推进和相关技术的不断进步，驱使越来越多的用户采用视频会议方式进行沟通，以实现更优的通信和协作效率。根据Frost & Sullivan数据，2012至2016期间，全球视频会议市场的市场规模以每年7.5%的复合年增长率从319亿美元增长至426亿美元，而从2017年到2021年，Frost & Sullivan预计全球视频会议的CAGR将达到8.3％，2019年市场规模550亿美元。
随着互联网公司的崛起，特别是大型企业集团化和分公司等管理模式的建立。视频会议越来越受重视，要对视频会议有一个完整认识，需要从视频会议的方案区别上来看。同时由于移动终端的崛起，手机视频会议软件也受到到相关互联网企业的关注。
软件实现会议沟通需要“云”支持，其实就是通信数据处理，主要是利用云技术将相关视频会议有效延伸到各终端，包括手机视频软件、PC终端、网页终端等。
目前企业对于视频会议的需求主要有以下几个方面：
【多方通话】随时随地发起一对一，一对多通话，语音沟通更快捷。
【高清视频】适应不同终端、不同分辨率的视频，互通能力更强，适配不同网络环境。
【屏幕共享】手机开会可以将手机屏幕内容进行共享，演示文档。也可以观看PC 端桌面演示的画面。
【入会便捷】使用固定好记的会议密码入会：输入主持人密码召开会议，参会人密码加入他人的会议。或是直接建立会议室，只要登陆会议系统，进入指定会议室即可参会。
【多端融合】 同时支持iPad，iPhone，安卓设备，Windows，Mac，硬件视频会议系统等方式加入会议。
【移动开会】有网络的地方就能开会，支持WiFi，4G和5G网络。
【文字沟通】会中可自由选择群聊或单人私聊。
【高并发支持】支持高并发接入，大方模式下视频主讲人可以共享桌面等。
【全球互通】只要有网络，地球的每个角落都能加入会议。
2、视频会议的基础介绍
- 视频会议:videoconference,集语音，图像，数据为一体的交互式多媒体信息增值业务。
- 视频会议系统的组成：MCU单元、终端，网络等；
- 视频技术发展趋势：
清晰度：CIF-4CIF（704576）-720P（1280720）-1080P-8K4K（38402160）-3D
模拟信号时代—标清数字时代—高清数字时代—未来的超高清
高帧率：30帧/s，达到基本流畅。60帧/s接近人眼极限(最佳帧数)。120，240帧/s适合户外监控摄像机，缺点为噪点高，带宽需求高。
高压缩率：H.120-H.261—H.263,H.263+, H.263+±H.264-H.265(主流)
H.265支持2k，4k等视频压缩。效率比H264提高1倍，节省一半的带宽
-视频会议的常用设备：
-视频会议模式：
1、点对点；
2、小容量会议室一般3-20方以内，需要MCU作为核心交换；
3、大容量多点会议模式，一般为几十甚至上百个点，需要做级联。
3、视频会议有关技术
3.1 MCU与SFU架构
视频会议的几种实现方式：Mesh、MCU、SFU
视频会议简单来讲有三种方式：Mesh、MCU、SFU。
Mesh是单纯的点对点连接形成的网状结构且不需要服务器，但是这种方式使用的非常少，因为不好控制。
目前比较主流的两种方式，MCU和SFU。
MCU之所以说它比较主流，是因为最开始的视频会议设备基本上都是MCU的。MCU中间有一个服务器，视频客户端与服务器直接通讯，实际上收发都是一路流。视频服务器把所有的流合成一路，即视频融屏。当然音频也会融合，简单起见，我们这里只说视频。视频服务器将视频流融合到一起形成一个画面，分发给所有的终端，所有的终端看到的画面都是一样的，这种情况叫MCU（Multipoint Control Unit），即多点控制单元。
随着WebRTC的出现，很多人开始用SFU（Selective Forward in Unit）。SFU不解码、不融屏，前面说到MCU会对各种画面拼接、融屏，也就需要对视频进行编解码。而SFU只需要把收到的各个客户端发来的视频和音频，有选择的发给不同的人。其好处是不需要占用过多的CPU，但缺点是比较浪费带宽。比如5个人进行通话，其中一方只需要发一路流，转发单元会进行布置，将这一路流复制成多份进行分发，每个人都会收到很多路流，终端所承受的压力会比较大，因为一方的终端需要对另外的4路流进行解码。好处是终端可以自由排列所收到的其它客户端的显示样式，每个人看到的画面都可能是不一样的。
上图是MCU的基本原理图，如图有4个摄像头，各个摄像头把自己的画面上传到MCU，MCU进行缩放、拼接，拼接成一个画面，然后下发。每个终端显示器上显示出来的都是一样的画面。如1、2、3、4等的多个层，以及一个画布（canvas），我们将收到的不同视频解码，再缩放，拼接到画布上，形成一路流，最后分发出去。
画布的样式有多种类型，除了支持标准的画布：3×3、4×4、8×8以外，还支持培训班模式：演讲者画面（大）+听众画面（小），以及更多不同的排列形式。
如何实现呢，通过MCU来进行适配完成：
多画面处理原理：
全适配：
全交换：
MCU
Multipoint Conferencing Uint硬件的方案，通过软件的方式代替硬件。
方案特点
多个用户互动时，首先将多路视频进行混频操作，比如3路视频，每个人只拿1路。但是CPU混频的时候，非常耗费CPU。如果有多个会议在开的时候，消耗资源更大；
因为对于用户来说只有一路数据，所以对于带宽影响小；
因为都是混频后的一路数据，没办法对数据进行操作，对于客户端灵活性比较差，因为没办法进行放大某一个房间等操作；
该方案对带宽的占用率低，对服务器端的压力大，适用于小规模企业用户使用。
SFU
直接进行数据转发流，不需要进行解码转码操作，所有的视频的控制全部由客户端控制。相对于MCU来说，传输的数据就多了，带宽不够的情况下，很容易影响软件。
方案特点
由于是数据包直接转发，参与人观看多路视频的时候可能会出现不同步。相同的视频流，不同的参与人看到的画面也可能不一致。
参与人同时观看多路视频，在多路视频窗口显示、渲染等会带来很多麻，尤其对多人实时通信进行录制，多路流也会带来很多回放的困难。总之，整体在通用性、一致性方面比较差。
SFU是两种架构方案中优势最明显而劣势又相对较少的一种架构方案。无论是从灵活性上，还是音视频的服务质量、负载情况等方面上，相较MCU方案，SFU都有明显的优势，因此这种方案也被大多数厂商广泛采用，适用于大型会议现场使用。
3.2 SVC与AVC编解码技术
AVC和SVC都是视频压缩的标准，用于将数字音视频信号压缩为更小的数据量，以便在网络上高效有效地传输。它们的全称分别是：
- AVC：Advanced Video Coding，高级视频编码，也叫H.264或MPEG-4 Part 10。
- SVC：Scalable Video Coding，可伸缩视频编码，也叫H.264 Annex G。
AVC 实际上是 H.264 协议的别名。但自从 H.264 协议中增加了 SVC 的部分之后，人们习惯将不包含 SVC 的 H.264 协议那一部分称为 AVC，而将 SVC 这一部分单独称为 SVC。所以提到 AVC 的时候，需要根据具体情况判断到底是指 H.264 协议还是指协议中不包含 SVC 的那一部分。
AVC和SVC的主要区别在于它们对视频质量和网络条件的适应性。具体来说：
- AVC是一种基于固定分辨率和帧率的压缩方式，每次通话都需要在端点或桥之间协商能够支持的最佳质量。这种方式的优点是可以保证视频的清晰度和流畅度，但是缺点是如果网络条件不稳定或不足以支持所协商的质量，会导致数据包丢失和视频卡顿或冻结。
- SVC是一种基于动态调整分辨率或帧率的压缩方式，根据实时的网络条件来选择合适的质量。这种方式的优点是可以适应不同的网络环境，保持通话的连续性和稳定性，但是缺点是可能会增加端点的处理负担和带宽消耗，以及牺牲一定的视频清晰度和流畅度。
SVC的一个非常重要的方面是基本层符合AVC的设计。SVC信号的基本层可通过AVC解码器进行解码。这确保SVC信号与AVC向后兼容，尽管在涉及到一个以上的层时，其保真度会低于全信号。但注意，SVC编码器不需要一直生成分层比特流 - 如果在不需要和不必要进行可伸缩性编码的环境下运行时，则可以生成传统的AVC流。
SVC的高效有一定的代价。如果SVC和AVC编码器产生的相似质量的比特流，那么SVC将比AVC需要大约10-15%的比特位(这取决于编码器的成熟性)。认识到这种“开销”对我们来说非常重要。尽管有额外的开销，但是我们将获得端到端的低延迟和稳健的容错性 - 仅AVC就无法实现这一点。事实上，如果我们考虑丢包造成的质量损失，我们很快会发现，因为AVC编码的质量下降得很快，所以它的效率是远低于SVC。
AVC
图1表示以不可缩放的方式进行视频编码。这就是大多数(如果不是全部的话)AVC兼容视频编码器的工作原理。图中每个正方形表示一张图片，而底部的数字表示时间实例。第一张图片为“I”帧，可独立编码，无需参考其他任何图片(“I”取自单词“intra”的首字母)。其他所有的图片为“P”帧，需要参考前面的帧画面进行预测然后编码。箭头表示预测的源图片以及目标图片。通过观察可知，只需一层，则可形成一个无止境的图片链。
图1：非缩放性视频编码
图2表示在时间维度上的可伸缩性视频编码。观察预测箭头的组织方式，在这个例子中，定义了三个不同的层(L0到L2)。图中的图片是垂直偏移的，以便在视觉上分离三层。每一层都需要依赖较低层才能被解码，但不需要任何较高层。这允许从顶层开始移除图片，而不影响剩余图片的可解码性。例如，我们假设图例中显示的图层以30 fps的帧速率显示。如果我们移除所有L2层的图片，剩下层(L0和L1)仍然可以成功解码，并且产生一个15fps的视频。如果我们进一步删除所有的L1图像，那么剩下的L0层依然可以被解码并产生一个7.5fps的视频。
图2：时间可伸缩性
如图3所示，我们可以通过扩展时间可伸缩性结构同时实现空间可伸缩性编码。每个图片现在有两部分：基础层分辨率图片的B部分和空间增强层的S部分，这两个部分结合则可生成全分辨率图像。空间增强层一般为水平和垂直方向上基底分辨率的1.5倍或者2倍。这为不同分辨率的视频在进行空间可缩放性编码时提供了便利，例如VGA和QVGA(比率为2)以及1080p和720p(比率为1.5)，都可以进行空间可伸缩性编码。空间可伸缩性可以与时间可伸缩性(和SNR)以完全独立的方式相结合。假设在图示例子的全速率和分辨率分别为30fps下的HD高清分辨率(720p)，那么我们可以在分辨率(HD、1/4HD)和帧速率(30fps、15fps、7.5 fps)之间进行任意组合。
图3：空间和时间的可伸缩性
SVC
SVC技术是国际联合视频组在2007年推出的标准视频编码技术，又称为分层编码技术，于2011年开始在视频会议领域商用。SVC提供了一种适应性更强的视频图像压缩和交换传输方式，中央处理器MCU无需对视频码流进行解码、处理和重新编码，接入终端设备根据自身的观看需求、解码能力和网络条件自适应选择适宜的视频图像码流。（可以容忍更大的丢包）
SVC技术大大降低对中央处理设备MCU的计算能力要求，并显著提升了网络适应性。SVC无损架构MCU满足了在移动互联网时代，对于视频会议提出的更大的并发规模、更复杂的网络应用、更灵活的终端接入、更丰富的场景应用等技术升级需求。
SVC成为主流趋势
各视频行业厂商逐步向SVC技术转型。在国外，Vidyo第一个推出采用SVC技术的视频会议系统，ZOOM在成立之初即采用SVC架构设计产品，宝利通也推出了“天宫”系列SVC视频会议平台。国内原主要视讯厂商华为、科达、中兴等在2016年后相继发布了基于SVC技术架构的MCU产品，SVC技术成为行业主流的技术趋势。
平台架构：专用硬件MCU转向通用云架构
随着信息技术的飞速发展，云计算、大数据、移动互联网正在深入推动各行业数字化转型，传统硬件正在开始转向全新的云计算架构。集约建设、统筹管理、按需使用是发展的新趋势，依托云计算技术和大数据进行顶层设计是政务数字化转型最重要的基础。
通过软件和硬件解耦，软件一次性部署，按照业务发展的情况弹性伸缩云计算主机，实现容量动态扩展；根据视频技术不断发展和应用场景不断丰富，通过软件升级就能长期保持云视频平台的先进性。
传统硬件视频系统正在被云计算架构视频系统全面取代，思科于2015年全面停产硬件MCU，宝利通2016年推出全虚拟化平台方案，华为、中兴、科达均发布了软件MCU平台，各主流厂家均推出了基于通用服务器或虚拟机部署的云视频系统。
3.3 SIP与H323协议
H323协议和SIP协议都是用于实现音视频通信的网络协议，它们可以在IP网络上建立、维持和释放多媒体会话。它们的主要区别和优劣势可以从以下几个方面来比较：
- 设计来源：H323协议是由国际电信联盟（ITU）制定的，基于传统的电信技术，是一种较早的多媒体通信标准。SIP协议是由互联网工程任务组（IETF）制定的，基于互联网技术，是一种较新的多媒体通信标准。
- 设计理念：H323协议是一种复杂而完整的协议套件，包含了多个子协议，如H.225、H.245、H.450等，用于实现不同的功能，如呼叫控制、媒体控制、增值服务等。SIP协议是一种简单而灵活的协议，只负责建立和终止会话，其他功能由其他协议或应用来实现，如SDP、RTP、RTCP等。
- 消息格式：H323协议使用二进制格式来传输消息，这种格式节省了带宽，但也增加了解析和调试的难度。SIP协议使用文本格式来传输消息，这种格式易于理解和修改，但也占用了更多的带宽。
- 端点定位：H323协议使用别名（alias）来标识端点，这些别名需要由网关或网守（gatekeeper）来映射为IP地址或电话号码。SIP协议使用统一资源标识符（URI）来标识端点，这些URI类似于电子邮件地址或网页地址，可以直接解析为IP地址或电话号码。
- 呼叫路由：H323协议依赖于网守来提供路由信息，网守负责将呼叫转发给合适的端点或网关。SIP协议依赖于重定向服务器（redirect server）或位置服务器（location server）来提供路由信息，重定向服务器返回目标端点的地址给呼叫者，位置服务器将呼叫直接转发给目标端点。
- 兼容性：H323协议与互联网技术不太兼容，需要专门的设备和软件来支持。SIP协议与互联网技术很好地兼容，可以利用现有的设备和软件来支持。
- 架构：H323协议采用一种单一而封闭的架构，所有功能都集成在一个协议中，不容易扩展和修改。SIP协议采用一种模块化而开放的架构，不同功能可以由不同的协议或应用来实现，容易扩展和修改。
- 即时通信：H323协议不提供即时通信的功能，如即时消息、文件传输等。SIP协议提供即时通信的功能，可以与其他应用集成，如即时消息、文件传输、在线状态等。
- 可伸缩性：H323协议的可伸缩性有限，因为它依赖于中心化的网守来管理呼叫和路由。SIP协议的可伸缩性较好，因为它采用分布式的服务器来处理呼叫和路由。
- 灵活性：H323协议的灵活性不够，因为它的协议规范比较复杂和严格，不容易适应不同的需求和场景。SIP协议的灵活性很高，因为它的协议规范比较简单和灵活，可以根据不同的需求和场景进行定制和扩展。
H323
H323协议是由国际电信联盟（ITU）制定的，是一种较早的多媒体通信标准，目前仍然广泛使用。H323协议其实是一系列的子协议的集合，每个子协议负责不同的功能，如呼叫控制、媒体控制、增值服务等。这些子协议包括：
- H.225：H.225负责在H.323设备之间建立和结束呼叫，以及与网守（gatekeeper）进行注册、准入和状态（RAS）的通信。网守是一种提供地址解析和呼叫路由的设备，可以帮助H.323设备找到对方的位置和可用性。
- H.245：H.245负责在H.323设备之间协商媒体会话的特征，如媒体格式、传输方式、编码方式等。H.245也可以用于传输双音多频（DTMF）信号和控制摄像头等。
- H.450：H.450负责提供一些增值服务，如呼叫转移、呼叫保持、呼叫等待等。这些服务可以让H.323设备实现更多的功能和灵活性。
除了这些子协议，H.323还使用了一些其他的协议或应用来实现音视频通信，如实时传输协议（RTP）、实时传输控制协议（RTCP）、会话描述协议（SDP）等。
H.323协议涉及到以下几种类型的设备：
- H.323终端：H.323终端是能够进行双向实时音视频通信的设备，如IP电话、软电话、视频会议系统等。H.323终端可以直接与其他终端或网关进行通信，也可以通过网守进行通信。
- H.323网关：H.323网关是能够在分组交换网络和电路交换网络之间进行转换和互通的设备，如IP-PSTN网关、IP-ISDN网关等。H.323网关可以让H.323终端与传统电话或视频会议系统进行通信。
- H.323网守：H.323网守是能够为H.323设备提供地址解析、呼叫路由、呼叫控制、带宽管理等服务的设备。H.323网守可以简化和优化H.323网络的配置和运行。
下图展示了一个典型的H.323网络的架构：
从图中可以看出，一个H.323网络可以包含多个不同类型的设备，通过不同类型的网络进行连接和通信。一个H.323呼叫需要经过以下几个步骤：
- 呼叫发起：当一个H.323终端想要拨打一个号码时，它首先需要向网守发送一个RAS消息，请求对方的地址信息。如果网守知道对方的地址，就返回给呼叫者；如果不知道，就转发给其他网守或网关。
- 呼叫建立：当呼叫者得到对方的地址后，就向对方发送一个基于Q.931协议的呼叫建立消息，请求建立呼叫。对方收到消息后，可以接受或拒绝呼叫，并返回一个应答消息。
- 媒体协商：当呼叫被接受后，双方就开始使用H.245协议来协商媒体会话的特征，如媒体格式、传输方式、编码方式等。双方达成一致后，就可以开始传输音视频数据流。
- 呼叫结束：当通话结束时，任何一方都可以发送一个基于Q.931协议的呼叫释放消息，请求结束呼叫。对方收到消息后，也发送一个呼叫释放消息，并关闭媒体会话。
SIP
SIP协议是一种用于在互联网或其他分组交换网络上建立、维持和终止多媒体通信会话的网络协议。它可以让你在不同的设备之间进行电话、视频会议、即时消息等多媒体会话。SIP协议是由互联网工程任务组（IETF）制定的，是一种较新的多媒体通信标准，目前广泛应用于互联网电话（VoIP）、移动电话（VoLTE）、视频监控等领域。
SIP协议的设计理念是简单而灵活，它只负责建立和终止会话，其他功能由其他协议或应用来实现。SIP协议的消息格式类似于HTTP和SMTP，使用文本格式来传输请求和响应。SIP协议使用统一资源标识符（URI）来标识通信的参与者，这些URI类似于电子邮件地址或网页地址，可以直接解析为IP地址或电话号码。SIP协议可以与其他安全协议或设备配合使用，如TLS、VPN、防火墙等，以保护通信的隐私和完整性。
SIP协议涉及到以下几种类型的设备：
- SIP用户代理（UA）：SIP用户代理是能够发起或接收SIP请求的设备，如IP电话、软电话、智能手机等。SIP用户代理分为两个部分：用户代理客户端（UAC）和用户代理服务器（UAS）。UAC负责发出请求，UAS负责接收请求并返回响应。
- SIP服务器：SIP服务器是能够处理和转发SIP请求的设备，如代理服务器、重定向服务器、注册服务器等。代理服务器负责将请求转发给下一个目标；重定向服务器负责返回目标的地址给请求者；注册服务器负责记录用户的位置和状态。
- SIP网关：SIP网关是能够在分组交换网络和电路交换网络之间进行转换和互通的设备，如IP-PSTN网关、IP-ISDN网关等。SIP网关可以让SIP用户与传统电话或视频会议系统进行通信。
下图展示了一个典型的SIP网络的架构：
从图中可以看出，一个SIP网络可以包含多个不同类型的设备，通过不同类型的网络进行连接和通信。一个SIP呼叫需要经过以下几个步骤：
- 呼叫发起：当一个SIP用户想要拨打一个URI时，它首先需要向注册服务器查询对方的位置和状态。如果对方在线且可用，注册服务器就返回对方的地址给呼叫者。
- 呼叫建立：当呼叫者得到对方的地址后，就向对方发送一个INVITE请求，请求建立呼叫。对方收到请求后，可以接受或拒绝呼叫，并返回一个响应消息。如果对方接受呼叫，就发送一个200 OK响应，并附上自己的会话描述信息。
- 媒体协商：当呼叫者收到200 OK响应后，就从响应中获取对方的会话描述信息，并与自己的会话描述信息进行比较和协商，确定最终的媒体参数，如媒体格式、传输方式、编码方式等。然后呼叫者发送一个ACK请求，确认收到响应，并附上自己的会话描述信息。
- 呼叫结束：当通话结束时，任何一方都可以发送一个BYE请求，请求结束呼叫。对方收到请求后，发送一个200 OK响应，并关闭媒体会话。
3.4 视频会议中RTC协议场景及优势说明
为什么RTC能做到低延迟：
WebRTC是基于UDP的协议，为了实现更好的QOE和传输保障策略，还规定了一些其它的协议，例如FIR、NACK、PLI，都是与关键帧相关的。在有丢包产生的情况下，FIR是请求一个关键帧，因为解码失败将要出马赛克，请求对方发送一个关键帧，刷新画面。NACK是丢包，其实丢包就涉及到了缓存，就是我所说的Jitter Buffer，Jitter Buffer是在两个通信终端之间，不管是发送端还是接收端，都会有一个Buffer，这个缓冲区发出去的东西，会放到缓冲区里接收，当发生丢包的情况下，发现有一个丢包，就向对方请求重发。这时，对方就看到这个包还在缓冲区，即可从冲缓冲区中取出重发，这种方式叫NACK。PLI是Packet Lost Indication，告诉这一端我丢包了，这个协议负责音视频传输的质量，因为视频传输大多数用的UDP的协议是不可靠的，所以在发生丢包的情况下再做比较多一些补偿。
4、未来趋势及发展理解
视频会议是一种利用网络技术实现远程音视频通信的方式，它可以让不同地点的人员进行实时的交流和协作。视频会议已经成为了现代社会中不可或缺的一种通信工具，尤其是在疫情期间，它为远程工作、教育、医疗、娱乐等领域提供了便利和支持。随着技术的不断进步和创新，视频会议未来的发展趋势可能包括以下几个方面：
安全性和隐私性：视频会议涉及到用户的敏感数据和信息，如身份、位置、内容等，因此安全性和隐私性是视频会议的重要考量。未来的视频会议平台将需要提供更强大的加密和认证机制，以保护用户的数据和通信不被窃取或篡改。同时，用户也需要有更多的控制权和选择权，来决定自己的数据和信息是否被共享或存储。
用户体验和质量：用户体验和质量是视频会议的核心竞争力，它直接影响到用户的满意度和忠诚度。未来的视频会议平台将需要提供更流畅和清晰的音视频质量，以减少延迟、卡顿、模糊等问题。同时，用户体验也将更加人性化和智能化，以提供更多的功能和服务，如语音识别、翻译、字幕、录制、编辑等。
兼容性和互通性：兼容性和互通性是视频会议的基本要求，它决定了视频会议能否在不同的设备、网络、平台之间进行连接和通信。未来的视频会议平台将需要支持更多的标准和协议，以实现更广泛的兼容性和互通性。同时，视频会议也将更加集成和融合，以实现与其他应用和服务的无缝对接，如即时消息、文件传输、社交媒体等。
可伸缩性和灵活性：可伸缩性和灵活性是视频会议的发展潜力，它决定了视频会议能否适应不同的需求和场景。未来的视频会议平台将需要提供更高的可伸缩性和灵活性，以支持更多的用户、设备、带宽等资源。同时，视频会议也将更加定制化和个性化，以满足不同行业、领域、组织、个人等用户的特殊需求。