本文出自论文 Collaborative Edge and Cloud Neural Networks for RealTime Video Processing ，主要提出来一个在边缘和云上协作的处理模型（Edge-Cloud Model）。
视频流的高效处理在许多新兴的物联网和边缘应用程序中是一个关键的组成，例如虚拟现实（VR）、增强现实（AR）以及自动驾驶汽车。这些应用程序要求实时的高通量视频处理。这可以通过一个在边缘和云上协作的处理模型（Edge-Cloud模型）来获得。为了这个目的，许多方法被提出来优化Edge-Cloud视频处理的延迟和带宽占用，特别是基于神经网络的方式。
文章目录
一、简介
- 对于实时处理的应用程序来说，最大的挑战是在低计算能力的边缘设备上进行实时处理的要求。这强制要求系统设计者来选择两个问题点：（1）在云上处理图像但要忍受高延迟和带宽成本；（2）在边缘设备上处理图像但要放低精度或实时要求。一个在边缘和云上的协作模型被提出来避免这两种问题。
- 用于实时视频处理的技术：（1）划分（Splitting）：神经网络被划分到一个边缘分区和一个云分区；（2）压缩（Compression）：数据在被发送到云之前先在边缘被压缩；（3）通信差异（Differential communication）:只发送当前帧和先前帧的差异。
- 在证明中，我们提出了方法结合神经网络技术来实现一个更高的总体性能。特别地，我们探索了所有的结合空间，并为这个空间中的每个点提出了一个方法。另外，我们关注于应用这些神经网络技术和它们在协作Edge-Cloud模型上的结合。
二、Edge-Cloud神经网络
- 系统模型：我们的系统模型由边缘节点组成，它们通过WAN链接来连接到中心云节点。这个边缘节点由一个视频相机组成，它可以记录视频通过预先训练好的神经网络来进行处理。这个边缘节点有能力处理进入的视频帧，但是有着最小的计算能力并且不能依赖特殊的硬件加速器（如GPU）。由于云节点与边缘节点相比，有着不受限制的计算资源，边缘节点将处理神经网络的任务卸载到云上。然而，边缘和云上的通信有着大的延迟和高带宽成本，因此我们需要结合不同的神经网络优化技术来减少从边缘到云上的数据传输量。
- 神经网络技术：（1）神经网络划分（Neural Network Splitting）：神经网络被划分成一个边缘部分和一个云部分，利用了在边缘的计算资源，使得在云上的处理更加有效，另外合理地选择划分点可以优化通信带宽、处理延迟和能耗；（2）通信差异（Differential Communication）：仅发送与先前帧不同的帧的差异，有利于通信带宽的节省；（3）压缩（Compression）：通过压缩图像可以减少通信带宽。
3. NN技术的结合：（1）通信差异和压缩结合：边缘节点提取了原始帧间的差异，然后对差异进行压缩并发送到云节点上，云节点解压差异并重建被NN处理过的图像。（2）划分和压缩的结合：有两种压缩方法，一是层i的输出结果通过一种压缩算法被压缩成字节块，二是该层的每个神经元值被压缩，而不是发送一个神经元的全浮点数值。（3）划分和通信差异的结合：我们使用启发式方法来进行结合，该方法选择层i神经元的一个子集，通过使用一个阈值t来表示两帧之间的差异。如果
，我们不用发送神经元的值到云节点。（4）所有技术的结合：与划分和通信差异的结合是相似的。
三、实验验证
- 在实验中，参与者使用一个神经网络来观察视频的处理效果。参与者观察正在被处理的视频帧，另外参与者也可以选择验证配置，这包括特殊NN技术的选择和配置，参与者可以探索数据减少和精度之间的权衡。在我们的例子中，压缩级别对应于：（1）对于原始图像的JPEG压缩级别；（2）代表神经元层的神经元的比特数。
- 验证中被评估的性能度量包括：（1）延迟（Latency）：处理图像和在边缘应用NN技术的时间；（2）压缩比（Compression ratio）：原始图像和压缩图像大小的比例；（3）精度（Accuracy）：原始神经网络检测到的图像中被应用技术后神经网络中检测到的比例。
四、实验评估
- 图像压缩：为了评估单帧的压缩，我们使用标准JPEG压缩，因为它在低端设备上是可用的，有一个合理的性能。我们使用两个不同的数据集DS1和DS2来评估不同压缩级别的效果。对于所有数据集，我们使用低JPEG级别得到了一个更高的压缩因子。对于DS1，我们得到了一个精度大约95%直到压缩级别为30和一个非常高的压缩比为15。DS2的精度却在压缩级别80后迅速下降，主要原因为DS2包含着无法用中等压缩级别辨别的带有小细节的图像。总之，帧压缩可以显著提高压缩比并且没有大量损失精度，然而帧压缩的好处高度依赖于数据集。
- 图像上的通信差异：我们在DS1上的实验表明我们可以获得一个平均数据减少比为18并且每帧的延迟为80ms。这并不会导致精度上的任何减少，因为我们仍然可以在云节点上重建原始帧。
- 划分+压缩：实验中我们压缩了特定层的输出，我们评估了固定精度位数如何影响NN模型的精度。我们发现可以快速减少固定位数并且在小的精度损失的情况下达到一个压缩比为5的效果。
- 划分+通信差异：这里我们结合了有损层压缩的通信差异方法。我们展示了容忍因子如何影响精度。我们注意到，从容忍因子t>0.01开始，压缩比增加了将近2倍。然而，这也导致了精度的减少。因此，这种技术只适用于需要在压缩之上进行小范围改进，即使这会导致较大的精度损失。
五、总结
我们提出了一个验证来突显对于实时视频处理使用和结合NN技术的优势之处。我们关注于三个技术：划分、通信差异和压缩，并提出了方法来进行结合。我们的验证旨在提供一个关于集合NN技术和正确配置意义的挑战和权衡。
