本文出自于论文Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy ，主要介绍了一种移动设备与边缘协同作用的DNN协同推理框架。
一、简介和相关工作
- 在资源受限的移动设备上运行DNN会带来高能耗，而将DNNs卸载到云上执行时，由于无法控制长时间广域网延迟，其性能也难以预测。为了解决这些挑战，在本文中我们提出来Edgent，一个协同和按需的DNN协同推理框架，它将设备与边缘协同作用。Edgent包含两个关键点：（1）自适应地将DNN计算划分在设备和边缘之间的DNN分区，利用相邻的混合计算资源进行实时的DNN推理；（2）通过在适当的中间DNN层提前退出来加速DNN推理，从而进一步降低计算延迟。
- DNN处理的传统方式是将移动设备生成的输入数据发送到云端进行处理，推理后将结果发送回移动设备。然而以云端为中心的方案，大量数据需要借助长时间的广域网数据传输来上传到云，导致高度端到端延迟和移动设备能耗。为了减轻以云为中心方法的延迟和能量瓶颈，一个更好的方案是利用新型的边缘计算范式，边缘计算支持低延迟和高效的DNN推理。
- Edgent进一步结合了DNN分区和DNN的正确规模，通过在中间DNN层的早期退出来加速DNN推理。但是早期退出会导致部分精度损失，因此Edgent通过随需应变的方式联合优化DNN分区和正确规模。
- 我们采取一种向外扩展的方案，来释放边缘和移动设备之间的协作优势智能，从而缓解终端设备的性能和能量瓶颈。在另一方面，DNN分区不足以满足关键任务应用程序的严格及时性要求。因此，我们进一步应用了DNN的大小调整方法来加速DNN推理。
二、背景及研究动机
- DNN划分：将DNN划分成两部分，然后以较低的传输开销将计算密集型的一部分转移到服务器，于是减少了端到端延迟。通过在设备和边缘之间的DNN划分，我们能够协作混合计算资源在靠近低延迟的DNN推理。
- DNN正确大小：为了进一步降低延迟，我们可以将DNN正确调整大小的方法与DNN划分相结合。DNN的适当大小可以通过提前退出机制来加速模型推理。直观来说，DNN的适当调整进一步减少了DNN推理任务所需的计算量。
- 问题描述：给定预定义的和严格的延迟目标，我们在不违背截止日期要求的前提下要最大化精度。本文要解决的问题可以概括如下：给定一个预定义的延迟要求，为了最大化DNN推理精度，应当如何联合优化DNN划分和正确大小的决定。
三、框架
- Edgent的初步设计：一个框架可以自动地和智能地选择一个DNN模型的最佳划分点和退出点来使精度最大化，同时满足执行延迟的要求。Edgent由三个阶段组成：离线训练阶段，在线优化阶段和协作推理阶段。在离线训练阶段，Edgent执行两个初始化：（1）分析移动设备和边缘服务器来生成对不同类型DNN层的基于回归的性能预测模型；（2）使用BrachyNet来训练带有不同退出点的DNN模型，使部分样本可以提前退出。在在线优化阶段，DNN优化器选择DNNs的最佳划分点和早期退出点，从而使精度最大化，同时在端到端延迟上提供性能保证。在协作推理阶段，根据划分和早期退出安排，边缘服务器将在划分点和其余将在移动设备上运行前执行网络层。
- 层延迟预测：在估计DNN的运行时，Edgent对每层的延迟进行建模，而不是在整个DNN的粒度上建模，这极大减小了分析开销。基于每层的以上输入，我们建立了一个回归模型来预测基于分析的每层延迟。
- DNN划分和正确大小的联合优化：在在线优化阶段，DNN优化器收到了来自移动设备的延迟需求，然后寻找训练过的branchynet模型的最佳出口点和划分点。
- Edgent构建算法描述：
四、实验评估
- 当最佳划分点可能变化时，我们可以看到最佳退出点随着带宽提升也在变得更高，这意味着更高的带宽会带来更高的精度。
- 当带宽增加时，模型的运行时间首先会大幅下降然后会突然上升。这表明我们提出的基于回归的延迟方案可以很好地预估实际的DNN模型运行时延迟。
- 随着延迟需求的增加，最佳退出点会变得更高，这意味着一个较大的延迟目标给予精度提升更大的空间。
五、结论
在这项工作中，我们提出来Edgent，一个协作和随需应变的基于设备-边缘协同的DNN协同推理框架。针对低延迟边缘智能，Edgent引入了两个设计关键点来调整DNN模型的延迟：（1）DNN分区支持边缘和移动设备之间的协作；（2）DNN正确大小决定了DNN的计算要求。
