静态剪枝与动态剪枝

静态剪枝与动态剪枝


.

分类

通道修剪方法可以分为两种类型:静态和动态(运行时)。
静态:评估每个通道在训练数据集上的重要性,并删除最不重要的通道,以最大限度地减少修剪后的性能损失。
动态:实现对每个单独实例的动态通道修剪,即旨在评估运行时的通道重要性(在不同的输入实例,通道重要性是不同的)通过动态修剪通道,可以将不同的修剪结构视为CNN内数据流的不同路径。

优缺点

与静态方法相比,运行时修剪能够显着提高CNN的表示能力,从而在预测精度方面取得更好的性能。然而,运行时方法以存储成本与动态灵活性为代价(因为要实现对不同个体实例的动态剪枝,需要存储内核的所有参数(甚至引入更多参数))。这使得运行时方法不适用于资源有限的边缘设备。此外,大多数运行时方法仅独立评估每个单层中通道之间的重要性,而没有考虑层间效率的差异。

猜你喜欢

转载自blog.csdn.net/qq_41823532/article/details/127749441