轻量级网络：NetAdapt算法_坚硬果壳_的博客-CSDN博客
1. Choose Number of Filters:这一步的重点是确定有多少过滤器保存在一个特定的层基于经验的测量。NetAdapt逐渐减少目标层中的过滤器数量，并测量每个简单网络的资源消耗。将选择能够满足当前资源约束的最大过滤器数量。注意，当从一个层中删除一些过滤器时，也应该删除以下层中的关联通道。因此，需要考虑其他层的资源消耗变化。
2. Choose Which Filters:此步骤根据前一步的体系结构选择要保留哪些过滤器。文献中提出的方法很多，为了保持算法的简单性，我们选择了基于量的方法。在本工作中，保留L2-范数最大的N个滤波器，其中N为前一步确定的滤波器个数。
3. Short-/Long-Term Fine-Tune:NetAdapt中的短期调优和长期调优步骤都涉及到端到端的网络明智调优。短期调优比长期调优迭代更少。在算法的每次迭代中，我们都用相对较少的迭代次数(即(短期的)恢复精度，以并行或顺序恢复。这一步在适应资源减少较多的小网络时尤为重要，否则精度会下降到零，从而导致算法选择错误的网络方案。
————————————————
版权声明：本文为CSDN博主「thisiszdy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/thisiszdy/article/details/90515075