Network Compression
Why Network Compression ?
Outline(有以下方法)
1. Network Pruning
Why Network can be pruned？
Network Pruning 步骤
Why Pruning? （为什么不直接训练一个小的network？）
Network Pruning - Practical Issue（Weight pruning 还是 Neuron pruning 比较好？）
Weight pruning
Neuron pruning（实作上比较容易操作）
2. Knowledge Distillation（train一个大的network，然后再train一个小的network学习大的network）
实作（没有特别有用）
3. Parameter Quantization
Binary Weights（做到极致：参数只用+1和-1量化）
4. Architecture Design（实作上最有效的做法）
Depthwise Separable Convolution
解释原来的卷积和Depthwise Separable Convolution有什么关系
其它轻量级网络
5. Dynamic Computation
别人的笔记
Network Compression
20年课程主页
视频学习 李宏毅2020机器学习深度学习(完整版)国语