稀疏Winograd卷积加速

Winograd快速卷积算法,能够实现3x3或5x5二维卷积的加速,具体参考链接:点击打开链接

"Efficient Sparse-Winograd Convolutional Neural Networks"这篇文章将ReLU引入到Winograd域,并在Winograd域对权重剪枝,可实现稀疏加速。优点:用CUDA自定义了底层TensorFlow OP,支持3x3 Conv2D(stride=1);缺点:主要存在一定的局限性,首先需要借助pooling实现降采样,其次暂不支持其他尺寸的Conv2D,且权重定义在winograd域,不方便预训练模型的使用,通常需要train from scratch。

基于Sparse-Winograd CNN,Resnet18在ImageNet 2012上的训练过程如下(TensorPack作为训练平台):


详细内容请参考如下链接:

论文地址:https://openreview.net/forum?id=HJzgZ3JCW

GitHub地址:https://github.com/xingyul/Sparse-Winograd-CNN

猜你喜欢

转载自blog.csdn.net/nature553863/article/details/80307277
今日推荐