Devolutional network阅读笔记

版权声明:本文为博主原创文章,如需转载,请注明出处:http://blog.csdn.net/tina_ttl https://blog.csdn.net/tina_ttl/article/details/52045733

Matthew D. Zeiler, Dilip Kirshnan, Graham W. Taylor, and Rob Fergus. Deconvolutional Network.Computer Vision and Pattern Recognition (June 13-18, 2010) 论文下载 Code Images Videos

简单理解,可能有些地方理解的不到位,还望大家多多指教


1. Deconvolutional Networks的出发点

从图像中提取特征,从这一点而言,Deconvolutional network和Convolutional network的出发点是一致的,只不过,为了实现这一目的使用的策略是不同的

2. Deconvolutional Networks的应用

Deconvolutional network被提出时,是为了从图像中提取特征,从而,可以应用到object recognition中,但后来并没有朝这个方向发展,因为Convolutional network已经很强大了,而且,深层的Deconvolutional network做optimizing还是很困难的;现在的deconvolutional network主要朝着feature visualization方向发展

3. Convolutional network和Deconvolutional Network异同

既然Deconvolutional network和convolutional network的出发点是一致的,那么,他们到底有什么区别呢?它们的具体实现机制是不同的!

  • CNN:给定一组图像及其相应的labels,学习一系列的filters(多层),将这些学习到的filters对输入图像进行卷积可以将输入的图像映射成不同的feature maps
  • DCNN:给定一组图像(不需要labels),去学习一系列的filters和feature maps,使得这些filters对feature maps做卷积后等于输入的图像
  • 这里的“反卷积”应该是与卷积相对的
    • 卷积:利用filters对输入图像进行卷积,得到小一点feature maps
    • 反卷积:利用filters对feature maps进行卷积,得到大一点的输入图像(或者是上一层的feature maps)

4. Deconvolutional Networks到底如何实现的呢?

在《Deconvolutional Network》的文中,作者主要是通过讨论一个优化问题来解决了从输入图像中learn features(latent features)


5. 下面配几张图

  • 文章中的公式(1):任何一幅图像的某一个channel都可以表示为一组feature maps和一组filters的卷积和
    这里写图片描述
    QQ截图20160727145442.png

  • 文章中的公式(2):构造一个loss function,使得任何图像(多个channels)都可以表示为多组feature maps和多组filters的卷积和
    这里写图片描述

  • 文章中的公式(3):求解第 l 层的多幅( I )图像的feature maps和fitlers的目标函数;或者说是:求解第 l 层多个feature maps对应的上一层( l1 )的feature maps和filters的目标函数;是DCNN的核心,后续的工作其实就是在求解该优化问题
    这里写图片描述

6. DCNN的优化问题求解

这部分还不太理解,大致就是类似于EM的iterative的方法:给定输入图像,先固定filters,求解feature maps;再固定feature maps,求解flters;如此依次迭代,最后得到输入图像对应的features maps和filters(可能是多层的哦!)


参考文献:
http://blog.csdn.net/langb2014/article/details/50836102

猜你喜欢

转载自blog.csdn.net/tina_ttl/article/details/52045733