论文理解《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》
Problem：Image transformation problems
- 使用输出图片和GT图像间的per-pixel loss训练前馈卷积神经网络；
- 从感知网络中提取高级特征，通过定义和优化基于高级特征的感知损失函数可以产生高质量的图片
Our works: 联合上面两种方法的好处，针对图像转换的任务，使用感知损失函数训练了前馈神经网络；
Results: 在图像风格迁移的优化问题上，我们方法的速度更快；同时在单张超分辨率图像上进行实验，用感知损失取代像素损失也产生不错的结果；
具体工作：
解决图像转换问题的方法：
1.用监督方式训练一个前馈卷积神经网络，使用像素损失函数测量输出和GT之间的区别；
优点：在测试时很高效，在训练网络时只需要经过训练的网络即可（理解可能有误：Such approaches are efficient at test-time, requiring only a forward pass through the trained network.）。
缺点：这种方法不会捕捉到输出和GT之间的感知区别（despite their perceptual similarity they would be very dierent as measured by per-pixel losses.）。
2.同期工作发现使用感知损失函数会产生更好的效果；但是这些方法速度很慢，因为推理需要解决优化问题；
实验内容：
在风格迁移和单张超分辨率图片上进行处理；
相关工作：
前馈图像转换问题：
用像素损失函数训练深度卷积神经网络；
本文转换网络的架构受论文（1）和（2）的激发，使用网内下采样来减少特征映射的空间范围，然后通过网内上采样来产生最终输出图像。
感知优化：
工作1（参考论文3）：通过最小化特征重建损失来反演卷积网络的特征，以便理解不同网络层保留的图像信息；
更接近我们工作的工作2（参考论文4）：训练一个前馈神经网络来反演卷积特征，快速逼近解决工作1提出的优化问题。 然而，他们的前馈网络是用像素重建损失进行训练的，而我们的网络直接优化了工作1中的特征重构损失。
风格迁移：（参照论文5）
图像超分辨率：（参照论文6）
具体方法：
系统如下图：
图像转换网络使用随机梯度下降最小化损失函数的权重组合：
感知损失函数：
有两类：测量图片间的高级感知和语义区别；
特征重建损失：
风格重建损失：
简单损失函数：
Pixel Loss
Total variation regulariation
实验：
Style Transfer:
Single-Image Super-Resolution:
结论：
使用感知损失函数训练前馈转换网络，结合前馈图片转换任务和基于优化的方法；
REF:
1. Long, J., Shelhamer, E., Darrell, T.: Fully convolutional networks for semantic segmentation. CVPR (2015)
2.Noh, H., Hong, S., Han, B.: Learning deconvolution network for semantic segmentation. arXiv preprint arXiv:1505.04366 (2015)
3.Mahendran, A., Vedaldi, A.: Understanding deep image representations by inverting them. In: Proceedings of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). (2015)
4.Dosovitskiy, A., Brox, T.: Inverting visual representations with convolutional networks. arXiv preprint arXiv:1506.02753 (2015)
5.Gatys, L.A., Ecker, A.S., Bethge, M.: A neural algorithm of artistic style. arXiv preprint arXiv:1508.06576 (2015)
6.Dong, C., Loy, C.C., He, K., Tang, X.: Image super-resolution using deep convolutional networks. (2015)