风格迁移-风格损失函数(Gram矩阵)理解

吴恩达教授卷积神经网络的课程中，有一部分是关于风格迁移的内容。组合内容图片，风格图片生成新的图片

主体思路是：

1. 随机生成一张图片(可以基于原内容图片生成，从而加速训练)
2. 计算其与内容图片之间的内容损失 $J_{content}$
3. 计算其与风格图片之间的风格损失 $J_{style}$
4. 最小化损失函数 $J=αJ_{content}+βJ_{style}$（其中α，β为超参数）

对于内容损失函数，比较容易理解。

内容损失函数是比较容易理解的(比较生成的图片与内容图片在预训练好的网络中某一层的特征图的相似度

（计算两个特征图的L2距离）)

风格损失函数

1. 公式

   $a_{ijk}^{[l]S}$是风格图片在CNN第 $l$层第 $(i,j,k)$位置的输出，其中 $(i,j,k)$对应高，宽，通道

   $G_{kk'}^{[l]S}=\sum_{i=1}^{n_H^{[l]}}\sum_{j=1}^{n_W^{[l]}}a_{ijk}^{[l]S}a_{ijk'}^{[l]S}$

   $G_{kk'}^{[l]G}=\sum_{i=1}^{n_H^{[l]}}\sum_{j=1}^{n_W^{[l]}}a_{ijk}^{[l]G}a_{ijk'}^{[l]G}$

   $J_{style}(S,G)=||G^{[l]S}-G^{[l]G}||_{F}^{2}/(2n_{W}^{[l]}n_{H}^{[l]}n_{c}^{[l]})=\sum_k\sum_{k'}(G_{kk'}^{[l]S}-G_{kk'}^{[l]G})^2/(2n_{W}^{[l]}n_{H}^{[l]}n_{c}^{[l]})$

   扫描二维码关注公众号，回复： 5374323 查看本文章

2. 详解

   

   • 首先我们要知道CNN中第l层的每一个通道以及每一个通道中的值（ $a_{ijk}^{[l]}$）代表什么

     在feature map中，每个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字代表一个特征的强度(https://blog.csdn.net/wangyang20170901/article/details/79037867)

   • 对于 $G_{kk'}^{[l]}=\sum_{i=1}^{n_H^{[l]}}\sum_{j=1}^{n_W^{[l]}}a_{ijk}^{[l]}a_{ijk'}^{[l]}$，中的 $G$被称为 $gram$矩阵

     $G$是一个 $k*k$ 大小的矩阵，k为通道数。

     $G_{kk'}^{[l]}=\sum_{i=1}^{n_H^{[l]}}\sum_{j=1}^{n_W^{[l]}}a_{ijk}^{[l]}a_{ijk'}^{[l]}$

     $G_{kk'}$则是gram矩阵中（k,k’）位置的值，由累加第k与第k‘个通道的相应位置的值的乘积得到

     gram矩阵可以看做feature之间的偏心协方差矩阵（即没有减去均值的协方差矩阵），Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等,同时，Gram的对角线元素，还体现了每个特征在图像中出现的量(https://blog.csdn.net/wangyang20170901/article/details/79037867)

   • 当我们获取了gram矩阵，实际上就是把握住了这幅作品，不同特征之间的关系与联系，比如哪一种特征的量比较多，哪些特征和出现比较多的这个特征正相关or负相关，从而得出了这个作品的风格, 而进一步通过style图片和generate图片的gram矩阵之间的计算出相应的风格损失函数，就可以比较出两者在风格之间的差异。

3. 关键点

   理解feature map的含义以及将feature map不同通道之间的关系转换到风格上。

   ​

   ​