论文理解Diversified Arbitrary Style Transfer via Deep Feature Perturbation

1、提出了一种利用正交随机噪声矩阵对WCT的过程进行修改的方法,从而能够让风格迁移更具有多样性

方法

  • 核心思想是在加入正交噪声矩阵丰富多样性的基础上,保证WCT过程中style纹理,也就是Gram矩阵不变。也就是说即使用正交噪声矩阵扰动前后feature map和原先不同了,但是Gram Matrix(style 纹理)不变。
    Gram Matrix计算:
    在这里插入图片描述
    在这里插入图片描述

  • 在这里插入图片描述
    这个噪声扰动的方法能够保证style图的Gram Matrix和扰动后的图的Gram Matrix完全相同,即上面的计算结果为0.

  • 原始的WCT计算公式如下:
    在这里插入图片描述
    在这里插入图片描述

  • 加入扰动正交噪声矩阵Z:
    在这里插入图片描述
    证明加入扰动正交噪声矩阵Z之后还是和style图一样的style纹理(相同的Gram Matrix)
    在这里插入图片描述

在这里插入图片描述

实验以及消融分析

    • 作者发现只直接采用扰动后的结果进行输出,会对内容结构有很大的破坏,风格化的结果并不好,所以加入了两个权重平衡这个影响(分别为diversity 超参数 和 stylization 超参数),但是对于colosed-form方法影响很小(WCT以及MST影响都很大),推测可能是由于其考虑了内容架构的损失也最优。
      在这里插入图片描述
      在这里插入图片描述

    • 多层级的扰动,结果会糟糕;单层级的扰动而言,扰动的层级越低,最后结果越糟糕,质量越低。所以多层级的扰动没有必要
      在这里插入图片描述

    • 扰动噪声矩阵的采样的分布类型(正态或者均匀分布)以及其相关参数对结果影响不大,但是采用随机噪声矩阵而不采用正交噪声矩阵对结果影响很大,随机噪声的话结果很差,会淹没内容架构。

    • 扰动矩阵Z可以放在多个位置,放在中间时计算量最小,因为其对应的矩阵维度最小。

    • 过大的diversity超参数会让内容架构很大程度破坏,这时就需要较小的stylization超参数来均衡了,才能保证一个不错的风格化结果。

    • 通过正交噪声矩阵的插入确实能够增加风格化的多样性
      在这里插入图片描述

猜你喜欢

转载自www.cnblogs.com/h694879357/p/13379938.html