Text to image论文精读 从菜谱描述自动生成菜肴照片 CookGAN: Causality based Text-to-Image Synthesis（基于因果关系的文本图像合成 ）

文章被2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)会议录用。

论文地址：https://ieeexplore.ieee.org/document/9157040/citations#citations
CookGAN旨在解决因果关系效应。食物图像的因果演化隐含在一个连续的网络中。
本博客是精读这篇论文的报告，包含一些个人理解、知识拓展和总结。

一、原文摘要

本文从一个新的角度，即图像生成中的因果链，讨论了文本到图像的合成问题。因果关系是烹饪中常见的现象。菜肴外观的变化取决于烹饪动作和配料。合成的挑战在于，生成的图像应该描述作用在物体上的视觉结果。本文提出了一种新的网络结构CookGAN，它模仿因果链中的视觉效果，保留细粒度细节，并逐步向上采样图像。特别地，提出了一个烹饪模拟器子网络，通过一系列步骤，基于配料和烹饪方法之间的交互，对食物图像进行增量更改。在Recipe1M上的实验验证了CookGAN能够以相当可观的初始分数生成食物图像。此外，图像具有语义可解释性和可操作性。

二、关键词

Image generation、Gallium nitride、Generators、Visualization、Image resolution、Semantics、Feature extraction

三、为什么提出CookGAN？

生成性对抗网络（GAN）自在T2I领域应用以来，在解决照片真实感质量和语义一致性问题方面取得了许多进展。虽然这两个方面都强调图像质量，但忽略了：图像生成中的因果视觉场景。

之前的文本都是描述图像中预期的视觉内容的视觉叙事句子，而面对以行动为导向的文本则难以生成，比如：“将鸡肉丁用烤花生搅拌”对应的图像。

CookGAN是研究从菜谱到图像的合成，用烹饪菜谱描述 生成 食物图像，菜谱将食物和配料作为实体，将烹饪步骤作为行动，以文本形式指导菜肴的制作，最后呈现最终准备好的菜肴。CookGAN在因果情景的逐步学习中生动地模仿烹饪过程。
其主要解决了四个问题：

1）允许烹饪步骤和配料之间进行明确的交互
2）学习菜肴在不同步骤上的演变，以便即时修改配料和说明，使菜肴的新颖效果可视化
3）可以模拟成分作用的捆绑效应。例如，鸡蛋的形状取决于一个动作是煮、煎还是蒸
4）了解食材对菜肴的可见性和影响。例如，“糖”可能是看不见的，而“番茄酱”可以显著改变菜肴的外观。

四、模型结构

4.1、结构分析

与StackGAN++有些许相似，CookGAN包括三个生成器和三个判别器，组成堆叠的结构。最初，菜谱文本描述被编码器编码联合噪声后生成菜谱文本特征。将该文本特征输入到上采样块中，转为隐藏层图像特征。之后第一个生成器利用这个图像特征生成64×64的初始图像并联合第一个判别器进行判别。图像特征同时被输入到烹饪模拟器当中，为下一阶段的生成器准备特征。第二个和第三个生成器重复以上过程，最终生成256×256的图像。

4.2、损失函数

整体的损失函数为：

$L={\sum }_{i=0}^2{L}_{G_i}+\lambda L_{CA}$

损失主要有两部分：生成器损失项和CA损失项。
$L_{G_i}$为第i个生成器的损失，$L_{CA}$是条件反射增强（CA）的损失， λ是平衡因子。

生成器损失与以往的模型相似，由无条件损失项和条件损失项组成，无条件损失项鉴别真假图像，条件损失项鉴别图像是否符合文本描述，生成器损失为：

$\begin{array}{rl}{L}_{G_i}=& \frac{1}{2}(\underset{\text{unconditional loss }}{\underbrace{{\mathbb{E}}_{{\phi }_r\sim p_r,z\sim p_z}[\log \left(1-D_i\left(G_i\left({\phi }_r,z\right)\right)\right]}}+\\ & \underset{\text{conditional loss }}{\underbrace{{\mathbb{E}}_{{\phi }_r\sim p_r,z\sim p_z}\left[\log \left(1-D_i\left(G_i\left({\phi }_r,z\right),{\phi }_r\right)\right]\right)}}.\end{array}$

其中的判别器损失为：

$\begin{array}{rl}{L}_{D_i}=& -\frac{1}{2}(\underset{\text{unconditional loss }}{\underbrace{{\mathbb{E}}_{x_i\sim p_{{\text{data }}_i}}\left[\log D_i\left(x_i\right)\right]}}+\\ & \underset{\text{conditional loss }}{\underbrace{{\mathbb{E}}_{x_i\sim p_{{\text{data }}_i,{\phi }_r\sim p_r}}\left[\log D_i\left(x_i,{\phi }_r\right)\right]}}+\end{array}$
$\begin{array}{l}\underset{\text{unconditional loss }}{\underbrace{{\mathbb{E}}_{{\phi }_r\sim p_r,z\sim p_z}\left[\log \left(1-D_i\left(G_i\left({\phi }_r,z\right)\right)\right)\right]}}+\\ \underset{\text{conditional loss }}{\underbrace{{\mathbb{E}}_{{\phi }_r\sim p_r,z\sim p_z}\left[\log \left(1-D_i\left(G_i\left({\phi }_r,z\right),{\phi }_r\right)\right)\right]}})\end{array}$

其中$x_i$是从真实食物图像分布的第i个尺度 抽样的样本，第i个判别器仅在$x_i$和第i个生成器生成的图像做判别。

与StackGAN相同，CA损失是避免过度拟合的正则化器，并加入了文本流形插值,CA损失函数如下：

$L_{CA}=D_{KL}\left(\mathcal{N}\left(\mu \left({\phi }_r\right),\Sigma \left({\phi }_r\right)\right)\Vert \mathcal{N}(0,I)\right)$

五、烹饪模拟模块

烹饪模拟模块是这篇论文里最主要的创新，烹饪模拟模块主要是模拟真实的烹饪场景，其将不同的切割方式和烹饪手段逐渐施加在食材上面。例如，“胡萝卜”被切成薄片，“意大利面”在与“鱿鱼酱”一起炒时变成黑色。

如上图所示：
1） φ i n g = { φ i n g m } m = 1 M ∈ R M × d i n g \varphi_{i n g}=\left\{\varphi_{i n g_{m}}\right\}_{m=1}^{M} \in \mathbb{R}^{M \times d_{i n g}} φing​={ φingm​​}m=1M​∈RM×ding​表示食材特征，其中${\phi }_{in{g}_m}$表示的是第m个食材的第$d_{ing}$维向量。

2） V i = { v j } j = 1 C ∈ R C × L V_{i}=\left\{v_{j}\right\}_{j=1}^{C} \in \mathbb{R}^{C \times L} Vi​={ vj​}j=1C​∈RC×L表示的是第i尺度的图像特征（上一阶段所提供的），其中C是通道深度，L=W×H是特征图的分辨率。

3）$F_{i_{\text{attend }}}$是将食材特征与图像特征相结合而成的image attended ingredient features，姑且我叫它参入食材因子的图像特征，$F_{i_{{\text{attend }}_j}}={\sum }_{m=0}^{M-1}\sigma \left(v_j^T\cdot f\left({\phi }_{in{g}_m}\right)\right)f\left({\phi }_{in{g}_m}\right)$，其中f()是1×1的卷积核，它将食材特征映射到与第i尺度隐藏图像特征Vi相同的维度，而σ(·) 是softmax函数，它输出一个大小为L的注意力图$\sigma \left(v_j^T\cdot f\left({\phi }_{in{g}_m}\right)\right)$，带有概率值，以指示成分的空间分布。 softmax函数生成的注意力图与相应的成分$f\left({\phi }_{\text{ing }}\right)$相乘确定成分的空间位置 ，最后每个维度求和，形成第j通道图像成分特征图 。

4）之后进入通过Gated Recurrent Unit单元 (一种循环神经网络，以下简称GRU)：$F_{i_{coo{k}_j}}=GRU\left(F_{i_{atten{d}_j}},{\phi }_{ins}\right)$

${\phi }_{ins}$为顺序编码后的烹饪步骤，其中 φ i n s = { φ i n s n } n = 1 N ∈ R N × d i n s \varphi_{i n s}=\left\{\varphi_{i n s_{n}}\right\}_{n=1}^{N} \in \mathbb{R}^{N \times d_{i n s}} φins​={ φinsn​​}n=1N​∈RN×dins​，其中${\phi }_{in{s}_n}$是第n条烹饪步骤的第$d_{ins}$维向量。
$F_{i_{\text{attend }}}$为参入食材因子的图像特征（image attended ingredient features），一个步骤中烹饪的结果，即GRU的隐藏状态，被送入下一个GRU单元进行后续烹饪操作 。

$F_{i_{{\text{cook }}_j}}$表示的是第i个尺度第j个通道的被烹饪的食物特征。

5）最后，将三组特征映射Vi（图像特征）、$F_{i_{\text{attend }}}$（参入食材因子的图像特征）、$F_{i_{\text{cook }}}$ (进过烹饪模拟后的食物特征)连接起来，并馈送到剩余块中。变换后的特征映射将成为下一轮图像上采样的输入。

ps：烹饪模拟器可处理多达10个烹饪步骤。考虑到计算时间，超过十步的指令会被截断。

六、实验

6.1、编码器

食材编码器（ingredient encoder），使用了word2vec嵌入，其将单词转换成高阶向量（300维），${\phi }_{\text{ing }}\in {\mathbb{R}}^{300}$

烹饪步骤编码器（ingredient encoder），使用了skip-thoughts 技术，其将步骤形式的句子转化成固定高阶向量(1024维），${\phi }_{ins}\in {\mathbb{R}}^{1024}$。

6.2、数据集

Recipe1M：包含成对的食谱和图像。该数据集提供340922对配方图像
下载：http://im2recipe.csail.mit.edu/

6.3、评价指标

Inception score (IS)：IS值越高，表示视觉多样性和质量越好。
median rank (MedR)：MedR值越低，检索能力越好

6.4、实验效果

6.5语义解释

作者认为，生成的图像不仅应该在视觉上有吸引力，而且在语义上可以解释。文章设计了三个任务来测量生成图像的可解释性：食材识别（Ingredient recognition）、图像到食谱的回溯（Image-to-recipe retrieval）、图像到图像的回溯（Image-to-image retrieval ）

1）食物识别：就是在生成的食品图像中对配料进行多重标记，然后与食谱中用到的真实食材进行对比，下图列出了CookGAN生成的两个样本图像的识别成分。可以看出不仅可以识别可见的成分，还可以识别不可见的成分，但也有很多错误识别（蓝色为错误）的部分。

2）图像到食谱的回溯（Image-to-recipe retrieval），是一种逆向任务，由生成的图像反向查询检索对应的食谱。

3）图像（生成）到图像（真实）的回溯（Image-to-image retrieval ）：也是一种逆向任务，使用生成的图像检索真实的食物图像。

6.6、对菜谱的动态修改

CookGAN的一个优点是，可以通过对菜谱或者配方的增量操作（例如，通过语义变化的配料列表）动态生成图像。如下图：

更有趣的事情是，CookGAN能够学习到菜肴中食材的可见度，如下图，当加入糖时，食物图片的外观基本不变，但当加入番茄酱时，颜色显著改变。

而烹饪方法的改变也会使食物展现出来的外观不同，下图是鸡蛋在不同烹饪方法下，生成的食物图片的状态：

7、小结

实验结果表明，CookGAN能够合成真实的视觉场景来描述烹饪行为的因果关系。与StackGAN++相比，CookGAN能够通过烹饪行为模拟出合适的颜色、形状和成分。
此外，CookGAN展示出了对烹饪常识的一些理解，包括处理食材的可见度（糖和番茄酱的例子）和食材与烹饪手段的捆绑效应（鸡蛋的不同做法）。图像具有语义可解释性和可操作性。

相关阅读

文字生成图像 Text to image（T2I）论文整理 阅读路线和阅读指南