Constrained Graphic Layout Generation via Latent Optimization 论文阅读笔记_莫问前程学无止境的博客-CSDN博客任务基于布局的元素的标签和限制条件，生成高质量合理的布局(Layout)。这个问题其实前人已经有不少的工作处理过了，但是，之前的工作都是直接生成布局，但是在生成布局的时候，有可能出现各种的遮挡，重叠等情况，因此作者在设计新的神经网络解决布局的生成问题之后，利用最优化的思想，设计了目标函数和限制条件，优化最终的生成效果。方法整个的方法分为两个Part,如上图的pipeline所示分别是LayoutGan++和Constrained Layout Generation via Late...https://blog.csdn.net/baidu_40582876/article/details/121637804Constrained Graphic Layout Generation via Latent Optimization(2021)_studyeboy的博客-CSDN博客[Paper] Constrained Graphic Layout Generation via Latent Optimization[Code] ktrk115/const_layout通过潜在优化生成约束图形布局摘要在平面设计中，人类根据设计意图和语义在视觉上排列各种元素是很常见的。例如，标题文本几乎总是出现在文档中其他元素的顶部。在这项工作中，我们生成的图形布局可以灵活地结合这种设计语义，无论是由用户隐式指定还是明确指定。我们使用现成的布局生成模型的潜在空间进行优化，允许我们的方法与现有
https://blog.csdn.net/studyeboy/article/details/122861414本文直观还是挺难理解的，
1.Introduction
通过额外的损失或调节来避免对齐或重叠，在学习目标中集成约束一个缺点是，当用户希望合并新约束时，模型必须适应新条件或新损失，相反，我们选择在生成模型的潜在空间中执行优化，允许使用现有的模型。
Constrained layout Generation via Latent Optimization(CLG-LO)，通过潜在空间优化约束布局生成，它将布局生成定义为潜在空间中的约束优化问题，如下图所示，使用无约束设置和规范生成的GAN模型作为约束优化网络，使用迭代算法优化无约束模型的潜在空间，已找到满足指定约束的布局。允许用户使用单个预训练网络GAN，并根据需要将各种约束合并到布局生成中。这是本文的核心总结，单训了个layoutgan++，然后基于拉格朗日函数优化，在潜在空间上加上约束以寻找最优布局。
2.related work
2.1 layout generation
经典优化方法手动设计具有大量约束的能量函数，布局应满足这些约束，比如之前微软的Automatic Generation of Visual-Textual Presentation Layout，很复杂，想复现这个框架，代价比较大。除了平面设计布局之外，还有室内场景布局设计，都是这一领域的问题。constrained layout generation同时考虑了无约束的生成和约束生成，基于layoutgan构建不受约束的布局生成器，并且用户布局约束应用于学习生成器。
2.2 latent space exploitation
latent z如果是图像合成的话，是一个概率分布，主流研究涉及将目标图像投影到潜在空间，并在学到的流形中使用用户输入执行图像编辑。比如一些图像修复和着色的任务。
3.approach
目标是从用户指定的一组元素标签和约束中生成语义上合理且高质量的设计布局。首先训练一个layoutgan++，一个无约束的布局生成模型，然后将该模型用于约束生成任务。
3.1 layoutgan++
生成器：采用transformer的形式，而不是layoutgan中复杂的self-attention，代码这块显得非常简洁。
判别器：作者用layoutgan的线框渲染器做了对比实验，发现效果并没有提升，尤其是线框渲染器在数据集大小有限的情况下训练变得不稳定。这里作者在layoutgan的git中还提了issue。
auxiliary decoder：经验发现，在文档等对齐良好的布局中，判别器被训练为对对齐敏感而对位置信息不太敏感，即它只关心元素是否对齐，而不关心不寻常的布局，例如将标题元素放在底部，因此为了让判别器了解位置信息，应用了额外的正则化，添加一个辅助解码器来重建边界框。
training objective:
到这里作者训练了一个和layoutgan一样的升级版layoutgan++，对layoutgan中的线框渲染器，self-attention等进行了修改，无约束的布局生成模型变的更加简洁了，如果只到这里，也没问题，不过后续的嵌入约束的布局生成才是作者的重点。
3.2 Constrained layout generation via latent optimizer(CLG-LO)
利用最优化的思想，将限制条件添加到隐空间中，找一个最优隐空间从而保证生成的结果满足此类限制条件。通过迭代来更新参数。
