Narrator：文本驱动，自然可控，人与场景交互生成

文源新智元编辑：LRS 好困

【新智元导读】Narrator可以从文本描述中自然可控地生成人与场景交互，适用于各类情况：由空间关系指导的交互、由多动作指导的交互、多人场景交互，以及上述类型的自由组合。

自然可控的人与场景交互（Human Scene Interaction, HSI）生成在虚拟现实/增强现实（VR/AR）内容创作和以人为中心的人工智能等多个领域发挥着重要作用。

然而，现有方法的可控能力有限、交互种类有限、生成结果不自然，严重限制了其在现实中的应用场景。

针对这一问题，天津大学团队联合清华大学在ICCV 2023的工作中提出Narrator，将重点放在一项具有挑战性的任务上，即从文本描述中自然可控地生成逼真且多样的人与场景交互。

项目主页：http://cic.tju.edu.cn/faculty/likun/projects/Narrator

代码：https://github.com/HaibiaoXuan/Narrator

从人类认知角度来看，理想的生成模型应能正确推理空间关系并探索交互的自由度。

因此，作者提出了一个基于关系推理的生成模型，通过场景图分别对场景和描述中的空间关系进行建模，并引入一种将交互动作表示为原子身体部位状态的部位级交互机制。

特别是，受益于关系推理，作者进一步提出了一种简单但有效的多人生成策略，这是当时对可控的多人场景交互生成的首次探索。

最后，作者进行了大量实验和用户调研，证明了Narrator能够可控地生成多样化的交互，其效果明显优于现有工作。

方法动机

现有的人与场景交互生成方法大多关注在交互的物理几何关系，但缺乏对生成的语义控制，也局限于单人生成。

因此，作者着眼于一项具有挑战性的任务，即从自然语言描述中可控生成真实且多样的人与场景交互。作者观察到人类通常会通过空间感知和动作识别来自然描述在不同地点进行各种互动的人。

图1 Narrator可以自然可控地生成语义一致且物理合理的人与场景交互，适用于以下各种情况：（a）由空间关系引导的交互，（b）由多动作引导的交互，（c）多人场景交互，以及（d）结合上述交互类型的人与场景交互。

具体来说，空间关系可以表示为场景或局部区域中不同物体之间的相互关系，而交互动作则由原子身体部位状态指定，如人的脚踩地、躯干靠着、右手轻拍和低着头等。

以此为出发点，作者采用场景图来表示空间关系，提出了联合全局和局部场景图 (Joint Global and Local Scene Graph, JGLSG) 机制，为随后的生成提供了全局位置感知。

同时，考虑到身体部位状态是模拟符合文本的逼真交互的关键，作者引入了部位级动作（Part-Level Action, PLA）机制来建立人体部位与动作之间的对应关系。

受益于有效的观察认知以及所提出的关系推理的灵活性和复用性，作者进一步提出一种简单而有效的多人生成策略，这是当时第一个自然可控且用户友好的多人场景交互（Multi-Human Scene Interaction, MHSI）生成方案。

方法思路

Narrator框架总览

Narrator的目的是自然可控地生成人与场景交互，这种交互在语义上与文本描述一致且在物理上与三维场景匹配。

图2 Narrator框架总览

如图2所示，该方法采用基于Transformer的条件变分自编码器 (cVAE)，主要包括：

1）与孤立考虑场景或物体的现有研究相比，设计了一种联合全局和局部场景图机制，来推理复杂空间关系和实现全局定位感知；

2）针对人们会同时通过不同的身体部位完成交互动作的观察，引入了部件级动作机制，以实现逼真和多样化的交互；

3）在场景感知优化过程中额外引入了交互二分面损失，以便获得更好的生成结果；

4）进一步扩展到多人交互生成，并最终促进了多人场景交互的第一步。

联合全局和局部场景图机制

空间关系的推理可以为模型提供特定场景的线索，对于实现人与场景交互的自然可控性具有重要作用。

因此，作者设计了一种全局和局部场景图联合机制，通过以下三个步骤来实现：

1. 全局场景图生成：给定场景，用预训练好的场景图模型生成全局场景图，即，其中，是带有类别标签的对象，是和之间的关系，n是物体数量，m是关系数量；

2. 局部场景图生成：采用语义解析工具来识别描述的句式结构并提取生成局部场景，其中定义了主语-谓语-对象的三元组；

3. 场景图匹配：模型根据相同的对象语义标签将全局与局部场景图中的节点对应起来，并通过扩展边关系来自动增加一个虚拟人节点以提供位置信息。

部件级动作（PLA）机制

场景中人的交互是由原子身体部位状态组成的，因此作者提出了一种细粒度部位级动作机制，使得模型能从给定交互中注意重要部位而忽略无关部位。

具体来说，作者探索了丰富且多样的交互动作，并将这些可能的动作对应到人体的五个主要部位：头部、躯干、左/右臂、左/右手和左/右下半身。

同时，分别使用独热编码（One-Hot）代表这些动作和身体部位，并根据对应关系将它们连接起来以便后续编码。

对于多动作的交互生成，作者采用注意力机制来学习身体结构的不同部位状态。

在给定的交互动作组合中，每个动作对应的身体部位与所有其他动作之间的注意力都会被自动屏蔽。

以「一个人使用柜子蹲在地上」为例，蹲下对应的是下半身状态，因此其他部位标记的注意力将被屏蔽为零。

场景感知优化

作者利用几何和物理约束进行场景感知优化，以改善生成结果。在整个优化过程中，该方法确保生成的姿势不会出现偏差，同时鼓励与场景接触，并约束身体以避免与场景相互穿透。

给定三维场景S和生成的SMPL-X参数后，优化损失为：

其中，鼓励身体顶点与场景接触；是基于符号距离的碰撞项；是相比现有工作额外引入的交互二分面（IBS）损失，其为取样于场景和人体之间的等距点集合；是一个正则因子，用于惩罚偏离初始化的参数。

多人场景交互（MHSI）

在现实世界的场景中，很多情况下并非只有一个人与场景交互，而是多人以独立或关联的方式进行交互。

然而，由于缺乏MHSI数据集，现有方法通常需要额外的人工努力，无法以可控和自动的方式处理这项任务。

为此，作者仅利用现有的单人数据集，为多人生成方向提出了一种简单而有效的策略。

给定多人相关的文本描述后，作者首先将其解析为多个局部场景图和交互动作，并定义候选集为，其中l为人数。

对于候选集中的每一项，首先将其与场景和对应全局场景图一起输入Narrator，然后执行优化过程。

为了处理人与人之间的碰撞，在优化过程中额外引入了损失，其中为人与人符号距离。

然后，当优化损失低于根据实验经验确定的阈值时，接受这一生成结果，同时通过添加人类节点更新；否则认为生成结果不可信，并通过屏蔽对应的物体节点来更新。

值得注意的是，这种更新方式建立了每一代结果与前一代结果之间的关系，避免了一定程度的拥挤，并且与简单的多次生成相比空间分布更合理和交互更逼真。

以上过程可以表述为：

实验结果

由于目前现存的方法无法直接从文本描述中自然可控地生成人与场景交互，作者将PiGraph [1]、POSA [2]、COINS [3] 合理扩展为适用于文本描述的方式，并使用相同的数据集训练它们的官方模型，修改后的方法定义为PiGraph-Text、POSA-Text和COINS-Text。

图3 不同方法的定性对比结果

图3展示了Narrator与三种基线的定性比较结果。PiGraph-Text由于其自身表现形式的限制，存在更严重的穿透问题。

POSA-Text在优化过程中往往会陷入局部最小值，从而产生不良的交互接触。COINS-Text将动作绑定到特定物体上，缺乏对场景的全局感知，从而导致与未指定物体的穿透，并且难以处理复杂的空间关系。

相比之下，Narrator可以根据不同层次的文字描述，正确推理空间关系，剖析多动作下的身体状态，从而获得更好的生成效果。

在定量比较方面，如表1所示，Narrator在五个指标上均优于其他方法，显示出该方法生成的结果具有更准确的文本一致性和更优秀的物理合理性。

表1 不同方法的定量对比结果

除此之外，作者也提供了详细的比较与分析来更好了解所提出的MHSI策略的有效性。

考虑到目前还没有针对MHSI的工作，他们选择了一种直接的方法作为基线，即与用COINS按顺序生成和优化的方法。

为了进行公平比较，同样为其引入了人为碰撞损失。图4和表2分别展示了定性和定量结果，都有力证明了作者所提出的策略在MHSI上语义一致和物理合理的优势。

图4 与用 COINS 按顺序生成和优化的方法进行的MHSI定性比较

表2 与用 COINS 按顺序生成和优化的方法进行的MHSI定量比较

该工作的demo视频如下：

作者简介

宣海彪，天津大学21级硕士研究生

主要研究方向：三维视觉、计算机视觉、人与场景交互生成

李雄政，天津大学19级博士研究生

主要研究方向：三维视觉、计算机视觉、人体与衣物重建

张劲松，天津大学21级博士研究生

主要研究方向：三维视觉、计算机视觉、图像生成

张鸿文，清华大学博士后

主要研究方向：以人为中心的计算机视觉和图形学

刘烨斌，清华大学教授

主要研究方向：计算机图形学，三维视觉与计算摄像

个人主页：https://liuyebin.com/

李坤（通讯作者），天津大学教授、博导

主要研究方向：三维视觉、智能重建与生成

个人主页：http://cic.tju.edu.cn/faculty/likun

参考资料：

[1] Savva M, Chang A X, Hanrahan P, et al. Pigraphs: learning interaction snapshots from observations[J]. ACM Transactions on Graphics (TOG), 2016, 35(4): 1-12.

[2] Hassan M, Ghosh P, Tesch J, et al. Populating 3D scenes by learning human-scene interaction[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 14708-14718.

[3] Zhao K, Wang S, Zhang Y, et al. Compositional human-scene interaction synthesis with semantic control[C]. European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 311-327.

关注公众号【机器学习与AI生成创作】，更多精彩等你来读

卧剿，6万字！30个方向130篇！CVPR 2023 最全 AIGC 论文！一口气读完

深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读

深入浅出ControlNet，一种可控生成的AIGC绘画生成算法！

经典GAN不得不读：StyleGAN

戳我，查看GAN的系列专辑~！