另一篇很好的解释：https://www.itcodemonkey.com/article/6378.html
摘要
在自然语言生成领域, 不同情感标签的生成越来越受到人们的关注。近年来, 生成性对抗网 (gan) 在文本生成方面取得了良好的效果。然而, gan 产生的文本通常存在质量差、缺乏多样性和模式崩溃的问题。本文提出了一个新的框架--sentyan, 它有多个生成器和一个多类判别器, 以解决上述问题。在我们的框架中, 多个生成器同时进行训练, 旨在在没有监督的情况下生成不同情绪标签的文本。我们建议在生成器中建立一个基于惩罚的目标, 以迫使它们中的每一个产生一个特定情感标签的多样化例子。此外, 使用多个生成器和一个多类鉴别器可以使每个生成器专注于准确生成自己的特定情感标签的示例。在四个数据集上的实验结果表明, 我们的模型在生成文本的情感准确性和质量方面始终优于几种最先进的文本生成方法。
Introduction
情商是人工智能的重要组成部分。自动理解和生成感情用事的文本不仅使机器对人类更友好, 而且使它们看起来更聪明。目前短篇文本的情感分类已经取得了良好的进展。例如, 最先进的情绪分类器之一在斯坦福情感树库数据集上的准确率达到了 90% [hu 等人, 2016年]。但与情感分类的成功相比, 一般的情感文本生成具有挑战性, 最近很少有人试图对其进行调查。以前的工作大多限于特定于任务的应用程序, 只是使用隐藏的变量间接控制生成文本的情绪标签, 特别是在情绪反应生成中 [zhou 等人, 2017年;周和王, 2017]。在感情用事的文本生成的深层生成模型中, 很难设计出合适的、具体的训练目标。生成性对抗网 (gan) [good7个等人, 2014年] 是解决这一问题的一个很好的办法, 它使用的是鉴别器, 而不是指导生成器的具体目标。主要直觉是, 由于文本情感分类非常强, 我们可以用分类器来指导感伤文本的生成
在本研究中, 我们的目标是利用 gan 生成各种高质量的感伤文本。也就是说, 在没有并行语料库的情况下, 我们可以在没有监督的情况下自动生成各种可控的感伤文本。然而, 在应用 gan 生成感伤文本时, 仍有一些挑战需要应对。首先, 文本的离散性质导致采样步骤是不可微的, 这使得梯度不可能从鉴别器传递到生成器。近年来, 一些研究将鉴别器引导生成器的过程作为强化学习政策 [yu 等人, 2017年;guo 等人, 2017年]。尽管如此, 生成的文本仍然面临质量差的问题。其次, gan 的主要缺点之一是 "模式崩溃" 问题, 经验证明, gan 更喜欢只围绕少数模式生成样本, 而忽略其他模式 [theis 等人, 2016]。因此, 生成的文本缺乏多样性。
我们提出一个新的文本生成框架----森蒂根, 以解决上述问题, 并生成不同情绪标签的文本。松根由多个发电机和一个多级鉴别器组成, 它们同时训练。与 [yu 等人, 2017] 一样, 我们认为序列生成过程是一个顺序决策过程。我们将每个生成模型视为一个随机参数化策略, 并使用蒙特卡罗搜索来近似状态动作值。然后利用鉴别器对生成模型的序列进行评价, 指导生成模型的学习。但与以前的作品不同的是, 我们的模型包含多个生成器和一个鉴别器。首先, 我们提出了一个新的基于惩罚的目标, 采取更合理的措施, 旨在最大限度地减少整体处罚, 而不是最大限度地增加奖励。实验和理论上都证明了我们基于惩罚的目标可以迫使每个生成器生成特定情感标签的多样化文本, 而不是生成重复但 "安全" 和 "良好" 的示例。其次, 使用我们的鉴别器的多类分类目标可以使生成器更专注于生成自己的特定情感标签的示例, 并远离其他类型的情绪。这提高了生成的文本的情绪准确性。
我们使用一个表现良好的情绪分类器作为评估器来验证生成的文本的情绪准确性, 以及其他几个指标 (即流畅性、新颖性、多样性、可识别性来测量来自不同文本的生成文本的质量)。方面。我们将我们的模型与几种最先进的深层生成模型进行比较, 包括 rnnlm [mikolov 等人, 2011]、gan 及其变体 [yu 等人, 2017;lin 等人, 2017年;郭等人, 2017], vae [kingma 和 w行ing, 2014;kingma 等人, 2014年]。在四个数据集 (即电影评论、啤酒评论、自定义评论和合成数据集) 上的实验结果表明, 我们的模型在生成文本的情感准确性和质量方面始终优于现有模型。
本文的主要贡献总结为:
遵循：
1) 我们提出了一个新的框架, 以产生通用的, 多样化的和高品质的情感文本的不同的情感标签。
2) 我们提出了一个新的惩罚为基础的目标, 使SentiGAN的每一个生成器产生一个特定的情感标签的多样化文本。
3) 对四个数据集进行了广泛的实验, 结果证明了该模型的有效性和优越性。
2 Related Work
无监督文本生成是自然语言处理中的一个重要研究领域。一个标准的经常性神经网络语言模型 [mikolov 等人, 2011] 预测了一个句子的每个单词, 这些单词都以前面的单词和一个不断演变的隐藏状态为条件。但是, 当用于生成文本时, 它有两个主要缺点。首先, 基于 rnn 的模型总是通过最大似然方法进行训练, 这种方法存在暴露偏差 [bengio 等人, 2015年]。其次, 用于训练模型的损失函数是在单词级别, 但性能通常是在句子级别进行评估。利用生成对抗性网络 (gan) 解决这些问题的研究也有一定的内容。
生成对抗性网 (gans) [good近体等, 000, 2014年] 是最近的一类新颖的深层生成模型。尽管 gans 在计算机视觉应用方面取得了巨大的成功 [denton 等人, 2015年;isola 等人, 2016年;salimans 等人, 2016年], 由于离散序列是不可微的, 因此在自然语言生成方面只有一些进展。一些作品试图解决这一问题, 包括 gumbel-softmax 分布 [kusner 和 hernandez-lobato, 2016]、女士强迫 [lamb 等人, 2016] 等。然而, 更常见的是用强化学习的战略梯度来解决不可微的问题, 包括 seqgan [yu 等人, 2017]、rankgan [lin 等人, 2017]、leakgan [郭氏等人, 2017]。这些种类的有机遗传丰性的影响差别不大, 这些方法都不能生成具有不同属性的样本。在不失去通用性的情况下, 我们将在本研究中重点与 seqgan 进行比较。条件 gan [mirza 和 Osindero, 2014] 是 gan 的一个变体, 它生成可控样本, 使用条件变量来指导生成。这也是我们的主要比较之一。labelgan [salimans 等人, 2016] 使用鉴别器来识别与我们相似的多个类别, 但它只有一个生成器, 并不解决文本生成中的离散问题。其他优越的无监督深度生成模型包括变分自动编码器 (vae) [kingma 和 w剂, 2014], 半监督 vae (s-vae) [kingma 等人, 2014年]。vae 由编码器和生成器网络组成, 它们分别将数据示例编码为潜在表示形式并从潜在空间生成样本。虽然 vae 没有产生离散数据的问题, 但它比 gan 有更多的约束和约束, 我们也会在实验中将我们的模型与它进行比较
其他相关工作包括以具体投入 (如用户、产品、方面、评级) 为条件的产品审查一代 [dong 等人, 2017年;zang and wan, 2017;lipton 等人, 2015年]。这些方法通常需要一个大的并行语料库来学习编码器解码器模型。与这些研究不同, 我们的目标是生成不同情绪标签的各种通用评论。
SentiG
3.1 Overall Framework
在实验中把 k 设置为 2, 让sengan产生两种感情标签(正面和负面)。
Generator Learning
在每个时间步2t，训练一个生成器Gi来产生序列X1：t={X1,....Xt},Xt表示在词汇表C中的一个token，Gi(Xt+1|St; θ i g )表示选择第（t+1）个词依赖于当前状态前面生成的词，记为St = {X1, ..., Xt}.并且我们基于损失函数L(X)定义了一个新的惩罚项：
St表示Xt的序列，
是判别器根据序列X1：t+1计算的惩罚项。最后的惩罚项是每个生成器之和，目标函数是最小化它。
由于判别器只能鉴别一个完整的句子，因此我们采用蒙特卡洛搜索和 roll-out 策略对剩下的 X-t 个未知单词进行采样。因此，我们的第 i 个生成器的惩罚函数计算如下：
是句子被判别器给出的可能性，其中
是真实的第i种情感文本.。生成器给出真实情感类别的文本的可能性越低，惩罚项越大。
我们的生成器是简单的lstm层，根据下面这个分布输出第t个单词
其中ht是隐藏状态的时间步长，lstm的参数是
值得注意的是, 我们的生成器也可以很容易地扩展到其他类型的生成器。
Discriminator Learning
在半监督学习的鉴别公式的启发下 [salimans 等人, 2016], 我们使用了一个多类分类目标, 要求鉴别器区分每种情绪类型的真实的文本与和生成的文本.更详细地说, 给定 k 生成器的集合, 鉴别器在 k + 1 类上产生一个softmax概率分布。第i个索引 (di) {1<i<k}的分数表示它属于第 i个真实类型的情感文本的概率, 而第 (k + 1)个 索引的分数表示样本由生成器生成的概率。鉴别器的目标功能是最大限度地减少:
Pg是生成器生成的文本，Pri是真是的第i种情感类别文本，
代表
的第i个索引。由于美国有线电视新闻网最近已被证明在文本分类的巨大有效性 [张和勒库纳 2015], 我们的鉴别器在这里是一个数字有线电视新闻网的层, 它有多个过滤器。
我们执行生成器和鉴别器的对抗训练, 并交替训练它们, 如算法1所示。
3.2 The Multi-Class Classification Objective
就是写了一下把式子5通过
转化成kl散度
3.3 The Penalty-Based Objective
介绍基于目标的惩罚项试证明迫使生成器生成多样性的样本而不是生成重复和安全的样本，因此他提高了生成的文本的多样性和质量。我们将目标函数与GAN和seqgan做比较：
比kl和js好
5 Conclusion and Future Work
使用更复杂精巧的生成器来提高生成的文本的质量，尤其是更长的生成文本。我们也将应用我们的模型在生成其他标签类型文本（比如不同的写作风格）