LLM:可控文本生成【Controlable Text Generation(CTG)】

一、Controlable Text Generation(CTG)定义与应用

1. 什么是CTG

Controlable Text Generation,可控制的文本生成,就是能够在传统的文本生成的基础上,增加对生成文本一些属性、风格、关键信息等等的控制,从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话,文中引用了另一篇更早的综述的定义:

A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models[1]

论文中给出了两个简单的例子:

第一个例子就是给定一个故事线,要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题,比如会给出有害的建议,甚至说脏话,这个时候就需要我们在模型生成的时候加以控制。

作者对CTG总结了这么一个Input-Process-Output的总体框架,简称IPO:

 跟传统NLG的区别就在于我们会在输入的时候加入某些控制因素,从而让最终的输出满足某种条件。

2. CTG的应用场景

CTG可以应用的场景非常广泛:

  • At

猜你喜欢

转载自blog.csdn.net/u013250861/article/details/132527295