[人工智能]Learning to Write with Cooperative Discriminators 学习使用协同判别器进行写作

Grice格言：数量、质量、关系和方式，参考多因素的一种语义理解方式。

早在二十世纪六十年代后期,美国哲学家Grice就提出了人类会话活动的一条指导原则――合作原则(Cooperative Principle)。他认为,在所有的语言交际活动中,为 了达到特定的目标,说话人和听话人之间存在着一种默契,一种双方都应该遵守的原则。他称这种原则为会话的“合作原则”。

“合作原则”作为根本原则具体体现为以下四条原则。

1.数量准则(Quantity maxim)。指所说的话应包含交谈所需要的信息;所说的话不应包含超出需要的信息。

2.质量准则(Quality maxim)。指不要说自己认为是不真实的话;不要说自己缺乏足够证据的话。

3.关联准则(Relevance maxim)。指所说的话要切题,不说与主题无关的内容。

4.方式准则(Manner maxim)。指说话者言语要简洁、有条理;避免晦涩的词语。

基于RNN的文本生成器缺点：重复、自相矛盾、过于通用

参考Grice格言，作者提出了一个统一的学习框架，通过组成一个判别器组，每个判别器专门研究不同的通信原则，以应对长文本生成的几个挑战。

从RNN语言模型开始，通过训练多个能够共同解决基本RNN生成器局限性的判别模型，来构造更强大的生成器，然后学习如何对这些判别器进行加权以形成最终的解码目标。

这些“协同”的判别器与基本语言模型相辅相成，形成一个更强、更全局的解码目标。

========================================

类似于GAN、Actor-Critic:

生成器：基本语言模型/RNN语言模型，生成文本。

判别器：协作通信模型，由重复模型、蕴含模型、关联模型、词汇风格模型共同组成，多方面评判生成的文本，以达到去重、去矛盾、去通用的目的。

判别器的四个子模型分别关注Grice提出的合作对话的四个基础原则：数量、质量、关联、方式。

========================================

基本语言模型：RNN语言模型将上下文x和延续y视为单个序列s。

========================================

协作通信模型：引入一组判别器，每个判别器可以编码RNN通常无法捕获的正确写作的一个方面。每个模型（判别器）都经过训练以区分好和坏的生成；通过改变模型参数和训练示例，以指导每个模型关注Grice的不同方面。判别器得分被解释为分类概率（在必要时用logistic函数缩放），并且在目标函数中内插为对数概率。

1.重复模型：该模型通过有偏生成器来处理数量准则，以避免重复。《数量准则》

2.蕴含模型：判断文本质量可以与识别文本蕴涵的自然语言推理（NLI）任务相关：引导生成器既不与之前的（质量准则）生成文本相矛盾，也不能轻易地从上下文（数量准则）出发陈述一些东西。后一种情况是由RNN在生成过程中解释自己的习惯导致的。《质量准则》

3.关联模型：关联模型通过预测候选延续的内容是否与给定上下文相关来编码关系准则。通过训练该模型以区分真实延续和随机延续，这些延续是根据给定的上下文从语料库中的其他（人写）结尾中抽样的。《关系准则》

4.词汇风格模型：在实践中，RNNs生成文本与训练数据相比，具备较少的词汇多样性。为了克服这种影响，引入一个基于观察词汇分布的简单判别器，它捕捉通过词选择表达的写作风格。因此，该分类器对方式准则进行编码。《方式准则》

========================================

混合权重学习：一旦所有的通信模型都经过训练，则学习组合解码目标。特别地，学习权重系数λk，以使用判别损失线性组合评分函数。

在线学习混合权重：基于当前λ值执行每一连续生成，然后基于预测执行梯度下降步骤。这就使得目标函数在训练过程中动态变化：由于来自模型的当前样本用于更新混合权重，它通过区别地应用生成模型来创建自己的学习信号，并为每个数据集分别调整SGD学习率。

波束搜索：由于贪婪解码的局限性以及评分函数不跨时间步长分解的事实，使用波束搜索过程执行生成。

========================================

作者所提出的框架通过训练得到的子模型组合（判别器组合）来学习一个适合生成的解码目标，这些子模型捕获了良好写作的语言动机质量，以引导生成器生成更高质量的文本。