[人工智能]【自然语言处理】【数据增强】PromDA：应用于低资源NLU任务的、基于prompt的数据增强方法

原始论文地址：2202.12499] PromDA: Prompt-based Data Augmentation for Low-Resource NLU Tasks (arxiv.org)

一、简介

1. 问题

? 深度神经网络通常需要大规模、高质量标注数据才能实现$\text{SOTA}$的效果。然而，在许多场景中构造标注数据都十分有挑战。本论文研究低资源自然语言理解($\text{NLU}$)任务，包括序列分类和序列标注任务。先前的工作通常会为$\text{NLU}$模型提供额外的标注数据。一些工作通过部署自训练框架来从无标注领域内数据生成伪标注数据。但是，从通用语料中抽取领域内无标注数据并非易事。一些工作利用自启发规则来扩展原始的少量训练数据(例如随机替换同义词)，从而有效地创建新的训练实例。然而，这些方法都有可能扭曲文本，导致产生的合成数据在语法和语义上不正确。

2. 现有工作

? 为了解决上面的问题，许多现有的工作尝试使用语言模型($\text{Language?Model,LM}$)或者预训练语言模型($\text{Pre-trained?Language?Model,PLM}$)来进行数据增强。给定训练数据，其可以直接微调$\text{PLM}$来产生新的合成数据。然而在低资源$\text{NLU}$任务中，使用小数据直接微调$\text{PLM}$的所有参数可能会导致过拟合，$\text{PLM}$只会简单的记住这些训练样本。这将会导致产生的合成数据与原始训练数据非常相似，不能为$\text{NLU}$模型提供新的训练信号。最近，一些工作提出了prompt tuning，其仅需要反向传播$\text{Soft?Prompt}$的错误。同时也表明prompt tuning足够与全模型微调相媲美，并且能够极大的减少调整的参数量。因此，prompt tuning十分适合解决低资源微调的过拟合问题。

3. 解决方案

? 本文提出了基于Prompt的数据增强模型($\text{Prompt-based?Data?Augmentation},\text{PromDA}$)。具体来说，固定整个预训练模型，但在小数据上微调时，仅需要微调额外的$\text{soft?prompt}$。此外，作者还观察到$\text{soft?prompt}$的初始化对于微调有十分重要的影响，特别是在低资源条件下。为了更好的初始化prompt参数用于数据增强任务，我们提出了任务不可知的同义关键词预训练任务，来预训练$\text{PLM}$的prompt参数。这个任务模拟了从部分片段信息(例如关键词)生成完整训练样本的过程。类似于先前的工作，论文基于输出的标签来产生合成数据，本文称这个方法为$\text{Output?View?Generation}$。为了提升生成样本的多样性，论文实现了另一种称为$\text{Input?View?Generation}$的微调生成任务，其从样本中抽取关键词作为输入，样本作为输出。由于小训练数据训练出的$\text{NLG}$模型还是会生成低质量的样本，本文利用一致性过滤($\text{NLU?Consistency?Filter}$)来过滤生成的样本。

二、问题形式化

? 在低资源$\text{NLU}$任务中，仅有一个标注数据集合 T = { ( x 1 , y 1 ) , … , ( x n , y n ) } \mathcal{T}=\{(x_1,y_1),\dots,(x_n,y_n)\} T={(x1?,y1?),…,(xn?,yn?)}可以使用，其中$n$相对较小。基于原始标注数据$\mathcal{T}$生成的合成表示数据为 T LM = { ( x ^ 1 , y ^ 1 ) , … , ( x ^ n , y ^ n ) } \mathcal{T}_{\text{LM}}=\{(\hat{x}_1,\hat{y}_1),\dots,(\hat{x}_n,\hat{y}_n)\} TLM?={(x^1?,y^?1?),…,(x^n?,y^?n?)}。本文的目标是，使用$\mathcal{T}\cup {\mathcal{T}}_{\text{LM}}$训练出优于仅使用$\mathcal{T}$训练出的模型。

三、Prompt-based Learning

? 微调是一种常见的调整预训练模型适应下游任务的方式。在低资源数据增强领域，期望生成模型产生的合成数据${\mathcal{L}}_{\text{LM}}$不同于训练集$\mathcal{T}$，从而为$\text{NLU}$模型提供新的信息。但是，使用少量训练数据微调的模型并不适合用来生成增强样本，因为容易过拟合至训练集上。

? Prompt-based learning最早起源于$\text{GPT-3}$的zero-shot learning，其保持预训练语言模型参数的固定，仅在任务相关的输入前添加一些附加的自然语言信息。这种固定预训练语言模型参数的方法可以改善训练中的泛化性。本文受先前工作的启发，使用$\text{Soft?Prompt}$来训练预训练语言模型。具体来说，本文使用基于Transformer预训练语言模型的$\text{seq2seq}$模型来产生合成数据。但是，不同于先前一些工作中的$\text{Soft?Prompt}$，论文中的工作不仅会在输入层添加$\text{Soft?Prompt}$，而且会在每个transformer层前都添加可训练多层感知机。

? 令 P j = { p 1 j , … , p k j } P^j=\{\textbf{p}_1^j,\dots,\textbf{p}_k^j\} Pj={p1j?,…,pkj?}表示第$j$层的$\text{Soft?Prompt}$，则在Transformer模型中第$j$层的第$i$个隐藏层输出${\text{h}}_i^j$定义如下：
$${\text{h}}_i^j=?\begin{array}{l}{\text{p}}_i^j,i\le k\\ {\text{w}}_i,i>k\wedge j=0\\ Trans({\text{h}}^{j?1}{)}_i,\text{Otherwise}\end{array}$$
其中，$\text{Trans}()$是Transformer层的前向传播函数，$w_i$是输入层的固定词向量。(感觉上，这里的意思是$P^j$可训练，其余参数不可训练)

四、用于Prompt初始化的预训练

? $\text{Soft?Prompt}$中$\text{P}$的参数初始化会显著影响合成数据的质量，特别是在低资源数据增强任务中。本文提出了直接固定预训练语言模型参数，仅预训练$\text{Soft?Prompt}$参数的Prompt初始化方式。此外，论文基于假定"能够从给定的部分信息来合成完整的数据"，提出了预训练任务$\text{Synonym?Keywords?to?Sentence}$。

? 具体来说，给定一段文本。首先，使用无监督关键词抽取算法$Rake$获取关键词；然后，利用$\text{WordNet}$进行关键词的同义词替换；最后，基于这些同义关键词来重构原始文本。

五、双视角数据增强

? 先前的一些工作通常会对编码器的输入进行约束，例如输入为固定的关键词或者有限的标签。但是，这种相对较小的输入空间可能会导致输出也较为相似。因此，为了进一步丰富输入空间，论文提出了双视角($\text{Dual-View}$)数据增强。其中，"输入视角($\text{Input?View}$)"会基于句子中的关键词来产生合成数据；而"输出视角($\text{Output?View}$)"则是基于标签来产生合成数据。如算法1中的说明，$\text{PromDA}$先会从$\text{Input?View}$和$\text{Output?View}$生成${\mathcal{T}}_I^1$和${\mathcal{T}}_O^1$。然后，$\text{PromDA}$将${\mathcal{T}}_I^1$输入至$\text{Output?Veiw}$，并将${\mathcal{T}}_O^1$输入至$\text{Input?View}$。这个操作将会使用最终的输出${\mathcal{T}}_O^2$和

${\mathcal{T}}_I^2$包含更多的新单词/短语/知识。

? 对于具体任务。文本分类任务的输出是合成文本和标签，序列标注任务的输出是具有标注边界和实体类型的文本。下表为双视角合成数据的示例

六、一致性过滤

? 由于$\text{PromDA}$使用小数据进行训练，其可能会生成低质量的样本。论文使用$\text{NLU}$一致性过滤来生成最终的样本。具体来说，给定$\text{PromDA}$产生的合成数据及标签，使用$\text{NLU}$模型来再次标注这些数据，并保留那些$\text{PromDA}$和$\text{NLU}$模型输出一致的样本。

七、算法的整体流程

算法1----双视角数据增强

输入：少量的标注数据集$\mathcal{T}$，迭代数$N$；

输出：训练好的$\text{NLU}$模型$M_{NLU}$；

---

$\text{DualViewDA}(\mathcal{D},N)$

1. $M_{LM}\leftarrow \text{Train}(LM,\mathcal{T})$ # 训练语言模型
2. ${\mathcal{T}}_I^1\leftarrow \text{Gen}(M_{LM},\mathcal{T},I)$ # Input，合成数据1
3. ${\mathcal{T}}_O^1\leftarrow \text{Gen}(M_{LM},\mathcal{T},O)$ # Output，合成数据2
4. ${\mathcal{T}}_I^2\leftarrow \text{Gen}(M_{LM},{\mathcal{T}}_O^1,I)$ # 合成数据3
5. ${\mathcal{T}}_O^2\leftarrow \text{Gen}(M_{LM},{\mathcal{T}}_I^1,I)$ # 合成数据4
6. ${\hat{\mathcal{T}}}_{LM}\leftarrow {\mathcal{T}}_I^1\cup {\mathcal{T}}_I^2\cup {\mathcal{T}}_O^1\cup {\mathcal{T}}_O^2$ # 合并所有的合成数据
7. $M_{NLU}^0\leftarrow \text{Train}(NLU,\mathcal{T})$ # 使用少量标注数据训练NLU模型
8. $\text{for}r\in 1,\dots ,N\text{do}$
9. ${\mathcal{T}}_{LM}^r\leftarrow \text{Consist}(M_{NLU}^{r?1},{\hat{\mathcal{T}}}_{LM})$ # 使用一致性过滤产生用于训练的合成数据
10. ${\mathcal{T}}^r\leftarrow {\mathcal{T}}_{LM}^r\cup \mathcal{T}$
11. $M_{NLU}^r\leftarrow \text{Train}(NLU,{\mathcal{T}}^r)$
12. $M_{NLU}\leftarrow M_{NLU}^N$
13. $\text{return}{M}_{NLU}$

八、思考

• 论文使用Prompt的方法来解决样本生成模型过拟合训练数据的问题。但是，使用的$\text{Soft?Prompt}$仍然需要一些数据进行训练，只是训练的参数量较小。
• 如果将prompt概念剥除，整个解决方法更像是通过降低微调预训练模型的参数量来解决过拟合；
• 因此，固定预训练语言模型的大多数参数，仅使少量参数可训练，是否也能达到相同的效果？