Prompt-Learning
? ? Prompt Learning(提示学习)是指对输入文本信息按照特定模板进行处理，把任务重构成一个更能充分利用预训练语言模型处理的形式。Prompting使得预训练模型和下游任务之间更加接近，这一点儿与fine-tuning不同，fine-tuning是使用预训练模型做下游任务，prompt learning是各种下游任务适应预训练模型，根据不同的预训练模型重构下游任务。
不同的prompt learning学习任务
这里重点介绍基于清华大学公开的openprompt框架进行文本分类学习以及重点介绍几个api的学习理解。
prompt learning包括Template，Verbalizer，PromptModel等。prompt learning将不同的nlp任务转化为文本分类问题，但是和之前的bert finetuning的文本分类不一致。例如：
文本分类：
输入：看这个娱乐节目不停的笑
输出：正面或者负面
prompt learning下的文本分类，预测mask位置处的词，向完形填空
输入：看这个娱乐节目不停的笑，这个节目是一个mask的节目
输出：有趣的或者无聊的
ManualTemplate
template_text = ‘{“placeholder”:“text_a”}，该句子的意图是：{“mask”}。’
prompt 的template 经过ManualTemplate后会生成一个text，类型为list，
[{‘add_prefix_space’: ‘’, ‘placeholder’: ‘text_a’}, {‘add_prefix_space’: ‘’, ‘text’: ‘，该句子的意图是：’}, {‘add_prefix_space’: ‘’, ‘mask’: None},
{‘add_prefix_space’: ‘’, ‘text’: ‘。’}]
输入的句子‘股票想变成标的证券要达到的条件很高吧’在模板下的text表示如下
‘text’的value为 [‘股票想变成标的证券要达到的条件很高吧’, ‘，该句子的意图是：’, ‘’, ‘。’]
loss_ids：是标记mask的位置，[0,0,1,0]
shortenable: 1是input token，0是squence token，1是标记的placeholder或者shortenable的位置
在tokenizer中的对Template下的text的值进行tokenizer encoder，并在模版的开始和结束位置这两个特殊符号，例如bert预训练模型的特殊符号为cls和sep
loss_ids中的值根据tokenizer encoder的length进行扩充，1是表示mask的位置，加入的特殊编码对应的值为–100，这里默认是-100
备注：
1.在tokenizer的过程中把shortenable_ids这个内容项删掉了；loss_ids在后面的ManualVerbalize中计算label的概率会使用到，即预测mask的词的概率
2.常用的template有：
sentence1 It was [MASK].
sentence1 ? [MASK], sentence2
sentence1 . [MASK], sentence2
sentence1 sentence2 [MASK]
sentence2 ? [MASK], sentence1
ManualVerbalizer
这个是对label的扩展相近的词或者字进行编码，tokenizer分别对这些扩展字词进行tokenizer，统计tokenizer后的每个字词的最大个数，以及每一个标准问扩展词的tokenizer的最大长度，从而确定了扩展字词的矩阵大小，这里是对label进行扩充，在模型分类中会使用这个矩阵，这里是与之前的fine tuning分类有区别的。
例如标准问的扩展字词为[’ 支持’, ’ T’, ’ 类’, ’ 基’, ’ T0’, ’ 种类’, ’ 0’, ’ 申’, ’ 种’, ’ 持’, ’ 赎’, ’ 基金’, ’ 金’, ’ 支’]，其中确定的每个词的最大长度为4，扩展词的最大长度为32，得到的padding结果为[[3118, 2898, 0, 0], [100, 0, 0, 0], [5102, 0, 0, 0], [1825, 0, 0, 0], [100, 0, 0, 0], [4905, 5102, 0, 0], [121, 0, 0, 0], [4509, 0, 0, 0], [4905, 0, 0, 0], [2898, 0, 0, 0], [6604, 0, 0, 0], [1825, 7032, 0, 0], [7032, 0, 0, 0], [3118, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0]]，
mask 矩阵为[[1, 1, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 1, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 1, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0], [0, 0, 0, 0]]
label扩展矩阵的mask矩阵[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
这里边把字词的编码，mask，整个label的mask都作为了参数,tensor shape为[batch_size, 扩展词的最大长度, 每个词的最大长度],
- 对BertForMaskedLM中的logtis进行计算[batch_size, max_seq_len, vocab_size]，
- 根据句子中mask的个数，得到mask位置处word的logits，如果只有一个mask，得到的shape为[batch_size,vocab_szie]，如果是多个mask，得到的mask位置的logits为[batch_size,mask个数,vocab_size],这里maks的个数为1
- 将mask的vocab 概率转化为label扩展词的logits[batch_size, label_num,扩展词的最大长度, 每个词的最大长度],然后根据label的扩展词的mask矩阵在每个词的最大长度这一个维度上进行计算，得到[batch_size, label_num, 扩展词的最大长度],
进行softmax得到概率[batch_size, label_num, 扩展词的最大长度],再取log得到logtis(这个logits可以理解为对label的扩展词的logits) - 聚合得到label的logits，根据label扩展词的mask矩阵得到每一个label的logits[batch_size, label_num]
这里预测mask词是label中扩展词，从而得到label，从预训练模型预测mask位置是vocab，转化为预测label扩展词，从而得倒label，这个是与直接分类的区别，这里使用的是mlm的方式
备注：
- 这里面使用的是transformers中的BertForMaskedLM，不是BertModel,增加了wrapper，使用的是MLMTokenizerWrapper，BertForMaskedLM是预测mask掉的词是单词表中的哪一个词，logits的shape为[batch_size, seq_len, vocab_size]
- 这里的mask位置是从模板得到的，并不是每一个样本进行随机mask
- 不同的template和不用的label扩展词方式，对模型效果有影响
笔者最近在学习prompt learning，如有理解错误的地方，请指正，谢谢
|