开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET) -> 正文阅读

[人工智能]自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET)

自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET)

The philosophy of Pattern-Exploiting Training (PET)

正如Schick和Schütze(2020)所描述的，PET依赖于一个核心原则:用完形填空问题重新安排训练任务。

通过重新制定训练任务来优化训练过程，提高了transformer模型的性能，同时减少了模型和数据集的规模。

让我们回顾一下基本概念。

我们在学校都遇到过完形填空，比如

Fill the blank with a noun:
I live in a ____.
The correct answer is: house

完形填空题很适合用掩码符号训练的transformers 。

M be a masked language model named MLM
T be the vocabulary of the MLM
___ ∈ T be the mask token

PET将输入映射到输出的过程需要一组模式pattern verbalizer pairs (PVPs)

每对PVP包含:

将输入转换(映射)为包含单个掩码的完形填空题的模式P。
将每个输出转换(映射)到单个标记的语言化器v

有了这些信息，PET的目标是确定输出y是输入x的正确值，因此，PET将确定v(y)在掩码位置P(x)是正确标记的概率。

PET将使用交叉熵来微调其过程。我们可以看到，这个过程可以与知识蒸馏联系在一起，它将大模型转换成小模型。PET的一个变体是iPET，使用递增的数据集（使用上一次生成的标签生成）进行模型训练的迭代过程，通过iPET蒸馏已经证明了它的效率与一个相对较小的ALBERT模型，这个模型比SuperGLUE排行榜的巨型GPT-3模型获得了更好的结果。

PET GitHub:
https://github.com/timoschick/pet
我们可以看到PET在训练过程中引入了蒸馏，减少了大型transformer的需要。在决定为一个工程设计架构时，这是值得考虑的项目。