[人工智能]基于自回归假设的神经语言模型

ELMO是一个双向模型，它是一个具有两个方向的自回归LM，它将LSTM的两个方向的隐藏节点状态分割，以反映双向语言模型
DARN解码自顶向下遍历模型的一部分以生成一个示例。它一层一层地采样一个单元，并从最深的隐藏层开始。训练我们将用来重建原始输入的存储信息最小化。
GPT采用多层单向变压器结构。它通过无标记文本训练和生成语言模型，然后根据特定的NLP任务，通过标记数据对模型进行微调。