[人工智能]NLP-notebook-1

1.NLP发展历程

2001(nnlm)→2013（Word2vec是Word Embedding方式之一，nlp任务预训练的配)→2014(Seq2Seq:基于rnn Encoder-Decoder的算法，主要用于机器翻译)→2015（attention mechanism:对输入的每个元素考虑不同的权重参数，从而更加关注与输入的元素相似的部分，抑制其它无用的信息）→2017（Transformer：摒弃了传统的CNN和RNN，使用全Attention机制，广泛用于NLP各领域）→2018预训练语言模型（只对后面的输出层进行进行微调finetune，用它来对不同的下游任务，分为了预训练与下游任务两块）。
?

2.预训练语言模型家族

?

Reference:

https://www.bilibili.com/video/BV1YK4y177t2?from=search&seid=7836536311771729206