Task01 NLP和Transformer介绍
本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers
1. 自然语言处理(Natural Language Processing, NLP)
本教程将会基于最前沿的深度学习模型结构（transformers）来解决NLP里的几个经典任务。通过本教程的学习，我们将能够了解transformer相关原理、熟练使用transformer相关的深度学习模型来解决NLP里的实际问题以及在各类任务上取得很好的效果。
自然语言与深度学习的课程推荐：CS224n: Natural Language Processing with Deep Learning
自然语言处理的书籍推荐：Speech and Language Processing
1.1.什么是NLP？
自然语言处理（Natural Language Processing, NLP）是计算机科学和计算语言学中的一个领域，用于研究人类（自然）语言和计算机之间的相互作用。自然语言处理的重点是帮助计算机利用信息的语义结构（数据的上下文）来理解含义。主要用于网络搜索，广告，电子邮件，智能客服，机器翻译，智能新闻播报等等。
1.2.NLP的发展历史
本节参考：https://www.cnblogs.com/aibabel/p/11545074.html
NLP的4个阶段：萌芽期（~1956）—>快速发展期（1957-1970）—>低谷期（1971 -1993）—>复苏融合期（1994年）。
NLP的技术趋势：规则—>统计—>深度学习。
- 萌芽期(~1956)
1956年以前，是自然语言处理的基础研究阶段。一方面，人类文明经过了几千年的发展，积累了大量的数学、语言学和物理学等自然语言处理的理论基础。另一方面，1946年电子计算机的诞生又为机器翻译和随后的自然语言处理提供了物质基础。
1948年Shannon把离散马尔可夫过程的概率模型应用于描述语言的自动机。接着，他又把热力学中“熵”(entropy)的概念引用于语言处理的概率算法中。上世纪50年代初，Kleene研究了有限自动机和正则表达式。1956年，Chomsky又提出了上下文无关语法，并把它运用到自然语言处理中。他们的工作直接引起了基于规则和基于概率这两种不同的自然语言处理技术的产生。
- 快速发展期(1957-1970)
自然语言处理在这一时期很快融入了人工智能的研究领域中。自然语言处理的研究在这一时期分为了两大阵营。一个是基于规则方法的符号(symbolic)，另一个是采用概率方法的随机派(stochastic)。
这一时期，两种方法的研究都取得了长足的发展。从50年代中期开始到60年代中期，以Chomsky为代表的符号派学者开始了形式语言理论和生成句法的研究，60年代末又进行了形式逻辑系统的研究。而随机派学者采用基于贝叶斯方法的统计学研究方法，在这一时期也取得了很大的进步。
- 低速的发展期(1971 -1993)
随着研究的深入，由于人们看到基于自然语言处理的应用并不能在短时间内得到解决，而一连串的新问题又不断地涌现，于是，许多人对自然语言处理的研究丧失了信心。从70年代开始，自然语言处理的研究进入了低谷时期。
自然语言处理在这一低谷时期同样取得了一些成果。70年代，基于隐马尔可夫模型(Hidden Markov Model, HMM)的统计方法在语音识别领域获得成功。80年代初，话语分析(Discourse Analysis)也取得了重大进展。之后，由于自然语言处理研究者对于过去的研究进行了反思，有限状态模型和经验主义研究方法也开始复苏。
- 复苏融合期(1994年至今)
90年代中期以来，计算机的速度和存储量大幅增加，为自然语言处理改善了物质基础，使得语音和语言处理的商品化开发成为可能。1994年Internet商业化和同期网络技术的发展使得基于自然语言的信息检索和信息抽取的需求变得更加突出。
2000年之后的几个里程碑事件：
2001年 - 神经语言模型。基于神经网络的语言模型
2008年 - 多任务学习。多个任务下训练的模型之间共享参数的一般方法
2013年 - Word嵌入。将一个词语(word)转换为一个向量 (vector)表示, 即“word2vec"
2013年 - NLP的神经网络。循环神经网络、卷积神经网络和结构递归神经网络
2014年 - 序列到序列模型。一种使用神经网络将一个序列映射到另一个序列的通用框架
2015年 - 注意力机制。关注主要信息，并忽略掉不相关的信息
2015年 - 基于记忆的神经网络。模型选择从记忆中检索的内容
2018年 - 预训练语言模型。大量语料用于预训练神经网络
1.3.常见的NLP任务
NLP任务划分为4个大类：1、文本分类， 2、序列标注，3、问答任务——抽取式问答和多选问答，4、生成任务——语言模型、机器翻译和摘要生成。
- 文本分类：对单个、两个或者多段文本进行分类。举例：“这个教程真棒！”这段文本的情感倾向是正向的，“我在学习transformer”和“如何学习transformer”这两段文本是相似的。
- 序列标注：对文本序列中的token、字或者词进行分类。举例：“我在国家图书馆学transformer。”这段文本中的国家图书馆是一个地点，可以被标注出来方便机器对文本的理解。
- 问答任务——抽取式问答和多选问答：1、抽取式问答根据问题从一段给定的文本中找到答案，答案必须是给定文本的一小段文字。举例：问题“小学要读多久?”和一段文本“小学教育一般是六年制。”，则答案是“六年”。2、多选式问答，从多个选项中选出一个正确答案。举例：“以下哪个模型结构在问答中效果最好？“和4个选项”A、MLP，B、cnn，C、lstm，D、transformer“，则答案选项是D。
- 生成任务——语言模型、机器翻译和摘要生成：根据已有的一段文字生成（generate）一个字通常叫做语言模型，根据一大段文字生成一小段总结性文字通常叫做摘要生成，将源语言比如中文句子翻译成目标语言比如英语通常叫做机器翻译。
1.4.Transformer的兴起
2017年，Attention Is All You Need论文首次提出Transformer模型结构并在机器翻译任务上取得了最好的效果。2018年，BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding使用Transformer模型结构进行大规模语言模型（language model）预训练（Pre-train），再在多个NLP下游（downstream）任务中进行微调（Finetune），一举刷新了各大NLP任务的榜单最高分，轰动一时。2019年-2021年，研究人员将Transformer这种模型结构和预训练+微调这种训练方式相结合，提出了一系列Transformer模型结构、训练方式的改进（比如transformer-xl，XLnet，Roberta等等）。各类Transformer的改进不断涌现。
另外，由于Transformer优异的模型结构，使得其参数量可以非常庞大从而容纳更多的信息，因此Transformer模型的能力随着预训练不断提升，随着近几年计算能力的提升，越来越大的预训练模型以及效果越来越好的Transformers不断涌现，简单的统计可以从下图看出：
尽管各类Transformer的研究非常多，总体上经典和流行的Transformer模型都可以通过HuggingFace/Transformers, 48.9k Star获得和免费使用，为初学者、研究人员提供了巨大的帮助。
本教程也将基于HuggingFace/Transformers, 48.9k Star进行具体的编程和任务解决方案实现。