????????
目录
自然语言处理（Natural Language Processing, NLP）主要研究用计算机理解和生成自然语言的各种理论和方法，属于人工智能领域的一个重要甚至核心分支，是计算机科学与语言学的交叉学科。目前机器在感知智能上的水平基本达到甚至超过了人类的水平。然而在设计自然语言处理以及常识建模和推理等研究的认知智能上，机器与人类还有很大的差距。
自然语言处理任务类别
1.回归问题
????????文本---->数值?将输入文本映射为一个连续的数值，案例如作文的打分，案件刑期或罚款金额预测，评卷等。
2.分类问题
? ? ? ? 文本---->类别 判断一个输入的文本所属的类别 ，如垃圾邮件识别，情感分析等。
3.匹配问题
? ? ? ? 文本<--->文本 判断输入文本间的关系，如文本间相似性。
4.解析问题
? ? ? ? 文本---->词语 对文本中词语进行标注或识别词语间的关系，如词性标注、句法分析、分词、命名实体识别等
5.生成问题
????????data---->文本 由输入（文本、图片、表格等）生成自然语言，如机器翻译、文本摘要、图像描述生成等
自然语言处理技术发展历史
? ? ? ? 受到预料规模以及计算能力的限制，早期的自然语言处理主要采用基于理性主义的规则方法，通过专家总结的符号逻辑知识处理通用的自然语言现象。
? ? ? ? 从二十世纪九十年代开始，随着计算机运算速度的和存储容量的快速增加，以及统计学习方法的愈发成熟，使得一语料库为核心的统计学习方法在自然语言处理领域得以大规模应用。但他也存在明显的局限性，即需要实现利用经验性规则将原始的自然语言输入转化为机器能够处理的向量行实，这一过程称为特征提取。
? ? ? ? 2010年后，随着基于深度神经网络的表示学习方法，该方法直接端到端地学习各种自然语言处理任务，不再依赖于人工设计的特征。能在多层的处理层中提炼出更高阶的关系，并利用模型内部的参数进行控制，而参数的更新值则是根据训练数据上模型的表现，使用反向传播算法进行修正。这种做法可以有向的避免统计学习方法中的人工特征提取操作，自动的发现对于目标任务有效的表示。但其致命缺点为过度以来大规模有标注数据，人力成本过于高昂，而自然语言处理的标注数据往往不够充足。
? ? ? ? 2018年以来，以BERT、GPT为代表的超大规模预训练模型恰好弥补了自然语言处理标注数据不足的缺点，帮助自然语言处理取得了一系列突破，甚至在某些方面超越了人类。
????????所谓预训练模型（Pre-train），即首先在一个原任务上预先训练一个初始模型，然后在下游任务（也称目标任务）上继续对该模型进行精调（Fine-tune），从而达到提高下游任务准确率的目的。
? ? ? ? 为了能够刻画大规模数据中复杂的语言现象，还要求所使用的深度学习模型容量足够大。基于自注意力的Transformer模型显著提升了对于自然语言的建模能力。此外也离不开以GPU、TPU为代表的线代并行计算硬件。
? ? ? ? 我们的学习也将基于预训练模型进行展开。