[人工智能]NLP面试知识汇总

NLP面试知识汇总

1. ngram模型

是一种统计语言模型。常用的有unigram(1-gram),bi-ngram,tri-gram。
理论依据：
ngram根据概率公式推导，依据条件概率和乘法公式，假设有两个词A和B，在A后出现B的概率为:$$p(B|A)=\frac{p(AB)}{p(A)}$$上述式子可解释为在$A$同时出现时$AB$同时出现的概率，有$$p(B|A)=\frac{c(AB)}{c(A)}$$其中$c(AB)$为文中$AB$出现的次数，$c(A)$为$A$出现的次数。
变为乘法公式有:$$p(AB)=p(B|A)p(A)$$从而得到ngram概率公式：$$p(A_1{A}_2...A_n)=p(A_1)p(A_2|A_1)p(A_3|A_2{A}_1)...p(A_n|A_{n?1}...A_1)$$引入马尔科夫假设，即当前词的出现仅与之前几个词有关。即：
$$p(A_1,A_2,...A_n)=p(A_i|A_{i?m+1}...A_{i?1})$$ngram模型中n的影响:
* n变大时：对下一个词的约束性信息增大，更大的辨别力，更稀疏，并且n-gram统计的的总数更多，为$[word?nu{m}^V]$个。
* n变小时：高频词次数更多，统计结果更可靠，更高的可靠性 ，但是约束信息更少。

n为特定值时，假设$|V|=2e4$，统计次数为：

2. word2vec

NLP中，最细粒度的是 词，词组成 句子，句子组成 段落、篇章、文档。而word2vec就是表征词的技术。
为什么要有Word2vec？？？
利用模型处理需要将文本转换成数值形式，即嵌入到一个数学空间，这种嵌入方式，就叫词嵌入 word embedding，而 Word2vec 就是词嵌入 word embedding 的一种，是一种无监督预训练方法。
Word2vec的两个学习方式 : Skip-gram和CBOW

word2vec到底怎样训练：
答：上述可知，处理文本需要将文本转换为可处理的数值形式，也就是利用词袋模型，转换为one-hot形式输送入模型进行训练，而在模型处理的过程中，会对one-hot进行一系列的线性或非线性变换，而在one-hot向量线性变换且降维操作中得到的产物，就是最终需要的词向量，也就是该层的权重。

Skip-gram

利用中心词预测上下文，一般为上下两个词。目标函数形式化为 最大化对数似然函数:
$$Aimfun=\sum _{w\in C}logp(Context(w)|w)$$

图中 $W_{V?N}$ 即最终需要的整张词表，假设有 $x_i=[0,0,1,...,0{]}^T\in R^{1e5}$, 词表大小为 $W_{1e5?768}$，表示为$1e5$个词，每个词768维向量。$x_i?W_{1e5?768}$就会得到$W$中第2行的向量，用以表征$x_i$，维度从$1e5$下降到768维。

CBOW

如图所示，训练方式为利用上下文词预测中心词。目标函数形式化为 最大化对数似然函数:
$$Aimfun=\sum _{w\in C}logp(w|Context(w))$$

word2vec训练trick

知识补充 霍夫曼树

原理来源：Huffman编码:一种用于无损数据压缩的熵编码（权编码）算法。
???????目标：出现概率高的符号使用较短的编码，出现概率低的符号则使用较长的编码。
数据结构：最优二叉树，表示一种带权路径长度 最短的二叉树。带权路径长度，指的就是叶子结点的权值乘以该结点到根结点的路径长度。

$hierarchicalsoftmax$ 分层softmax

霍夫曼树在 word2vec 中的应用就是首先将词典中的每个词按照词频大小构建出一棵 Huffman 树，即用于后续的$softmax$:

• 保证词频大处于浅层，词频低处于深层，每一个词都处于这棵 Huffman 树上的某个叶子节点。
• 将原本的一个$|V|$分类问题变成了$lo{g}_2|V|$次的二分类问题。原先要计算$p(w_t{c}_t|)$的时候,普通$softmax$要求词典中每个词的概率大小。在$HierachicalSoftmax$中，只需要把它变成在$Huffman$树中的路径预测问题就可以了，因为当前词$w_c$在$Huffman$树中对应到一条路径，这条路径由这棵二叉树中从根节点开始，经过一系列中间的父节点，最终到达当前这个词的叶子节点而组成，那么在每一个父节点上，都对应的是一个二分类问题。

$negativesampling$ 负采样

普通$softmax$的计算量太大是因为把词典中所有其他非目标词都当做负例，而负采样的思想是 每次按照一定概率随机采样一些词当做负例，从而就只需要计算这些负采样出来的负例，那么概率公式便相应变为：$$p(w_t|c_t)=\frac{exp(e^{{}^{\prime }}(w_t{)}^{T}x))}{{\sum }_{i=1}^{K}ex{p}^{{}^{\prime }}(w_i{)}^{T}x}x=\sum _{i\in c}e(w_i)$$ 与普通 $softmax$ 进行比较会发现，将原来的$|V|$分类问题变成了$K$分类问题。

预训练模型问题

BERT的输入和输出分别是什么？

输入： Token Embeddings + Segment Embeddings + Position Embeddings
Token Embeddings ： 字向量，即每个字的表示
Segment Embeddings ：表示当前字在第几个句子，对应Bert的NSP任务
Position Embeddings ：位置向量表示

不考虑多头的原因，$selfattention$中词向量不乘$QKV$参数矩阵，会有什么问题？

$selfattention$ 核心 是 用文本中的其它词来增强目标词的语义表示，从而更好的利用上下文的信息。
计算过程中一般会有 $q=k=v$，相等实际上指来自同一个基础向量。在实际计算时，因为乘了参数矩阵，$q,k,v$一般不相等。
那如果不乘，每个词对应的$q,k,v$就是完全一样的。相同量级的情况下，$q_i$与$k_i$点积的值会是最大的。在$softmax$后的加权平均中，$w_i$词本身所占的比重将会是最大的，使得其他词的比重很少，无法有效利用上下文信息来增强当前词的语义表示。而乘以参数矩阵后，会使得每个词的$q,k,v$都不一样，能很大程度上减轻上述的影响。

BERT的mask方式？

BERT的mask方式 ：选择mask的 15%，并且其中有 80% 情况下使用mask掉这个词，10% 情况下采用一个任意词替换，剩余 10% 情况下保持原词汇不变。
为什么要mask 15%，而不是其它数值？为什么15%中还要分为80%mask，10%替换，10%保持？
原 论文 中表示是受到 完形填空 的启发。 而$p=0.15$的一个解释为:在一个大小为$1/p=100/15\approx 7$的窗口中随机选一个词，类似CBOW中滑动窗口的中心词。
而分为 80%mask，10%替换，10%保持 的原因：

• 80%mask主要是保证模型能利用上下文预测该位置的词。
• 10%的概率用任意词替换去预测正确的词，相当于文本纠错任务，为BERT模型赋予了一定的文本纠错能力。
• 10%的概率保持不变，缓解了finetune时候与预训练时候输入不匹配的问题(预训练时候输入句子当中有mask，而finetune时候输入是完整无缺的句子，即为输入不匹配问题)。

缺点:

• 针对有两个及两个以上连续字组成的词，随机mask字割裂了连续字之间的相关性，使模型不太容易学习到词组的语义信息。
• 就是每批次数据中只有 15% 的标记被预测，这意味着模型可能需要更多的预训练步骤来收敛。

使用BERT预训练模型为什么最多只能输入512个词，最多只能两个句子合成一句？

可以更改 BERT config，设置更大 max_position_embeddings 和 type_vocab_size 值去满足自己的需求。

为什么BERT在第一句前会加一个[CLS]标志？或者者说[CLS]位置的作用？

加一个[CLS]标志，最后一层该位对应向量可以作为整句话的语义表示，从而 用于下游任务。无明显语义信息的符号 会更“公平”地融合文本中各个词的语义信息，从而更好的表示整句话的语义。
具体来说，$selfattention$用文本中的其它词来增强自身所蕴含的语义信息，但是本身的语义会占主要部分，因此，[CLS]位本身没有语义，经过12层，得到的是融合所有词的加权平均信息，相比其他正常词，可以更好的表征句子语义。

未完待续