[人工智能]700-lecture2-预处理1-Tokens and N-grams

Basic unit of language

• Alphabet (symbol)
• Word (Token) ?符号
• Phrase (Utterance) ?表达
• Discourse (Document) ?论述
• Collection of Discourses (Corpus) 语料
• Collection of Corpus (Corpora) ?语料库

Some basics on Words

????????words约等于words：有些单词是必须连在一起才是这个意思。例如：New Zealand

English Morphology词法

????????词法是建立在有更小的单元-语素（morphemes）组成的单词的方法研究。

????????语素（morphemes）分为两部分：主干（Stems）和词缀（Affixes）

? ? ? ? 我们又能按照词分开的方法分成两个大类：

????????Inflectional ?词尾变化的

? ? ? ? Inflectional Morphology关心单词的主干和词缀的结合。产生的词有和原生词有相同的词类。如果是作为一个语法语义目的的是与原生词不同，但彼此相关。

? ? ? ? ?例：名词和动词。名词变复数/所有格形式（plural and possessive）。动词不同时态的变化（tense of the verb）。词语在变换形式的时候有的规则，有的不规则，这是它的复杂性。

????????名词变复数：Mouse/mice, goose/geese, ox/oxen

????????动词变时态：

????????Regulars… Walk, walks, walking, walked, walked

????????Irregulars Eat, eats, eating, ate, eaten Catch, catches, catching, caught, caught Cut, cuts, cutting, cut, cut

????????Derivational 派生的

? ? ? ? 1.意思的不规则变化? 2.词类会改变? ? 例：

? ? Verbs and Adjectives to Nouns?

? ?Nouns and Verbs to Adjectives

Word Prediction——N-gram

Guess the next word... ...

I notice three guys standing on the ???

????????N-gram模型---通过前面的单词和记录一些相当简单的计数来预测单词。N就是以N个单词为单位，将句子分成若干份。

????????如果N=2，此时上述句子可变为

(I notice), (notice three), (three guys), (guys standing), (standing on), (on the)

????????再根据两个词的组合数的个数排序，找出最可能的下一个单词。也就是说第N个单词是根据前面N-1个单词组合进行预测的。通过计算单词的条件概率预测接下来的单词。也可以用来计算整个句子出现的概率。

N-gram的应用场景：

????????Automatic speech recognition? ? 自动语音识别

????????Handwriting and character recognition? ?手写和字符识别

????????Spelling correction? ? 单词拼写改正

????????Machine translation? ?机器翻译

计数：

He stepped out into the hall, was delighted to encounter a water brother.

带上","和"."一共有15个tokens，14个bigrams

? ? ? ? 但是有时候有些语气词/停顿词，或者重复词怎么计数，这个看application的用途了。

????????如果是语音识别技术ASR，这些词没有用，没必要count；但是对话管理里面需要停顿，这是很有必要。

They picnicked by the pool, then lay back on the grass and looked at the stars.

带上标点，一共有18tokens，但是只有16个类型（the重复）。

lemma--出现在字典里的单词的基本形式。break,?breaks,?broke,?broken?and?breaking中的break

Stem--单词的主干，在字典里可能没有。

Wordform--词形，也叫inflections（词形变化）。

Corpora语料库中有Crawl of 1,024,908,267,229 English tokens ，13,588,391 wordform types

但英语字典中只有500k types，多在Numbers， Misspellings， Names， Acronyms里。

Language Model：P(wn|w1,w2…wn-1)? 概率公式：

P(the | its water is so transparent that)=

P(its water is so transparent that the)/P(its water is so transparent that)