[人工智能]构建文本数据集（tokenize、vocab）

构建文本数据集

文本数据集可以将其看作一串单词序列或者字符序列。
构建时一般有以下几个步骤。

1. 文本清洗（比如去除乱码和标点符号、当然在很多时候并不会去掉标点符号）。
2. 将文本存入内存。
3. 将文本拆分成词或者字符。
4. 建立词汇表和对应索引。

文本清洗和读取

这里使用课上提到的《time machine》
百度网盘链接
提取码：pypt

1. 读取文本
   只保留字母并统一成小写。

text_path = './timemachine.txt'


def read_time_machine():
    with open(text_path, 'r') as f:
        lines = f.readlines()
    return [re.sub(r'[^a-zA-Z]+', ' ', line).strip().lower() for line in lines]

lines = read_time_machine()
print('len=', len(lines), '\n', lines[0], '\n', lines[9])

输出如下

len= 3221 
the time machine by h g wells 
was expounding a recondite matter to us his grey eyes shone and

tokenize

将文本划分为词或者字符。

def tokenize(lines, token='word'):
    if token == 'word':
        return [line.split() for line in lines]
    elif token == 'char':
        return [list(line) for line in lines]
    else:
        print('wrong')

tokens = tokenize(lines)
print(tokens[0])

输出为

在这里插入代码片['the', 'time', 'machine', 'by', 'h', 'g', 'wells']

定义计数函数

统计每个词的出现频数。

def count_corpus(tokens):
    if len(tokens) == 0:
        tokens = []
    elif isinstance(tokens[0], list):
        tokens = [token for line in tokens for token in line]
    return collections.Counter(tokens)

定义vocab类

用于返回id_to_token和token_to_id。

class Vocab:
    def __init__(self, tokens=None, min_freq=0, reversed_token=None):
        if not tokens:
            tokens = []
        if not reversed_token:
            reversed_token = []
        counter = count_corpus(tokens)
        self.token_freq = sorted(counter.items(), key=lambda x: x[1], reverse=True)
        self.unk, uniq_tokens = 0, ['UNK'] + reversed_token
        uniq_tokens += [token for token, freq in self.token_freq if freq > min_freq and token not in uniq_tokens]
        self.idx_to_token, self.token_to_idx = [], {}
        for token in uniq_tokens:
            self.idx_to_token.append(token)
            self.token_to_idx[token] = len(self.idx_to_token) - 1

    def __len__(self):
        return len(self.idx_to_token)

    def __getitem__(self, tokens):
        if not isinstance(tokens, (list, tuple)):  # 判断是否为一个词语
            return self.token_to_idx.get(tokens, self.unk)
        return [self.__getitem__(token) for token in tokens]  # 如果为句子则以list形式返回

    def to_tokens(self, indices):  # 将id转为句子（主要用于多个id）
        if not isinstance(indices, (list, tuple)):  # 判断是否为一个id
            return self.idx_to_token[indices]
        return [self.idx_to_token[index] for index in indices]  # 如果为句子则以list形式返回

tokens = tokenize(lines)
vocab = Vocab(tokens, min_freq=2)
print(vocab['time'], vocab.to_tokens([1, 2, 3, 4, 5, 6]), len(vocab))

输出为

19 ['the', 'i', 'and', 'of', 'a', 'to'] 1420