前言
因为研究生方向选的是自然语言处理，准备提前接触下相关技术内容。在pytorch学习中发现有个torchtext库，说是用来文本处理，就接触一下。
发现目前网上资料都有点过时了（毕竟这东西出了这么久，总有版本更新）。所以自己另开一个帖子记录以下内容。
……
数据集准备
数据集就选了个常用的网上数据集，关于携程酒店评论。基本就如图所示：
label代表评论标签，1为正面情绪，0为负面情绪。
review代表评论内容。
数据集可以在网上搜搜，到处都是。我这里放一个下载链接。
数据集下载地址
不过如果使用我这个数据集，在后续分词时会报错，因为里面有一行内容为空。删去之后才能正常进行运作。
就这里，非常阴险得空了一条数据。
torchtext流程
简单来说， torchtext主要有三个部分。Field, TabularDataset，BucketIterator（或者是 Iterator，不过我还没试）。这部分先粗略介绍一下大致作用。
Field在我看来就是定义一个接收要求，或者说是处理条件。用于处理文本数据。
TabularDataset就是接受的数据集，就是pytorch中Dataset翻版，不过里面定义了一些文本处理操作，然后存储数据。相比自定义的Dataset而言，TabularDataset里一些预定义功能省去我们nlp中文本处理时间，但有些时候不如Dataset灵活。
BucketIterator就是pytorch中DataLoader翻版，可以进行批次训练。
如上而言，基本使用过程就是先定义Field规则，然后定义TabularDataset存放数据，TabularDataset中使用Field规则。最后将TabularDataset放入定义的
BucketIterator中进行批次训练。
下文将逐步详细介绍。
Field
Field主要参数如图，在中文语料加载中基本只用到 sequential，use_vocab，fix_length, tokenize, stop_words五个属性（我感觉）。
sequential表示是否展示成序列，用在要分词的语料内容上。
use_vocab表示是否使用词典对象，用在要分词的语料内容上。后续将对应词转化为词向量需要。
fix_length表示句子长度，用在要分词的语料内容上。在nlp中，如果输入的是句子，必须确保每个句子维度相同，过长截取，过短补充（pad_token负责充当补充符）
tokenize表示分词函数，用在要分词的语料内容上。可以自定义，也可以用自带的。
stop_words表示停用词，用在要分词的语料内容上。
首先定义分词函数，我这里采用自定义分词函数，北大的pkuseg。
import pkuseg
seg = pkuseg.pkuseg()
# 定义分词函数
def tokenizer(text):
return seg.cut(text)
然后定义Field
from torchtext.legacy.data import Field
TEXT = Field(sequential=True, tokenize=tokenizer, fix_length=385)
LABEL = Field(sequential=False, use_vocab=False)
Field要求每一种需要的属性，都必须定义Field，本文中我们需要评论内容和标签，所以定义两个Field。
TEXT代表评论内容，需要分词以及序列化。fix_length是统计数据中大部分句子长度得来的，这里不仔细描述。
而LABEL 作为标签，自然无需序列化和词典使用。
需要注意的是，我之前看过许多torchtext描述的代码，对于Field的导入方式都已经过时。在最新版中，必须用 from torchtext.legacy.data import Field 来导入。
后续的TabularDataset，BucketIterator也是一样。
这部分整体代码如下：
import pandas as pd
from torchtext.legacy.data import Field
import pkuseg
import torch
# 使用种子
torch.manual_seed(114514)
# 读取数据
df = pd.read_csv('../data/drink/train.csv')
seg = pkuseg.pkuseg()
# 定义分词函数
def tokenizer(text):
return seg.cut(text)
TEXT = Field(sequential=True, tokenize=tokenizer, fix_length=385)
LABEL = Field(sequential=False, use_vocab=False)
读取的数据为train.csv是因为后续训练需要划分训练集与验证集，所以我从原数据集抽了一些评论，分成train.csv（训练集）与valid.csv（测试集）。
TabularDataset
from torchtext.legacy.data import TabularDataset
train_field = [('label', LABEL), ('content', TEXT)]
train, val = TabularDataset.splits(
path='../data/drink', train='train.csv',
validation='valid.csv', format='csv',
fields=train_field, skip_header=True)
这部分还是比较简单，首先定义TabularDataset，加载训练集与验证集。
path代表数据的路径。
train，validation代表训练集与验证集的文件名。splits可以直接通过TabularDataset构造训练集，验证集与测试集。不过本文中并没有测试集。
format代表文件格式。支持csv，tsv，json格式。
skip_header代表读取数据时是否跳过表头。
fields代表文字处理形式，需用到前文所定义的Field。
train_field = [('label', LABEL), ('content', TEXT)]
如上文，左边为装入TabularDataset后的属性名，右边为处理Field格式。
则 label 对应数据集的 label ，而 content 对应数据集中 review
该顺序必须与数据集中一致。同时数量也不能缺失。
如果不想将对应属性装载如TabularDataset，右侧Field改为None。如下图所示：
test_field = [('label', None), ('content', TEXT)]
因为在测试集中并不需要label标签，改为None后TabularDataset便不会加载。
TabularDataset构造完成后，需要将其中的词语转化成词向量。一般使用预训练词向量glove，当然也可以使用自己训练的词向量，比如用word2vec。
TEXT.build_vocab(train, min_freq=3, vectors='glove.6B.50d')
min_freq表示最短词频，低于其的词语不会进行训练。
glove.6B.50d是预训练词向量，没有的话，系统会自动下载。
这一块的整体代码如下：
import pandas as pd
from torchtext.legacy.data import Field, TabularDataset
import pkuseg
import torch
# 使用种子
torch.manual_seed(114514)
# 读取数据
df = pd.read_csv('../data/drink/train.csv')
seg = pkuseg.pkuseg()
# 定义分词函数
def tokenizer(text):
return seg.cut(text)
TEXT = Field(sequential=True, tokenize=tokenizer, fix_length=385)
LABEL = Field(sequential=False, use_vocab=False)
# 因为测试集不要label，所以在field中令label列传入None
# 因为训练集要label，所以在field中令label列传入
test_field = [('label', None), ('content', TEXT)]
train_field = [('label', LABEL), ('content', TEXT)]
train, val = TabularDataset.splits(
path='../data/drink', train='train.csv',
validation='valid.csv', format='csv',
fields=train_field, skip_header=True)
TEXT.build_vocab(train, min_freq=3, vectors='glove.6B.50d')
BucketIterator
Bucketiterator是torchtext最强大的功能之一。Bucketiterator和Iterator的区别是，Bucketlterator尽可能的把长度相似的句子放在一个batch里面。
而且Bucketiterator会自动将输入序列进行shuffle并做bucket,不过，需要告诉Bucketiterator想在哪个数据属性上做bucket。
from torchtext.legacy.data import BucketIterator
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
train_batch_size = 64
val_batch_size = 64
train_iter, val_iter = BucketIterator.splits(
(train, val),
batch_sizes=(train_batch_size, val_batch_size),
device=device,
sort_key=lambda x: len(x.content),
sort_within_batch=False,
repeat=False
)
运行完毕后我们可以看看内容结构和我们想象的差不多
使用debug看到，所需的内容都被装载进去了。
这样就成功将中文语料加载入torchtext 中，之后就可以加入模型训练，跟一般pytorch训练没有什么差别。
总体而言，torchtext 还是满便利的，把一些分词，构建词序表等操作简化，还是值得一试的。
