[人工智能]数据预处理流程（NLP）

真实类别标签构建标签索引字典。

构建字符索引字典

将输入句子切分为字符级别，然后生成字符级别的索引字典（通过索引找词，通过索引找向量方便）。

将输入句子转换为索引

补齐和截断，
补齐时（补齐的索引不重要，需要设置一下标志符区分，以区分真实字符索引）

以上数据如何放到模型中？

词嵌入层（embedding编码）

对词语进行embedding得到向量
输入：[batch_size,seq_length]
输出：[batch_size,seq_length,dim]

融入其他特征信息到词嵌入层中

位置信息：
位置设置长度[1,seq_len,dim]根据batch_size,使得一个batch_size所有句子都拼接一样的向量。
标志信息：
0,1表示上一句所有词，下一句所有词，见比较两句话相似度的任务
初始向量维度[2,768],两种不能可能性
构建长度为[batch_size*seq_len,2]的one-hot向量进行矩阵乘法，得到[batch_size,seq_len,768]