一、文本的表示方法简介

由于文字是人类认知过程中产生的高层认知抽象实体，计算机无法直接识别，我们需要将其转换为 “ 数字向量或矩阵 ” 这种计算机可识别的形式。比如：对单词的意思进行编码以便我们可以计算语义它们之间的相似性（例：比较篮球和足球相似，还是足球和菜谱相似）、文档检索（例：检索与查询（web搜索））、在文本数据上应用机器学习（例：聚类/分类算法对向量进行操作）。

文本的表示方法可以分为 “ 通过向量的方式去表达一个单词 ” 与 “ 通过向量的方式去表达一个句子 ” 。

其中， “ 通过向量的方式去表达一个单词 ” 我们此次介绍 one-hot encoding 的方法，“ 通过向量的方式去表达一个句子 ” 我们此次介绍 Boolean 、 count 、Tf-idf 。

由于 “ 通过向量的方式去表达一个句子 ” 时，使用 count词频统计的方法存在一个问题，即 “ 并不是该单词出现的次数越多就越重要，也不是出现次数越少就越不重要 ”，Tf-idf 则考虑了单词的重要性，如下：

在这里插入图片描述

二、应用举例

2.1、通过向量的方式去表达一个单词

词典为：[我们，又，去，爬山，今天，你们，昨天，跑步]

每个单词的表示 ( 使用one-hot encoding，即 “对应词典” 将“该单词”出现的位置标为1，其它位置全标为0,“向量维度”=“词典维度” ) ：

我们：[1，0，0，0，0，0，0，0]
爬山：[0，0，0，1，0，0，0，0]
跑步：[0，0，0，0，0，0，0，1]

2.2、通过向量的方式去表达一个句子（句子已经过分词处理）

词典为：[我们，又，去，爬山，今天，你们，昨天，跑步]

每个句子的表示 ( 使用boolean，即 “对应词典” 将“句子中单词”出现的位置标为1，其它位置全标为0,“向量维度”=“词典维度” ) ：

我们今天去爬山：[1，0，1，1，1，0，0，0]
你们昨天跑步：[0，0，0，0，0，1，1，1]
你们又去爬山又去跑步：[0，1，1，1，0，1，0，1]

每个句子的表示 ( 使用count，即 “对应词典” 将“句子中单词”出现的位置标为“该单词在句子中出现的次数”，其它位置全标为0,“向量维度”=“词典维度” ) ：

我们今天去爬山：[1，0，1，1，1，0，0，0]
你们昨天跑步：[0，0，0，0，0，1，1，1]
你们又去爬山又去跑步：[0，2，2，1，0，1，0，1]

每个句子的表示 ( 使用Tf-idf，即 “对应词典” 将“句子中单词”出现的位置标为“Tfidf(w)值”，其它位置全标为0，“向量维度”=“词典维度”。我们假设以下每一个句子为一个单独的文档 ) ：

我们今天去爬山：[1log(3)，0，1log(3/2)，1log(3/2)，1log(3)，0，0，0]
你们昨天跑步：[0，0，0，0，0，1log(3/2)，1log(3)，1log(3/2)]
你们又去爬山又去跑步：[0，2log(3)，2log(3/2)，1log(3/2)，0，1log(3/2)，0，1log(3/2)]