[人工智能]TF-IDF算法

2021SC @SDUSC
一．分割文本，得到有效Tokens
“token” 其实就是指的一个不区分大小写单词，或者说是以空格等等的符号分割的一个个字符串。“tokens"则是token的列表。一个token允许在tokens中存在多次（在tokens中存在多次意味着该单词在原文中出现了多次）。在读入csv文件之后，我们应分别为Amazon和Google的每条数据求它的tokens。
同时像"is”、"of"这样的token，我们对今后的token分析没有贡献。读入stopwords.txt以删除这些token。
二.求TF-IDF
求TF：对于一个tokens中的一个token，
TF(token)=该token在tokens中的出现次数/tokens中的总token数
在Python中，可以用一个字典来存放一条数据的所有tf值
求IDF：对于所有tokens中的一个token，
IDF(token)=tokens(token列表)的个数/出现过该token的tokens(token列表)的个数
求TF-IDF:TF-IDF(token)=TF(token)*IDF(token)