1. 字典特征抽取
from sklearn.feature_extraction import DictVectorizer
def sklearn_feature():
data = [{'city': '北京', 'temperature': 100}, {'city': '北京2', 'temperature': 50},
{'city': '北京3', 'temperature': 20}]
# transfer = DictVectorizer(sparse=False) # 大矩阵
transfer = DictVectorizer(sparse=True) # 减少内存, 自动过滤掉为0的值
data_new = transfer.fit_transform(data)
print("new data:", data_new)
print("特征名字:", transfer.get_feature_names())
return None
初始化一个转换器，参数Sparse为稀疏矩阵参数，若不采用稀疏矩阵时，类别过多，那么矩阵过大。 把类比进行one-hot编码
sparse为False
sparse为True
应用场景：
1）数据集中类别较多，将数据集特征转换成字典类型，然后再用DictVectorizer转换
1）数据集本身就是字典类型
2. 文本特征抽取
对文章进行分类，句子，单词，字母，等，一般把单词作为特征
特征：特征词
2.1 CountVectorizer
文章中的单词作为特征词，并不是出现的单词都做特征词
2.1.1 英文文本
from sklearn.feature_extraction.text import CountVectorizer,
def count_vector(): # 英文
data = ["life is short, I like the python, I like the life",
"life is too long, I dislike the python"]
transfer = CountVectorizer() # 统计样本出现特征词的次数
data_new = transfer.fit_transform(data)
print("特征词:\n", transfer.get_feature_names())
print("new data:\n", data_new.toarray())
print("new data(sparse):\n", data_new)
return None
2.1.2 中文文本
若只将文本进行替换，则会出现下面情况
他不会识别单个词，这时候我要进行手动添加空格。
如下：
def count_vector_Chinese(): # 中文
data = ["我 爱的 是 你, 你 却 不爱 我",
"我 爱的 就是 你"]
transfer = CountVectorizer(stop_words=[]) # 统计样本出现特征词的次数
data_new = transfer.fit_transform(data)
print("特征词:\n", transfer.get_feature_names())
print("new data:\n", data_new.toarray())
print("new data(sparse):\n", data_new)
return None
stop_words为停用词，网上有专门的停用词表，就是那些对于分类没有意义的词。
实现自动分词的库-jieba，jieba.cut进行分词
import jieba
def separate_word(text):
generator = jieba.cut(text) # 分词生成器
text_array = list(generator) # 转换为列表
final_text = " ".join(text_array) # 将字符串进行连接
return final_text
def count_vector_jieba_Chinese(): # 中文自动分词
data = ["统计学作为数据分析的入门知识，非常的重要，作为入门，必须要掌握描述性统计以及里面各类图表的应用场景和理解。"
"而再深入到，如线性回归，贝叶斯，假设检验等，则是为以后成为高级数据分析师做铺垫，在未来做到建模和预测时，"
"会用到很多这类知识，同时在未来进阶过程中，学习机器学习的一些经典算法时，也需要这些知识来帮助理解和学习。",
"Excel作为数据分析的基础，是众多数据分析工具的入门工具，而且它的功能非常的强大，具有非常多的实用性，在快速处理一些数据，"
"快速出图的时候，非常的灵活，也非常的便捷，其中也有很多的函数，包括max,min,average,find,match,vlookup等，"
"可以非常灵活的查询数值或者进行统计分析，同时Excel的数据透视表功能也非常的强大，可以快速的选取所需元素进行分析。"
"非常适合用来做快速的数据清洗，入门门槛低，而且实用性非常强"]
new_data = []
for element in data:
sentence = jieba_tool.separate_word(element)
new_data.append(sentence)
transfer = CountVectorizer(stop_words=[]) # 统计样本出现特征词的次数
data_new = transfer.fit_transform(new_data)
print("特征词:\n", transfer.get_feature_names())
print("new data:\n", data_new.toarray())
print("new data(sparse):\n", data_new)
return None
缺点：只根据出现次数来决定分类结果不合理
关键词：在某一个类别的文章中，出现的次数很多，但是在其他文章中出现的次数很少
2.1.2 TfidVectorizer
主要思想：
def TF_IDF():
# TF: 某一个词在文本中的频率
# IDF: 总文件数目除以包含改词语的文件数目, 再将得到的结果取10为底数的对数
# TF-IDF = TF * IDF (前面两个相乘)
data = ["统计学作为数据分析的入门知识，非常的重要，作为入门，必须要掌握描述性统计以及里面各类图表的应用场景和理解。"
"而再深入到，如线性回归，贝叶斯，假设检验等，则是为以后成为高级数据分析师做铺垫，在未来做到建模和预测时，"
"会用到很多这类知识，同时在未来进阶过程中，学习机器学习的一些经典算法时，也需要这些知识来帮助理解和学习。",
"Excel作为数据分析的基础，是众多数据分析工具的入门工具，而且它的功能非常的强大，具有非常多的实用性，在快速处理一些数据，"
"快速出图的时候，非常的灵活，也非常的便捷，其中也有很多的函数，包括max,min,average,find,match,vlookup等，"
"可以非常灵活的查询数值或者进行统计分析，同时Excel的数据透视表功能也非常的强大，可以快速的选取所需元素进行分析。"
"非常适合用来做快速的数据清洗，入门门槛低，而且实用性非常强"]
new_data = []
for element in data:
sentence = jieba_tool.separate_word(element)
new_data.append(sentence)
transfer = TfidfVectorizer(stop_words=["一些", "众多"])
data_new = transfer.fit_transform(new_data)
print("特征词:\n", transfer.get_feature_names())
print("new data:\n", data_new.toarray())
print("new data(sparse):\n", data_new)
return None