[人工智能]sklearn 中的过滤方法

1 .VarianceThreshold(方差过滤)

导库

from sklearn.feature_selection import VarianceThreshold

代码

x_fsvar = VarianceThreshold().fit_transform(X)

2.卡方过滤

导入库

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

代码

x_fschi = SelectKBest(chi2,k=300).fit_transform(x,Y)

我们想要消除所有p值大于特定值，比如0.05

chivalues,pvalues_chi = chi2(x_fsvar,Y)
#查看有效特征数
n = chivalues.shape[0] - (pvalues_chi > 0.05).sum()

• chivalues: 卡方值
• pvalues_chi: p值

其中参数k的取值决定新矩阵中有效特征的个数，
可采用学习曲线进行确定k值

3.f检验

f检验只能捕捉线性关系，并要求数据正态分布
导入库（这里用f检验分类做实例）

from sklearn.feature_selection import f_classif

代码

F,pvalues_f = f_classif(x_fsvar,Y)

其中F表示方差比率，pvalues_f表示p值

f检验的本质是寻找两组数据之间的线性关系，即寻找p值大于0.05或者0.01的特征

#查看有效特征数
n = F.shape[0]  - (pvalues_f > 0.05).sum()

4.互信息

导入库

from sklearn.feature_selection import mutual_info_classif as MIC

代码

result = MIC(x_fsvar,Y)

同样可以查看有效特征数量

它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，1表示完全关联，0表示没有联系

查看有效特征数量

k = result.shape[0] - sum(result <= 0)

更为详细的公式讲解