日常学习记录——决策树根节点的选择
1 数据集
本例使用的是经过预处理的模糊数据集，如下所示。其中，C1代表密度属性列，C2代表含糖量属性列，L、N、H分别代表偏低，中等，偏高这三个模糊语义。
2 根节点的选择
1 信息增益的计算
代码如下：
# 计算数据集的信息熵
def cal_entD(target):
count_posi_label = 0
for i in range(len(target)):
if target[i] == 1:
count_posi_label = count_posi_label + 1
p1 = count_posi_label / len(target)
entD = -(p1 * math.log2(p1) + (1 - p1) * math.log2(1 - p1))
print(count_posi_label, len(target), p1, entD)
return entD
也就是完成西瓜书上的这一个过程：
2 计算单列属性信息熵
代码如下：
# 计算单列属性的信息熵，如计算密度=密度_L时的信息熵
def cal_Ak(data, target, index):
count_Col = 0
count_posi_label = 0
for i in range(len(data)):
if data[i][index] != 0:
count_Col = count_Col + data[i][index]
if target[i] == 1:
count_posi_label = count_posi_label + 1 * data[i][index]
p1 = count_posi_label / count_Col
ent1 = -(p1 * math.log2(p1) + (1 - p1) * math.log2(1 - p1))
DV_D = count_Col / len(data)
DV_D_Ent = DV_D * ent1
return Bunch(
DV_D=DV_D,
Ent=ent1,
DV_D_Ent=DV_D_Ent
)
具体原理见西瓜书第76页。因为我用的是模糊化处理过的数据集，也不知道这么算是否是正确的，但是如果只数个数不考虑隶属度的问题的话，后面的信息增益会变小于0。所以这里分子选择对隶属度进行累加，分母选择了正例个数与隶属度取交集的算法。
3 计算各属性信息增益
代码如下：
# 计算密度的信息熵及信息增益
C1_l = cal_Ak(data, label, 0)
C1_n = cal_Ak(data, label, 1)
C1_h = cal_Ak(data, label, 2)
Gain_C1 = EntD - (C1_l.DV_D_Ent + C1_n.DV_D_Ent + C1_h.DV_D_Ent)
print(Gain_C1)
# 计算含糖量的信息熵及信息增益
C2_l = cal_Ak(data, label, 3)
C2_n = cal_Ak(data, label, 4)
C2_h = cal_Ak(data, label, 5)
Gain_C2 = EntD - (C2_l.DV_D_Ent + C2_n.DV_D_Ent + C2_h.DV_D_Ent)
print(Gain_C2)
运行结果如下，可见C2即含糖量的信息增益最大，所以根节点选择含糖量。
注释：
8：数据集包含正例个数 ，17：数据集总数，0.9975：数据集信息熵
0.03416：C1的信息增益
0.23947：C2的信息增益
3 存在问题与反思
虽然对根节点的选择有了一定的理解，但是后续的子节点的选择还是有点困难。目前分析可能有以下两个原因：
1、西瓜数据集强行采用模糊决策树的理论是不太合适的，因为在西瓜书上利用数据集3.0α做例子时，介绍了多变量决策树这一种分类方法。或许了解一下多变量决策树会更好一些。
2、其次，我可能太想构造一个模糊决策树出来了，但是单论模糊理论和决策树理论我都没有掌握的很好，还是要从底层出发，踏踏实实地学才可以。尤其是对模糊论集之间关系的理解与推理。
继续努力吧。
