[数据结构与算法]Datawhale 西瓜书第四章

1、决策树基本流程

? ? ? ?决策树是模拟树状的决策过程，包括根节点、叶子节点和内部节点。根节点包括样本全集，叶子节点表示决策结果。决策树计算的过程就是寻找一条从根节点到叶子节点的路径。

? ? ? ?基本算法过程为：

2、划分选择

? ? ? ?决策树是递归过程，分为三种情况：

? ? ? （1）当前节点包含的样本全属于同一类别，无需化划分。

? ? ? （2）当前属性集为空，或是所有样本在所有属性上取值相同，无法划分。

? ? ? （3）当前节点包含的样本集合为空，不能划分。

? ? ? ? ?具体而言，划分的方法包括

? ? ? ? （1）信息增益。信息增益是使用信息熵来对样本的纯度进行分析。信息熵定义为：

? ? ? ? ? 信息熵越小，数据集的纯度越高。

? ? ? ? （2）增益率。决策过程包括较多的属性偏好。为了减少属性偏好对决策树的影响，引入的增益率的概念，进行最优划分属性选择，计算公式为：

3、剪枝处理。剪枝处理是为了防止训练过程过拟合而导致的模型泛化性能不佳，包括预剪枝和后剪枝策略等。