[数据结构与算法]西瓜书第四章拾遗

决策树基本流程

划分选择

信息增益

增益率

基尼系数

剪枝处理

预剪枝

预剪枝：是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升， 停止划分并将当前结点标记为叶结点。
后剪枝：是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。

连续与缺失值

连续值处理

由于连续属性的可取值数目不再有限，因此，不能直接根据连续属性的可取值来对结点进行划分。此时，连续属性离散化技术可派上用场。最简单的策
略是采用二分法对连续属性进行处理 这正是 C4.5 决策树算法中采用的机制。