[人工智能]第三次机器学习打卡

4.2信息熵：度量样本集合纯度的一种指标

ID3：以信息增益为准则进行划分

C4.5：以信息增益率为准则进行划分属性

CART：以基尼系数来选择属性

信息增益准则对可取数值数目较少的属性有所偏好，所以C4.5的做法是先选增益高的，再从其中选增益率高的

4.3：剪枝处理

过拟合避免不了，只能减缓过拟合

主要通过剪枝来应对过拟合

预剪枝：在决策树生成前进行估计。很多分支没有来得及展开，虽然减少了训练时间开销，但是增加了欠拟合的风险

后剪枝：在生成一棵完整的决策树后，自底向上进行考察，泛化性能好，但是开销大