引言：
本篇文章是根据周志华老师的《机器学习》第三章内容前两节的内容的，观点仅代表个人看法，有不对的地方还希望多多指正。
第四章：决策树
4.1算法原理：
从逻辑角度讲：一堆，if else的组合
从几何角度讲：根据某种准则划分特征空间
最终目的：将样本越分越纯
4.2 ID3 决策树
自信息：
信息熵：
条件熵：
4.3C4.5决策树
C4.5决策树采用“增益率”来代替“信息增益”。其中增益率的定义为：
其中：
称为属性α的固有值，α的取值个数v越大，其固有值也越大。
4.4CART决策树
基尼值：从样本集合D中随机抽取两个样本，其类别标志不一致的概率。因此，其基尼值越小，碰到异类的概率就越小，纯度自然就越高。
属性α的基尼指数：
CART决策树：选择基尼指数最小的属性作为最优划分属性：
CART决策树的实际构造算法如下：
结束语：
本次笔记可能做得不太好，希望大家有所包含，有不对的地方也请大家积极指正，OK了。