选择属性指标：纯度：让目标变量的分歧最小
评估“不纯度”的指标：
指标一：
信息熵：表示信息的不确定度
?不确定性越大，信息量越大，信息熵越高
选纯度低/信息熵大的作为节点属性
指标二：
信息增益（ID3算法）：划分可以带来纯度的提高，信息熵的下降
公式计算：父节点的信息熵 - 所有子节点的信息熵*该子节点出现的概率
优点：规则简单，可解释性强
缺点：倾向于选择取值比较多的属性，对噪声敏感
一般地，熵H(D)与条件熵H(D|A)之差称为互信息(mutual information)。决策树学习中的信息增益等价于训练数据集中类与特征的互信息。
指标三：
信息增益率（C4.5算法）：因为 ID3 在计算的时候，倾向于选择取值多的属性。为了避免这个问题，C4.5 采用信息增益率的方式来选择属性。信息增益率 = 信息增益 / 属性熵， 这里属性熵指Entropy(D)
优点：可以处理属性是连续值的情况；可以处理缺失值
指标四：
Gini指数（CART）：
CART是一个二叉树，也是回归树，同时也是分类树
GINI指数：总体内包含的类别越杂乱，GINI指数就越大
CART还是一个回归树，回归解析用来决定分布是否终止。理想地说每一个叶节点里都只有一个类别时分类应该停止，但是很多数据并不容易完全划分，或者完全划分需要很多次分裂，必然造成很长的运行时间，所以CART可以对每个叶节点里的数据分析其均值方差，当方差小于一定值可以终止分裂，以换取计算成本的降低。
回归树中，使用平方误差最小化准则来选择特征并进行划分。每一个叶子节点给出的预测值，是划分到该叶子节点的所有样本目标值的均值，这样只是在给定划分的情况下最小化了平方误差。
要确定最优化分，还需要遍历所有属性，以及其所有的取值来分别尝试划分并计算在此种划分情况下的最小平方误差，选取最小的作为此次划分的依据。由于回归树生成使用平方误差最小化准则，所以又叫做最小二乘回归树。
分类树中，使用 Gini 指数最小化准则来选择特征并进行划分；
Gini 指数表示集合的不确定性，或者是不纯度。基尼指数越大，集合不确定性越高，不纯度也越大。这一点和熵类似。另一种理解基尼指数的思路是，基尼指数是为了最小化误分类的概率。
Gini 指数 vs 熵
既然这两个都可以表示数据的不确定性，不纯度。那么这两个有什么区别那？
- Gini 指数的计算不需要对数运算，更加高效；
- Gini 指数更偏向于连续属性，熵更偏向于离散属性。
梯度提升决策树GBDT（Gradient Boosting Decision Tree）【也被称为是MART（Multiple Additive Regression Tree)）或者是GBRT（Gradient Boosting Regression Tree）】： 一种基于集成思想的决策树模型
Boosting，迭代，即通过迭代多棵树来共同决策
GBDT是把所有树的结论累加起来做最终结论的，所以可以想到每棵树的结论并不是年龄本身，而是年龄的一个累加量。
GBDT的核心就在于：每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。比如A的真实年龄是18岁，但第一棵树的预测年龄是12岁，差了6岁，即残差为6岁。那么在第二棵树里我们把A的年龄设为6岁去学习，如果第二棵树真的能把A分到6岁的叶子节点，那累加两棵树的结论就是A的真实年龄；每一轮迭代，拟合的岁数误差都会减小。
优点：可以灵活处理各种类型的数据，包括连续值和离散值。在相对少的调参时间情况下，预测的准备率也可以比较高。这个是相对SVM来说的。
缺点：由于弱学习器之间存在依赖关系，难以并行训练数据
机器学习实战（三）——决策树_呆呆的猫的博客-CSDN博客_决策树
?