决策树的构建（ID3算法）
分为四步：
- 计算数据集划分前的信息熵
- 遍历没有被划分的特征，计算根据每个特征划分数据集的信息熵
- 选择信息增益最大的特征作为数据划分结点来划分数据
- 递归处理被划分后的数据的子数据集，从未被选择的特征中继续划分数据
递归终止条件：
- 特征都用完了
- 信息增益已经足够小，快趋近于0了
ID3算法：
使用信息增益作为特征指标的选择的决策树算法
离散化
当我们的数据是连续的时候，我们无法对一个一个数据进行拆开分析，于是就有了离散化。
例子：当一个人的心情指度为1-100时，原本这是一个连续的数据，我们可以把1-40分为心情低，40-70分为心情中，70-100分为心情高，这样子一个连续的数据就变得离散了，但是这个具体的分类还是按照具体的实例来说的。
正则化
一般我们会选择类别最多的特征作为我们的分类特征。但是有一个特殊例子，假如将一个班的同学进行分类，我们采用学号作为特征，那么班级中的每个人都是一个单独的叶子，那他的纯度也是十分高的，但是这个不是我们想要的结果，所以就有了正则化
基尼不纯度进行决策树构建（CART算法）
公式：
这个和信息熵的超级像，就不想多解释了，具体解释见下方链接：
链接
剪枝算法
在用决策树的时候，一般会导致过拟合问题，解决方案有俩种：前剪枝，后剪枝
前剪枝：
边构建决策树边进行剪枝，就是设定一个阈值，如果分类的数量小于这个阈值的画，就算能再分，我们也不进行分支了
后剪枝：
先完成决策树的构建，在构建完成以后再进行剪枝运算。就是针对相同的父节点，如果说这几个叶子合为一个节点的时候是符合一个阈值范围之内的化，那就对这几个叶子结点进行合并为一个，成为一个新的叶子节点，再遍历交叉数据集：
算法参数：
在scikit-learn 中使用：sklearn.tree.DecisionTreeClassifier类来实现决策树的分类算法
一些常用的算法：
决策树的多种构建算法
C 4.5就是考虑到ID3的一系列问题，比如需要把数据离散化，对数据进行正则化，还有防止数据过拟合问题的一个解决方案，就是进阶的C 4.5
