QA

1. 采?信息增益、信息增益率作为决策树??策略，有什么区别；

信息增益（ ID3算法）

计算使用所有特征划分数据集D，得到多个特征划分数据集D的信息增益，从这些信息增益中选择最大的，因而当前结点的划分特征便是使信息增益最大的划分所使用的特征。
不足：
a)ID3没有考虑连续特征，?如?度，密度都是连续值，?法在ID3运?。
b)ID3采?信息增益?的特征优先建?决策树的节点。在相同条件下，取值?较多的特征?取值少的特征信息增益?。
c) ID3算法对于缺失值的情况没有做考虑
d) 没有考虑过拟合的问题

信息增益率（ C4.5算法）

是在信息增益的基础之上乘上一个惩罚参数。特征个数较多时，惩罚参数较小；特征个数较少时，惩罚参数较大。
不足：
1)由于决策树算法?常容易过拟合，因此对于?成的决策树必须要进?剪枝。
2)C4.5?成的是多叉树，即?个?节点可以有多个节点。
3)C4.5只能?于分类，如果能将决策树?于回归的话可以扩?它的使?范围。
4)C4.5由于使?了熵模型，??有?量的耗时的对数运算,如果是连续值还有?量的排序运算。

对比：

采?信息增益作为决策树??策略的ID3算法不支持连续值处理、缺失值处理、剪枝。
相反，采?信息增益作为决策树??策略的C4.5算法支持连续值处理、缺失值处理、剪枝。

2. 其他条件?致，对样本某变量进?单调?线性变化，是否会影响决策树??，为什么；

不会

3. 随机森林参数有哪些重要的参数，分别的作?试什么？

RF框架参数：
n_estimators:对原始数据集进?有放回抽样?成的?数据集个数，即决策树的个数。
bootstrap:是否对样本集进?有放回抽样来构建树，True表示是
oob_score:是否采?袋外样本来评估模型的好坏，True代表是
RF决策树参数：
max_features:构建决策树最优模型时考虑的最?特征数。默认是"auto"
max_depth:决策树最?深度。
min_samples_leaf:叶?节点含有的最少样本。默认值是1。
min_samples_split:节点可分的最?样本数，默认值是2。
max_leaf_nodes:最?叶?节点数。int设置节点数,None表示对叶?节点数没有限制。
min_impurity_decrease:节点划分的最?不纯度。
criterion:表示节点的划分标准。不纯度标准参考Gini指数，信息增益标准参考"entrop"
min_samples_leaf:叶?节点最?的样本权重和。默认是0。