1.1 算法导入
决策树基于“树”结构来进行决策。
?
1.2 决策树定义
- 决策树( Decision Tree) 又称为判定树，是数据挖掘技术中的一-种重要的分类与回归方法，它是一-种以树结构(包括二叉树和多叉树)形式来表达的预测分析模型。
- 决策树(Decision Tree) 是有监督学习的一种算法。
- 决策树有两种:分类树和回归树。
1.3 决策树发展
- 第一个决策树算法: CLS (Concept Learning System)
- 使决策树受到关注、成为机器学习主流技术的算法: ID3
- 最常用的决策树算法: C4.5
- 可以用于回归任务的决策树算法: CART (Classification and Regression Tree
- 基于决策树的最强大算法: RF (Random Forest)
1.4 结构
- 决策树由节点和分支组成。
- 节点有三种类型:根节点，内部节点和叶节点。-般的，一棵决策树包含一个根节点，若干个内部节点和若干个叶节点。
- 分支:用于连接各个节点。
?
决策树学习的目的是为了产生一棵泛化能力强的决策树
1.5 从树到规则
决策树转换成if- then规则:
????????●由决策树的根 节点到叶节点的每一条路径构建一 条规则;
????????●路径上内部节点的特征对应着规则的条件，而叶节点的类标签对应着规则的结论。
?互斥并且完备:每一个实例都被有且仅有一条路径或一条规则所覆盖。
2.决策树的构建
2.1 基本原理
策略:自上而下分而治之
????????●.自根至叶的递归过程， 在每个中间结点寻找一 个“划分” 属性。
????????●1)开始:构建根节点;所有训练数据都放在根节点，选择-个最优特征，按着这一特征将训练数据集分割成子集，进入子节点。
????????●2)所有子集按内部节点的属性递归的进行分割。
????????●3)如果这些子集已经能够被基本正确分类，那么构建叶节点，并将这些子集分到所对应的叶节点去。
????????●4)每个子集都被分到叶节点.上，即都有了明确的类，这样就生成了一颗决策树。
策略:分而治之”(divide- -and-conquer)
????????自根至叶的递归过程，在每个中间结点寻找一个“划分”(split or test)属性
????????三种停止条件:
????????????????(1)当前结点包含的样本全属于同一类别，无需划分;
????????????????(2)当前属性集为空，或是所有样本在所有属性.上取值相同，无法划分;
????????????????(3)当前结点包含的样本集合为空，不能划分.
伪代码：
?