[人工智能]机器学习实验之肿瘤预测（AdaBoost）

# 肿瘤预测（AdaBoost）

【实验内容】

 基于威斯康星乳腺癌数据集，使用AdaBoost算法实现肿瘤预测。

【实验要求】

 1.加载sklearn自带的数据集，使用DataFrame形式探索数据。
 
 2.划分训练集和测试集，检查训练集和测试集的平均癌症发生率。
 
 3.配置模型，训练模型，模型预测，模型评估。
 
  （1）构建一棵最大深度为2的决策树弱学习器，训练、预测、评估。
  
  （2）再构建一个包含50棵树的AdaBoost集成分类器（步长为3），训练、预测、评估。   
  
      参考：将决策树的数量从1增加到50，步长为3。输出集成后的准确度。
      
  （3）将（2）的性能与弱学习者进行比较。
  
 4.绘制准确度的折线图，x轴为决策树的数量，y轴为准确度。

AdaBoostClassifier参数解释:

• base_estimator：弱分类器，默认是CART分类树：DecisionTressClassifier
• algorithm：在scikit-learn实现了两种AdaBoost分类算法，即SAMME和SAMME.R， SAMME就是AdaBoost算法，指Discrete。AdaBoost.SAMME.R指Real AdaBoost，返回值不再是离散的类型，而是一个表示概率的实数值。SAMME.R的迭代一般比SAMME快，默认算法是SAMME.R。因此，base_estimator必须使用支持概率预测的分类器。
• n_estimator：最大迭代次数，默认50。在实际调参过程中，常常将n_estimator和学习率learning_rate一起考虑。
• learning_rate：每个弱分类器的权重缩减系数v。fk(x)=fk?1?ak?Gk(x)f_k(x)=f_{k-1}a_kG_k(x)f k(x)=f k?1?a k?G k(x)。较小的v意味着更多的迭代次数，默认是1，也就是v不发挥作用。

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
from sklearn import tree # 导入决策树包
from sklearn.ensemble import AdaBoostClassifier # 导入 AdaBoost 包
from sklearn.metrics import accuracy_score # 导入准确率评价指标
import numpy as np
from sklearn.metrics import accuracy_score # 导入准确率评价指标

加载sklearn自带的数据集，使用DataFrame形式探索数据

cancers = load_breast_cancer()
df = pd.DataFrame(cancers.data, columns=cancers.feature_names)
df

569 rows × 30 columns

划分训练集和测试集，检查训练集和测试集的平均癌症发生率

x_train, x_test, y_train, y_test = train_test_split(cancers.data, cancers.target, test_size=0.30)
print("train: {0:.2f}%".format(100 * y_train.mean()))
print("test: {0:.2f}%".format(100 * y_test.mean()))

train: 62.06%
test: 64.33%

配置模型，训练模型，模型预测，模型评估

构建一棵最大深度为2的决策树弱学习器，训练、预测、评估。

tr = tree.DecisionTreeClassifier(max_depth=2) #加载决策树模型

tr.fit(x_train, y_train)

DecisionTreeClassifier(max_depth=2)

predictions = tr.predict(x_test)

WeakLearnersAccuracy = accuracy_score(y_test, predictions)

再构建一个包含50棵树的AdaBoost集成分类器（步长为3），训练、预测、评估。

clf = AdaBoostClassifier(base_estimator=tree.DecisionTreeClassifier(),n_estimators=50,learning_rate=3)
clf

AdaBoostClassifier(base_estimator=DecisionTreeClassifier(), learning_rate=3)

clf.fit(x_train, y_train)

AdaBoostClassifier(base_estimator=DecisionTreeClassifier(), learning_rate=3)

predictions = clf.predict(x_test)

StrongLearnersAccuracy = accuracy_score(y_test, predictions)

将强学习者的性能与弱学习者进行比较

print("StrongLearnersAccuracy: {0:.2f}%".format(StrongLearnersAccuracy))
print("WeakLearnersAccuracy: {0:.2f}%".format(WeakLearnersAccuracy))

StrongLearnersAccuracy: 0.89%
WeakLearnersAccuracy: 0.92%

绘制准确度的折线图，x轴为决策树的数量，y轴为准确度

accuracys = []
for i in range(1,50,3):
    clf = AdaBoostClassifier(base_estimator=tree.DecisionTreeClassifier(),n_estimators=50,learning_rate=3)
    clf.fit(x_train, y_train)
    predictions = clf.predict(x_test)
    temp = accuracy_score(y_test, predictions)
    accuracys.append(temp)
accuracys= np.array(accuracys)
accuracys

array([0.88888889, 0.89473684, 0.89473684, 0.89473684, 0.89473684,
       0.89473684, 0.9005848 , 0.89473684, 0.88888889, 0.88888889,
       0.89473684, 0.9005848 , 0.88888889, 0.89473684, 0.88888889,
       0.89473684, 0.9005848 ])

plt.figure(figsize=(20,8)) 
plt.grid(True,linestyle='-',alpha=0.5)
plt.plot(range(1,50,3),accuracys)
plt.show()

【实验内容】

 基于威斯康星乳腺癌数据集，使用AdaBoost算法实现肿瘤预测。

【实验要求】

 1.加载sklearn自带的数据集，使用DataFrame形式探索数据。
 
 2.划分训练集和测试集，检查训练集和测试集的平均癌症发生率。
 
 3.配置模型，训练模型，模型预测，模型评估。
 
  （1）构建一棵最大深度为2的决策树弱学习器，训练、预测、评估。
  
  （2）再构建一个包含50棵树的AdaBoost集成分类器（步长为3），训练、预测、评估。   
  
      参考：将决策树的数量从1增加到50，步长为3。输出集成后的准确度。
      
  （3）将（2）的性能与弱学习者进行比较。
  
 4.绘制准确度的折线图，x轴为决策树的数量，y轴为准确度。

AdaBoostClassifier参数解释:

• base_estimator：弱分类器，默认是CART分类树：DecisionTressClassifier
• algorithm：在scikit-learn实现了两种AdaBoost分类算法，即SAMME和SAMME.R， SAMME就是AdaBoost算法，指Discrete。AdaBoost.SAMME.R指Real AdaBoost，返回值不再是离散的类型，而是一个表示概率的实数值。SAMME.R的迭代一般比SAMME快，默认算法是SAMME.R。因此，base_estimator必须使用支持概率预测的分类器。
• n_estimator：最大迭代次数，默认50。在实际调参过程中，常常将n_estimator和学习率learning_rate一起考虑。
• learning_rate：每个弱分类器的权重缩减系数v。fk(x)=fk?1?ak?Gk(x)f_k(x)=f_{k-1}a_kG_k(x)f k(x)=f k?1?a k?G k(x)。较小的v意味着更多的迭代次数，默认是1，也就是v不发挥作用。

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
from sklearn import tree # 导入决策树包
from sklearn.ensemble import AdaBoostClassifier # 导入 AdaBoost 包
from sklearn.metrics import accuracy_score # 导入准确率评价指标
import numpy as np
from sklearn.metrics import accuracy_score # 导入准确率评价指标

加载sklearn自带的数据集，使用DataFrame形式探索数据

cancers = load_breast_cancer()
df = pd.DataFrame(cancers.data, columns=cancers.feature_names)
df

569 rows × 30 columns

划分训练集和测试集，检查训练集和测试集的平均癌症发生率

x_train, x_test, y_train, y_test = train_test_split(cancers.data, cancers.target, test_size=0.30)
print("train: {0:.2f}%".format(100 * y_train.mean()))
print("test: {0:.2f}%".format(100 * y_test.mean()))

train: 62.06%
test: 64.33%

配置模型，训练模型，模型预测，模型评估

构建一棵最大深度为2的决策树弱学习器，训练、预测、评估。

tr = tree.DecisionTreeClassifier(max_depth=2) #加载决策树模型

tr.fit(x_train, y_train)

DecisionTreeClassifier(max_depth=2)

predictions = tr.predict(x_test)

WeakLearnersAccuracy = accuracy_score(y_test, predictions)

再构建一个包含50棵树的AdaBoost集成分类器（步长为3），训练、预测、评估。

clf = AdaBoostClassifier(base_estimator=tree.DecisionTreeClassifier(),n_estimators=50,learning_rate=3)
clf

AdaBoostClassifier(base_estimator=DecisionTreeClassifier(), learning_rate=3)

clf.fit(x_train, y_train)

AdaBoostClassifier(base_estimator=DecisionTreeClassifier(), learning_rate=3)

predictions = clf.predict(x_test)

StrongLearnersAccuracy = accuracy_score(y_test, predictions)

将强学习者的性能与弱学习者进行比较

print("StrongLearnersAccuracy: {0:.2f}%".format(StrongLearnersAccuracy))
print("WeakLearnersAccuracy: {0:.2f}%".format(WeakLearnersAccuracy))

StrongLearnersAccuracy: 0.89%
WeakLearnersAccuracy: 0.92%

绘制准确度的折线图，x轴为决策树的数量，y轴为准确度

accuracys = []
for i in range(1,50,3):
    clf = AdaBoostClassifier(base_estimator=tree.DecisionTreeClassifier(),n_estimators=50,learning_rate=3)
    clf.fit(x_train, y_train)
    predictions = clf.predict(x_test)
    temp = accuracy_score(y_test, predictions)
    accuracys.append(temp)
accuracys= np.array(accuracys)
accuracys

array([0.88888889, 0.89473684, 0.89473684, 0.89473684, 0.89473684,
       0.89473684, 0.9005848 , 0.89473684, 0.88888889, 0.88888889,
       0.89473684, 0.9005848 , 0.88888889, 0.89473684, 0.88888889,
       0.89473684, 0.9005848 ])

plt.figure(figsize=(20,8)) 
plt.grid(True,linestyle='-',alpha=0.5)
plt.plot(range(1,50,3),accuracys)
plt.show()