集成学习之bagging

投票法

在学习bagging之前，需要先介绍下投票法，它是集成学习中常用的技巧，可以帮助我们提高模型的泛化能力，减少模型的错误率。

投票法的具体流程

（a）基本思想

投票法的基本思路在于，一般情况下错误总是局部产生，因此融合多个模型结果可以减小误差。

投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。例如为了确保发送数据的准确性，一个常用的纠错方法是重复多次发送数据，并以少数服从多数的方法确定正确的传输数据。

（b）具体操作

投票法在回归模型与分类模型上均可使用：

回归投票法：预测结果是所有模型预测结果的平均值。
分类投票法：预测结果是所有模型种出现最多的预测结果。

分类投票法又可以被划分为硬投票与软投票：

硬投票：预测结果是所有投票结果出现最多的类。
软投票：预测结果是所有投票结果中概率加和最大的类。

软投票法与硬投票法可以得出完全不同的结论，相对于硬投票，软投票法考虑到了预测概率这一额外的信息，因此可以得出比硬投票法更加准确的预测结果。

因此对于分类问题中，硬投票与软投票的选择，一般有以下几个准则：

当投票集合中使用的模型能预测出清晰的类别标签时，适合使用硬投票。
当投票集合中使用的模型能预测类别的概率时，适合使用软投票。
软投票同样可以用于那些本身并不预测类成员概率的模型，只要他们可以输出类似于概率的预测分数值（例如支持向量机、最近邻和决策树）。

投票法的适用情形

在投票法中，我们还需要考虑到不同的基模型可能产生的影响。理论上，基模型可以是任何已被训练好的模型。但在实际应用上，想要投票法产生较好的结果，需要满足两个条件：

基模型之间的效果不能差别过大：当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
基模型之间的同质性应该不太大：例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。

投票法的局限性在于，它对所有模型的处理是一样的，这意味着所有模型对预测的贡献是一样的。如果一些模型在某些情况下很好，而在其他情况下很差，这是使用投票法时需要考虑到的一个问题。

投票法的代码实现

Sklearn 中提供了 VotingRegressor 与 VotingClassifier 两个投票方法。

这两种模型的操作方式比较类似共同参数有：

estimators：以列表的形式输入基模型信息，列表中每个元组为（模型名称，模型类），需要保证每个模型必须拥有唯一的名称，在模型类中可以用Pipeline完成模型预处理。
weights：以数组的形式输入自定义的权重（默认为 None ）
n_jobs：并行处理数（默认为 None 代表1，-1为使用所有线程）
verbose：是否打印进度信息（默认为 False ）

VotingClassifier 独有的参数为：

voting：分类投票方式，可选 'hard' 或 'soft' ，默认为 'hard'
flatten_transform：是否进行 flatten 变换（仅在软投票时使用），默认为 True

下面开始演示投票法的使用，首先定义创建数据集的函数 get_dataset ，其使用 make_classification 创建一个含 $1000$ 个样本， $20$ 个特征的随机数据集：

# 导入需要的第三方库
from sklearn.datasets import make_classification
from sklearn.ensemble import VotingClassifier
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt

def get_dataset():
	"""创建随机数据集"""
    X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=2)
    return X, y

定义创建硬投票模型的函数 get_voting ，其基模型为不同 $k$ 值的 KNN 模型：

def get_voting():
    # define the base models
    models = list()
    models.append(('knn1', KNeighborsClassifier(n_neighbors=1)))
    models.append(('knn3', KNeighborsClassifier(n_neighbors=3)))
    models.append(('knn5', KNeighborsClassifier(n_neighbors=5)))
    models.append(('knn7', KNeighborsClassifier(n_neighbors=7)))
    models.append(('knn9', KNeighborsClassifier(n_neighbors=9)))
    # define the voting ensemble
    ensemble = VotingClassifier(estimators=models, voting='hard')
    return ensemble

定义创建模型列表的函数 get_models ，包括上面的基模型和最终的硬投票模型以评估投票法带来的提升：

def get_models():
	"""创建多个基模型和硬投票模型，返回模型列表"""
    models = dict()
    models['knn1'] = KNeighborsClassifier(n_neighbors=1)
    models['knn3'] = KNeighborsClassifier(n_neighbors=3)
    models['knn5'] = KNeighborsClassifier(n_neighbors=5)
    models['knn7'] = KNeighborsClassifier(n_neighbors=7)
    models['knn9'] = KNeighborsClassifier(n_neighbors=9)
    models['hard_voting'] = get_voting()
    return models

定义评估模型效果的函数 evaluate_model ，通过 RepeatedStratifiedKFold 创建一个10折交叉验证（重复三次）的评估器，返回相应的模型分数：

def evaluate_model(model, X, y):
	"""使用10折交叉验证（重复三次）评估模型效果，输入模型、特征和真实值，返回模型分数"""
    cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
    scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
    return scores

最后利用以上函数，演示硬投票法的效果：

# 创建数据集和模型
X, y = get_dataset()
models = get_models()

# 存放最后的评估分数及模型名称
results, names = list(), list()

for name, model in models.items():
    scores = evaluate_model(model, X, y)
    results.append(scores)
    names.append(name)
    print('>%s %.3f (%.3f)' % (name, mean(scores), std(scores)))

# 绘制模型性能的箱线图
plt.boxplot(results, labels=names, showmeans=True)
plt.show()

得到如下结果，显然硬投票略强于任何一个基模型，且对整体预测效果分布带来了一定提升：

>knn1 0.873 (0.030)
>knn3 0.889 (0.038)
>knn5 0.895 (0.031)
>knn7 0.899 (0.035)
>knn9 0.900 (0.033)
>hard_voting 0.902 (0.034)

在这里插入图片描述

bagging

与投票法不同的是，Bagging 不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章中我们提到，投票法希望各个模型之间具有较大的差异性，而实际操作中往往需要对同质的模型进行提升，因此一个简单的思路是通过不同的采样增加模型的差异性。

bagging的具体流程

（a）基本思想

Bagging 的核心在于自助采样（ bootstrap ）这一概念，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。

一个自助采样的小例子是我们希望估计全国所有人口年龄的平均值，那么我们可以在全国所有人口中随机抽取不同的集合（这些集合可能存在交集），计算每个集合的平均值，然后将所有平均值的均值作为估计值。

Bagging 方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合完成的，这又使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。其实质是以增大偏差为代价来降低方差，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。在实际的使用中，加入列采样的Bagging 技术对高维小样本往往有神奇的效果。

（b）具体操作

如果我们首先随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复 $K$ 次采样，最终获得一个大小为 $K$ 的样本集合。

同样的，我们可以采样出 $T$ 个含 $K$ 个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合，这就是 Bagging 的基本流程。

其中基学习器结果的结合使用了投票法，对回归问题的预测是取平均值，对于分类问题的预测是取多数。

Bagging的代码实现

Sklearn 提供了 BaggingRegressor 与 BaggingClassifier 两种Bagging方法的API。

两者操作基本一致，参数也相同，如下所示：

base_estimator：基学习器，默认为 None ，即回归树或决策树
n_estimators：基学习器个数，默认为10
max_samples：训练每个基学习器时的抽样数，整数为个数或浮点数为比例，默认为1.0
max_features：训练每个基学习器时的抽取的特征数，整数为个数或浮点数为比例，默认为1.0
bootstrap：是否自助抽样，默认为 True
bootstrap_features：特征是否自助抽取，默认为 False
oob_score：是否使用 out of bag 样本估计泛化误差，仅在自助抽样时起效，默认为 False
warm_start：是否从前一阶段的结果开始训练，默认为 False
n_jobs：并行处理数，默认为 None 代表1，-1为使用所有线程
random_state：随机种子数
verbose：是否打印进度信息，默认为 False

这里以树模型为基模型演示 Bagging 在分类问题上的具体应用：

# 导入需要的第三方库
from sklearn.datasets import make_classification
from sklearn.ensemble import BaggingClassifier
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.model_selection import cross_val_score

# 创建随机数据集
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=5)

# 创建Bagging分类器
model = BaggingClassifier(random_state=5)

# 使用10折交叉验证（重复三次）评估模型效果
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)

# 评估模型效果
n_scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')

# 打印模型效果
print('Accuracy: %.3f (%.3f)' % (n_scores.mean(), n_scores.std()))