[人工智能]TASK6-Boosting

视频要点

P28 Boosting集成的概述

• Boosting方法是使用同一组数据集进行反复学习，得到一系列简单模型，然后组合这些模型构成一个预测性能十分强大的机器学习模型
• Boosting思想提高最终的预测效果是通过不断减少偏差的形式，与Bagging有着本质的不同
• 在概率近似正确PAC（probably approximately correct）学习的框架下：
  • 弱学习：识别错误率小于1/2（即准确率仅比随机猜测略高的学习算法）
  • 强学习：识别准确率很高并能在多项式时间内完成的学习算法
• 在PAC 学习的框架下，强可学习和弱可学习是等价的，也就是说一个概念是强可学习的充分必要条件是这个概念是弱可学习的

作业

1. Adaboost的基本思路？

2. Adaboost与GBDT的联系与区别？

3. Boosting与Bagging的区别，以及如何提升模型的精度？

4. 使用基本分类模型和Boosting提升的模型，并画出他们的决策边界。

5. 尝试使用XGboost模型完成一个具体的分类任务，并进行调参。