IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 机器学习(七)——集成学习:Boosting系列和Bagging系列 -> 正文阅读

[人工智能]机器学习(七)——集成学习:Boosting系列和Bagging系列

一、集成学习

1.基础概念

\qquad 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,也被称为多分类器系统、基于委员会的学习等。
\qquad 集成学习的一般结构是:先产生一组“个体学习器”,再用某种策略将它们结合起来。

同质集成,和异质集成
同质集成:所有的个体学习器都采用同种学习算法,例如C4.5决策树算法
异质集成:个体学习器采用不同的学习算法,例如个体学习器中同时包含决策树和神经网络等。
在这里插入图片描述

\qquad 集成学习通过将多个学习器进行结合,常可以获得比单一学习器显著优越的泛化性能。这对“弱学习器”尤为明显,因此集成学习的很多理论研究都是针对弱学习器进行的,而基学习器有时也被直接称为弱学习器。

2.结合策略

\qquad 集成学习是由多个个体学习器组成的,那怎样处理各个个体学习的输出,从而产生一个最终的输出呢?

通常采用的方法有三类:
(1)平均法
(2)投票法
(3)学习法

(1)平均法:
\qquad 针对的是数值型的输出,常采用此方法。
平均法有两种:
\qquad 简单平均法
\qquad 加权平均法
(2)投票法
\qquad 对于分类任务中,常采用的结合策略是投票法
投票法有三种:
\qquad 绝对多数投票法
\qquad 相对多数投票法
\qquad 加权投票法
(3)学习法
\qquad 当训练数据很多时,一种更为强大的结合策略是使用“学习法”,即通过另一个学习器来进行结合。其中,我们将个体学习器称为初级学习器,用于结合的学习器称为次级学习器或元学习器。
\qquad Stacking是学习法的典型代表。
\qquad Stacking先从初始数据集训练出初级学习器,然后“生成”一个新的数据集用于训练次级学习器。在这个新数据集中,初级学习器的输出被当做样例输入特征,而初始样本的标记仍被当作样例标记。

3.集成学习分类

\qquad 目前集成学习方法大致分为两大类:
\qquad 第一类:个体学习器间存在强依赖关系,必须串行生成的序列化方法。代表是:Boosting(提升方法)
\qquad 第二类:个体学习器间不存在强依赖关系、可同时生成的并行化方法。代表是:Bagging和随机森林(Random Forest)

二、Boosting系列

1.工作原理

\qquad Boosting系列算法的工作机制:先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进行调整,使得先前基学习器做错的训练样本在后续收到更多的关注度(即更有可能被抽样到),然后基于调整后的样本分布来训练下一个基学习器;如此重复进行,直至基学习器数目达到事先指定的值 T T T,最终将这 T T T个基学习器进行加权结合。

2.代表算法

(1)AdaBoost(Adaptive Boosting,自适应Boosting)
\qquad 具体实施过程:

1.刚开始每个样本的采样概率都是一样的,若有 N N N个样本,则每个样本的权值为: 1 / N 1/N 1/N;
2.训练弱分类器。在训练的过程中,如果某个样本点已经被准确的分类,那么在构造下一个训练集中,它的权值就降低;相反,要是分类错误,那么它的权值就增加,增加下次采样的概率。然后,对权值更新过的数据集进行采样,形成新的训练集,进行下一次的训练。
3.如此迭代进行下去.

用于分类问题
损失函数是指数函数

(2)GBDT(Gradient Boosting Decision Tree,梯度提升决策树,简称梯度提升树)
\qquad 它是一个在Boosting算法在损失函数上的泛化。能够用于分类和回归问题。
\qquad 梯度提升树的基本思想是拟合负梯度。
\qquad 梯度提升的典型基函数是决策树(CART)
\qquad 损失函数使用:平方误差

三、Bagging系列

Bagging是并行式集成学习方法最著名的代表

1.工作原理

\qquad Bagging算法,采用自助采样法,给定包含m个样本的数据集,我们先随机取出一个样本放入采样集中,再把该样本放回初始数据集,使得下次采样时该样本仍可能被选中,这样,经过m次随机采样操作,我们得到含m个样本的采样集。如此反复,我们可以采样出T个含有m个训练样本的采样集,然后基于每个采样集训练出一个基学习器,再将这些基学习器进行结合。以上就是Bagging的基本流程。

Bagging算法针对分类任务,采用简单投票法
针对回归任务,采用简单平均法

四、随机森林

\qquad 随机森林(Random Forest,简称RF)是Bagging的一个扩展变体。RF在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入了随机属性选择。
\qquad 具体来说,传统决策树在选择划分属性时是在当前节点的额属性集合(假设有d个属性)中选择一个最优属性;而在RF中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,然后再从这个子集中选择一个最优属性用于划分。

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-04-26 11:41:49  更:2022-04-26 11:45:45 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 10:15:19-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码