IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 机器学习进阶(7):Adaboost模型的推导 -> 正文阅读

[人工智能]机器学习进阶(7):Adaboost模型的推导

前言

Adaboost算法的模型是加法模型,损失函数为指数函数,学习算法为前向分布算法的二类学习方法。这里仅介绍模型。

模型建立

设训练样本为 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x N , y N ) } \mathrm{T}=\left\{ \left( \mathrm{x}_1,\mathrm{y}_1 \right) ,\left( \mathrm{x}_2,\mathrm{y}_2 \right) ...\left( \mathrm{x}_{\mathrm{N}},\mathrm{y}_{\mathrm{N}} \right) \right\} T={(x1?,y1?),(x2?,y2?)...(xN?,yN?)}
初始化训练数据的权值分布:
D 1 = ( w 11 , w 12 ? w 1 i ? ? , w 1 N ) , w 1 i = 1 N , i = 1 , 2 , ? ? , N D_1=\left( w_{11},w_{12}\cdots w_{1i}\cdots ,w_{1N} \right) ,w_{1i}=\frac{1}{N},i=1,2,\cdots ,N D1?=(w11?,w12??w1i??,w1N?),w1i?=N1?,i=1,2,?,N
使用具有权值分布的训练数据学习,得到m次训练的基本分类器:
G m ( x ) : χ → { ? 1 , + 1 } G_m(x):\quad \chi \rightarrow \{-1,+1\} Gm?(x):χ{?1,+1}
可以将样本X映射到-1和+1类,也就是预测值为±1表示的正负类。

计算 G m ( x ) G_m(x) Gm?(x)在训练数据集上的分类误差率:
e m = P ( G m ( x i ) ≠ y i ) = ∑ i = 1 N w m i I ( G m ( x i ) ≠ y i ) e_m=P\left( G_m\left( x_i \right) \ne y_i \right) =\sum_{i=1}^N{w_{mi}}I\left( G_m\left( x_i \right) \ne y_i \right) em?=P(Gm?(xi?)?=yi?)=i=1N?wmi?I(Gm?(xi?)?=yi?)
即为预测值≠真实值的概率,但是这里计算的时候需要乘上样本的权值。

计算 G m ( x ) G_m(x) Gm?(x)的系数:
α m = 1 2 log ? 1 ? e m e m \alpha _m=\frac{1}{2}\log \frac{1-e_m}{e_m} αm?=21?logem?1?em??
这个系数可以认为是分类器的权值,依靠于分类误差率来建立。当 e m e_m em?取0的时候, α m \alpha _m αm?的值为0;当 e m e_m em?取1的时候, α m \alpha _m αm?的值为-∞。

当有了 α m \alpha _m αm?时,可以实现数据权值的更新:
w m + 1 , i = w m i Z m exp ? ( ? α m y i G m ( x i ) ) , i = 1 , 2 , ? ? , N w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp \left( -\alpha _my_iG_m\left( x_i \right) \right) ,i=1,2,\cdots ,N wm+1,i?=Zm?wmi??exp(?αm?yi?Gm?(xi?)),i=1,2,?,N
其中 Z m Z_m Zm?为规范化因子:
Z m = ∑ i = 1 N w m i exp ? ( ? α m y i G m ( x i ) ) Z_m=\sum_{i=1}^N{w_{mi}}\exp \left( -\alpha _my_iG_m\left( x_i \right) \right) Zm?=i=1N?wmi?exp(?αm?yi?Gm?(xi?))
这里展开讲一下 Z m Z_m Zm?:可以注意到该式子为 w m i exp ? ( ? α m y i G m ( x i ) ) w_{mi}\exp \left( -\alpha _my_iG_m\left( x_i \right) \right) wmi?exp(?αm?yi?Gm?(xi?))的求和,是为了保证下一次更新的权值分布仍然满足求和为1,exp项为进行修改的增益。化简一下:
w m + 1 , i = w m i Z m exp ? ( ? α m y i G m ( x i ) ) ? Z m w m + 1 , i = w m i exp ? ( ? α m y i G m ( x i ) ) ? Z 1 w 2 , i = w 1 i exp ? ( ? α 1 y i G 1 ( x i ) ) w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp \left( -\alpha _my_iG_m\left( x_i \right) \right) \Rightarrow Z_mw_{m+1,i} \\ =w_{mi}\exp \left( -\alpha _my_iG_m\left( x_i \right) \right) \Rightarrow Z_1w_{2,i}=w_{1i}\exp \left( -\alpha _1y_iG_1\left( x_i \right) \right) wm+1,i?=Zm?wmi??exp(?αm?yi?Gm?(xi?))?Zm?wm+1,i?=wmi?exp(?αm?yi?Gm?(xi?))?Z1?w2,i?=w1i?exp(?α1?yi?G1?(xi?))
观察式子可以发现,规范化因子目的仅是使得 D m + 1 D_{m+1} Dm+1?也满足成为一个概率分布。其中分类错误的样本的权值将会提高。

最终更新整个数据集的权值分布:
D m + 1 = ( w m + 1 , 1 , w m + 1 , 2 ? w m + 1 , i ? ? , w m + 1 , N ) D_{m+1}=\left( w_{m+1,1},w_{m+1,2}\cdots w_{m+1,i}\cdots ,w_{m+1,N} \right) Dm+1?=(wm+1,1?,wm+1,2??wm+1,i??,wm+1,N?)

构建基本分类器的线性组合:
f ( x ) = ∑ m = 1 M α m G m ( x ) f(x)=\sum_{m=1}^M{\alpha _m}G_m(x) f(x)=m=1M?αm?Gm?(x)
这里结合系数 α m \alpha _m αm?可以知道,当误差很小的时候,当前 G m ( x ) G_m(x) Gm?(x)的系数很小,几乎是不更新了;反之误差很大,更新的力度会很大。

最终得到分类器:
G ( x ) = s i g n ( f ( x ) ) = s i g n ( ∑ m = 1 M α m G m ( x ) ) G(x)=\mathrm{sign(}f(x))=\mathrm{sign}\left( \sum_{m=1}^M{\alpha _m}G_m(x) \right) G(x)=sign(f(x))=sign(m=1M?αm?Gm?(x))

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-07-13 17:28:06  更:2021-07-13 17:30:07 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年3日历 -2024/3/29 8:01:02-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码