IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 【机器学习】《统计学习方法》学习笔记 第四章 朴素贝叶斯法 -> 正文阅读

[人工智能]【机器学习】《统计学习方法》学习笔记 第四章 朴素贝叶斯法

第四章 朴素贝叶斯法

  • 简单理解:已有的大量样本告诉我们:“好吃的瓜”(类别)大部分(具体来说要用一个概率分布描述)是无籽的、甜的(特征),现在一个新样本过来,我们只能观察到它的特征是有/无籽的、甜/不甜的,要由此判断它是好吃还是不好吃的。一句话说,就是通过大量数据的统计规律得到由类别推特征的概率分布,然后通过贝叶斯公式对新样本由特征推类别。

  • 设输入特征向量为 X X X ,类别为 Y Y Y ,所求概率分布为 P ( X = x ∣ Y = c k ) P(X = x \mid Y = c_k) P(X=xY=ck?),由于 X = x X = x X=x 意味着在所有特征分量上构成的某个组合,其数量为指数量级,想求出该分布是不可行的。朴素贝叶斯对该问题做的简化是假设所有特征分量间是条件独立的,这样只需求出在每个分量上 P ( X ( j ) = x ( j ) ∣ Y = c k ) P(X^{(j)} = x^{(j)} \mid Y = c_k) P(X(j)=x(j)Y=ck?) 的分布,然后连乘即可求出某个特定组合的概率。

  • 已知以上分布,再利用贝叶斯公式即可反转求出 P ( Y = c k ∣ X = x ) P(Y = c_k \mid X = x) P(Y=ck?X=x) 的概率分布,即由特征推类别。取所有类别中概率最大的即为我们预测的类别。完整表达式:
    y = f ( x ) = arg ? max ? c k P ( Y = c k ) ∏ j P ( X ( j ) = x ( j ) ∣ Y = c k ) ∑ k P ( Y = c k ) ∏ j P ( X ( j ) = x ( j ) ∣ Y = c k ) y = f(x) = \arg\max_{c_k}\frac{P(Y = c_k)\prod\limits_{j} P(X^{(j)} = x^{(j)} \mid Y = c_k)}{\sum\limits _{k} P(Y = c_k)\prod\limits_{j}P(X^{(j)} = x^{(j)} \mid Y = c_k)} y=f(x)=argck?max?k?P(Y=ck?)j?P(X(j)=x(j)Y=ck?)P(Y=ck?)j?P(X(j)=x(j)Y=ck?)?
    其中分母对于 c k c_k ck? 是一个常量,我们只需要求概率最大值,故可以省略。

  • 算法:

    1. 计算先验概率及条件概率(即:根据样本统计每个分类出现的概率和每个分类下各个特征的概率分布);
    2. 对于给定待预测实例 x = ( x ( 1 ) , x ( 2 ) , ? ? , x ( n ) ) T x = (x^{(1)}, x^{(2)}, \cdots, x^{(n)})^T x=(x(1),x(2),?,x(n))T,计算各分类的概率分布:
      P ( Y = c k ) ∏ j n P ( X ( j ) = x ( j ) ∣ Y = c k ) P(Y = c_k) \prod\limits_{j}^{n} P(X^{(j)} = x^{(j)} \mid Y = c_k) P(Y=ck?)jn?P(X(j)=x(j)Y=ck?)
      3.求出概率最大的分类,即为实例 x x x 的预测分类。
  • 一个问题:输入样本不充分可能导致某个条件概率 P ( X ( j ) = x ( j ) ∣ Y = c k ) P(X^{(j)} = x^{(j)} \mid Y = c_k) P(X(j)=x(j)Y=ck?) 错误的取到0,导致整个连乘概率直接为0(即使 x x x 的其它分量概率可能很大),产生较大误差。解决思想也很简单:给每种情况概率的分子加一个常数 λ \lambda λ,对应的分母加k倍 λ \lambda λ(k为情况的个数),这样各情况概率之和仍为1,而且当样本足够大时,对结果的几乎没有影响。常取 λ = 1 \lambda=1 λ=1,这时称为拉普拉斯平滑 (Laplacian smoothing)。
    P λ ( Y = c k ) = ∑ i = 1 N I ( y i = c k ) + λ N + k λ P_\lambda(Y=c_k) = \frac{\sum\limits_{i=1}^{N}I(y_i=c_k)+\lambda}{N+k\lambda} Pλ?(Y=ck?)=N+kλi=1N?I(yi?=ck?)+λ?

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-08-30 12:03:49  更:2021-08-30 12:04:54 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 17:45:37-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码