IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 集成学习专项(一)数学基础 -> 正文阅读

[人工智能]集成学习专项(一)数学基础

机器学习补充数学基础

  1. 呼叫泊松流
  • 呼叫流
    { N ( t ) } \{N(t) \} {N(t)}是强度为$\lambda 的 泊 松 过 程 , 定 义 的泊松过程,定义 S_0=0 , 用 ,用 S_n 表 示 第 n 个 事 件 发 生 的 时 刻 , 简 称 为 第 n 个 到 达 时 刻 或 者 第 n 个 呼 叫 时 , 由 于 表示第n个事件发生的时刻,简称为第n个到达时刻或者第n个呼叫时,由于 nnnS_0,S_1,…,S_n 依 次 到 达 , 所 以 又 称 依次到达,所以又称 {S_t } 为 泊 松 过 程 为泊松过程 {N(t) }$的呼叫流。

  • 基本关系:
    { N ( t ) ≥ n } = { S n ≤ t } { N ( t ) = n } = { S n ≤ t < S n + 1 } \{N(t)\ge n \} = \{S_n\le t \}\\ \{N(t)= n \} = \{S_n\le t<S_{n+1} \} {N(t)n}={Sn?t}{N(t)=n}={Sn?t<Sn+1?}

  • 等待间隔:设 { S n } \{S_n \} {Sn?}是泊松过程 { N ( t ) } \{N(t) \} {N(t)}的呼叫流,引入 X n = S n ? S n ? 1 , n = 1 , 2 , . . . X_n=S_n-S_{n-1},n=1,2,... Xn?=Sn??Sn?1?,n=1,2,...,则 X n X_n Xn?是第n-1个事件之后等待第n个事件发生的等待间隔,称为第n个等待间隔。

  • 泊松过程 { N ( t ) } \{N(t) \} {N(t)}的等待间隔 X 1 , . . . , X n , . . . X_1,...,X_n,... X1?,...,Xn?,...是来自指数总体 ? ( λ ) \epsilon(\lambda) ?(λ)的随机变量。
    证明:首先考虑 X 1 X_{1} X1? 的分布,注意到事件 { X 1 > t } \left\{X_{1}>t\right\} {X1?>t} 等价于事件 { N ( t ) = 0 } , \{N(t)=0\}, {N(t)=0}, ( 0 , t ] (0, t] (0,t] 时间内没有事件发生。因此
    P { X 1 > t } = P { N ( t ) = 0 } = e ? λ t P\left\{X_{1}>t\right\}=P\{N(t)=0\}=\mathrm{e}^{-\lambda t} P{X1?>t}=P{N(t)=0}=e?λt
    从而
    P { X 1 ? t } = 1 ? e ? λ t P\left\{X_{1} \leqslant t\right\}=1-\mathrm{e}^{-\lambda t} P{X1??t}=1?e?λt
    再来看 X 2 : X_{2}: X2?:
    P { X 2 > t ∣ X 1 = s } = P { N ( s + t ) ? N ( s ) = 0 ∣ X 1 = s } = P N ( s + t ) ? N ( s ) = 0 ( 独 立 增 量 性 ) = e ? λ t P\left\{X_{2}>t \mid X_{1}=s\right\}=P\left\{N(s+t)-N(s)=0 \mid X_{1}=s\right\} =P{N(s+t)-N(s)=0}(独立增量性)=\mathrm{e}^{-\lambda t} P{X2?>tX1?=s}=P{N(s+t)?N(s)=0X1?=s}=PN(s+t)?N(s)=0()=e?λt
    所以 X 2 X_{2} X2? X 1 X_{1} X1? 独立,且都服从参数为 λ \lambda λ 的指数分布。重复同样的推导,可得定理结论。

  1. 牛顿法和梯度下降法的比较
  • 牛顿法:是通过求解目标函数的一阶导数为0时的参数,进而求出目标函数最小值时的参数。
    收敛速度很快。
    海森矩阵的逆在迭代过程中不断减小,可以起到逐步减小步长的效果。
    缺点:海森矩阵的逆计算复杂,代价比较大,因此有了拟牛顿法。

  • 梯度下降法:是通过梯度方向和步长,直接求解目标函数的最小值时的参数。
    越接近最优值时,步长应该不断减小,否则会在最优值附近来回震荡。

作业

问题: 在数学最优化中,Rosenbrock函数是一个用来测试最优化算法性能的非凸函数,由Howard Harry Rosenbrock在1960年提出 。也称为Rosenbrock山谷或Rosenbrock香蕉函数。已知Rosenbrock函数的表达式为

f ( x ) = ( a ? x 1 ) 2 + b ( x 2 ? x 1 ) 2 f(x)=(a-x_1)^2+b(x_2-x_1)^2 f(x)=(a?x1?)2+b(x2??x1?)2

请编程完成以下工作:
(1)为 a a a b b b取不同的值,绘制3D表面。观察 a a a b b b的不同取值对曲面形状的影响
(2)编写算法找到全局最小值以及相应的最小解,并在3D图像中标出。分析算法的时空效率,给出运行时间

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-08-18 12:42:30  更:2021-08-18 12:44:47 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/1 12:42:01-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码