[人工智能] Datawhale暑假学习

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> Datawhale暑假学习_集成学习（一） -> 正文阅读

[人工智能]Datawhale暑假学习_集成学习（一）

集成学习（一）：数学基础

第一期笔记主要回顾大学学的数学基础，主要分四大块，每块我会记录一些重要的知识点或者是之前忘了的知识点，常记常新。

高等数学
线性代数
概率论与随机过程
数理统计

一、高等数学

1.雅可比矩阵（Jacobian）
假设 $\mathbb{R}_{n} \rightarrow \mathbb{R}_{m}$ 是一个从n维欧氏空间映射到到m维欧氏空间的函数。
这个函数由m个实函数组成:
$y_{1}\left(x_{1}, \cdots, x_{n}\right), \cdots, y_{m}\left(x_{1}, \cdots, x_{n}\right)$ 。这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵，这个矩阵就是所谓的雅可比矩阵:
$\left[\begin{array}{ccc} \frac{\partial y_{1}}{\partial x_{1}} & \cdots & \frac{\partial y_{1}}{\partial x_{n}} \\ \vdots & \ddots & \vdots \\ \frac{\partial y_{m}}{\partial x_{1}} & \cdots & \frac{\partial y_{m}}{\partial x_{n}} \end{array}\right]$
可见，梯度向量是雅克比矩阵的特例！
例子：求 $F=(f_1(x,y),f_(x,y))^T$ 的雅克比矩阵，其中 $f_1(x,y) = 2x^2 + y^2,f_2(x,y) = x^2 + 3y^2$ 。

2.黑塞矩阵（Hessian）
黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，假設有一实数函数
$f\left(x_{1}, x_{2}, \ldots, x_{n}\right)$
如果 $f$ 所有的二阶偏导数都存在，那么 $f$ 的海森矩阵的第 $i j$ 项，即：
$H(f)_{i j}(x)=D_{i} D_{j} f(x)$
其中 $x=\left(x_{1}, x_{2}, \ldots, x_{n}\right),$ 即
$H(f)=\left[\begin{array}{cccc} \frac{\partial^{2} f}{\partial x_{1}^{2}} & \frac{\partial^{2} f}{\partial x_{1} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{1} \partial x_{n}} \\ \frac{\partial^{2} f}{\partial x_{2} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{2}^{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{2} \partial x_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^{2} f}{\partial x_{n} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{n} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{n}^{2}} \end{array}\right]$
实际上，Hessian矩阵是梯度向量g(x)对自变量x的Jacobian矩阵。
例子：求 $f(x,y)=2x^2+y^2$ 的海森矩阵。

3.牛顿法
牛顿法：
首先牛顿法是求解函数值为0时的自变量取值的方法。
利用牛顿法求解目标函数的最小值其实是转化成求使目标函数的一阶导为0的参数值。这一转换的理论依据是，函数的极值点处的一阶导数为0.
其迭代过程是在当前位置x0求该函数的切线，该切线和x轴的交点x1，作为新的x0,重复这个过程，直到交点和函数的零点重合。此时的参数值就是使得目标函数取得极值的参数值。

迭代的公式如下:
$\theta:=\theta-\alpha \frac{\ell^{\prime}(\theta)}{\ell^{\prime \prime}(\theta)}$
当 $\theta$ 是向量时, 牛顿法可以使用下面式子表示:
$\theta:=\theta-\alpha H^{-1} \nabla_{\theta} \ell(\theta)$
其中 $H$ 叫做海森矩阵，其实就是目标函数对参数 $\theta$ 的二阶导数。

牛顿法和梯度下降法的比较

1.牛顿法：是通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。

收敛速度很快。

海森矩阵的逆在迭代过程中不断减小，可以起到逐步减小步长的效果。

缺点：海森矩阵的逆计算复杂，代价比较大，因此有了拟牛顿法。

2.梯度下降法：是通过梯度方向和步长，直接求解目标函数的最小值时的参数。

越接近最优值时，步长应该不断减小，否则会在最优值附近来回震荡。

二、线性代数

正定二次型与Hesse矩阵（黑赛矩阵）
定义：R上一个元二次型q(x1,x2,?,xn)可以看成定义在实数域上n个变量的实函数。如果对于变量x1,x2,?,xn的每一组不全为零的值，函数值q(x1,x2,?,xn)都是正数，那么就称q(x1,x2,?,xn)是一个正定二次型。
类似地，如果对于变量x1,x2,?,xn的每一组不全为零的值，q(x1,x2,?,xn)都是负数，就称q(x1,x2,?,xn)是负定的。
黑赛矩阵：若f具有二阶连续偏导，并记
Hf(P0)=(fxx(P0)fyx(P0)fxy(P0)fyy(P0))=(fxxfyxfxyfyy)P0
，它称为在的黑赛矩阵。
（极值条件）设二元函数f在点P0(x0,y0)的某领域U(P0)上具有二阶连续偏导数，且P0是f的稳定点。则当Hf(P0)是正定矩阵时，f在点P0取得极小值；当Hf(P0)是负定矩阵时，f在P0点取得极大值；当Hf(P0)是不定矩阵时，f在点P0不取极值。

三、概率论与随机过程

1.马尔可夫过程（离散时间）
$\quad$ 随机过程 $\left\{X_{n}, n=0,1,2, \cdots\right\}$ 称为 Markov 链，若它只取有限或可列个值（若不另外说明，以非负整数集 $\{0,1,2, \cdots\}$ 来表示），并且对任意的 $\geqslant 0$ , 及任意状态 $i_{0}, i_{1}, \cdots, i_{n-1},$ 有
$P\left\{X_{n+1}=j \mid X_{n}=i, X_{n-1}=i_{n-1}, \cdots, X_{1}=i_{1}, X_{0}=i_{0}\right\}=P\left\{X_{n+1}=j \mid X_{n}=i\right\}$

式中， $X_{n}=i$ 表示过程在时刻 $n$ 处于状态 $i,$ 称 $\{0,1,2, \cdots\}$ 为该过程的状态空间，记为 S，式子刻画了 Markov 链的特性，称为 Markov 性。对 Markov 链，给定过去的状态 $X_{0}, X_{1}, \cdots, X_{n-1}$ 及现在的状态 $X_{n},$ 将来的状态 $X_{n+1}$ 的条件分布与过去的状态独立，只依赖于现在的状态。

直观理解：已知现在 $B = \{X_n = i \}$ ，将来 $A = X_{n+1} = j$ 与过去 $C = \{X_{n-1}=i_{n-1},...,X_0 = i_0\}$ 独立。

（一步）转移概率： $\left\{X_{n}, n=0,1,2, \cdots\right\}$ 的一步转移概率，简称转移概率，记为 $p_{i j},$ 它代表处于状态 $i$ 的过程下一步转移到状态 $j$ 的概率。
（一步）转移概率矩阵： $(p_{ij}) = (p_{ij})_{i,j \in I}$

2.高斯过程
首先当随机变量是1维的时候，我们称之为一维高斯分布，概率密度函数 $p(x)=N\left(\mu, \sigma^{2}\right),$ 当随机变量的维度上升到有限的 $p$ 维的时候，就称之为高维高斯分布, $p(x)=N\left(\mu, \Sigma_{p \times p}\right)$ 。而高斯过程则更进一步，他是一个定义在连续域上的无限多个高斯随机变量所组成的随机过程，换句话说，高斯过程是一个无限维的高斯分布。

高斯过程：对于一个连续域 $\quad$ (假设他是一个时间轴），如果我们在连续域上任选 $n$ 个时刻： $t_{1}, t_{2}, t_{3}, \ldots, t_{n} \in T,$ 使得获得的一个 $n$ 维向量 $\left\{\xi_{1}, \xi_{2}, \xi_{3}, \ldots, \xi_{n}\right\}$ 都满足其是一个 $n$
维高斯分布，那么这个 $\left\{\xi_{t}\right\}$ 就是一个高斯过程。

四、数理统计

1.全概率公式和贝叶斯公式
（1）全概率公式
定义：
如果事件 $A_{1}, A_{2}, \cdots, A_{n}$ 是一个完备事件组，并且都具有正概率，则有：
$\begin{array}{c} P(B)=P\left(A_{1}\right) P\left(B \mid A_{1}\right)+P\left(A_{2}\right) P\left(B \mid A_{2}\right)+\cdots+P\left(A_{n}\right) P\left(B \mid A_{n}\right) \\ =\sum_{i=1}^{n} P\left(A_{i}\right) P\left(B \mid A_{i}\right) \end{array}$
对于任何事件 $B,$ 事件 $\bar{A}$ 构成最简单的完备事件组，根据全概率公式得
$\begin{aligned} P(B) &=P(A B+\bar{A} B)=P(A B)+P(\bar{A} B) \\ &=P(A) P(B \mid A)+P(\bar{A}) P(B \mid \bar{A}) \end{aligned}$

（2）2.2 贝叶斯公式
定义：
设 $A_{1}, A_{2}, \cdots, A_{n}$ 是一完备事件组，则对任一事件 $B, P (B) > 0,$ 有
$P\left(A_{i} \mid B\right)=\frac{P\left(A_{i} B\right)}{P(B)}=\frac{P\left(A_{i}\right) P\left(B \mid A_{i}\right)}{\sum_{i=1}^{n} P\left(A_{i}\right) P\left(B \mid A_{i}\right)}$
以上公式就叫贝叶斯公式，可由条件概率的定义及全概率公式证得。

例子:
市场上供应的某种商品只由甲、乙、丙3个厂生产，甲厂占45%，乙厂占35%，丙厂占20%。如果各厂的次品率依次为 4%, 2%, 5% 。现从市场上购买1件这种商品，发现是次品，试判断它是由甲厂生产的概率。
设事件 $A_{1}, A_{2}, A_{3},$ 分别表示“商品为甲、乙、丙厂生产的"，事件 $B$ 表示“商品为次品”，由题意得到概率
$\begin{array}{c} P\left(A_{1}\right)=45 \%, P\left(A_{2}\right)=35 \%, P\left(A_{3}\right)=20 \% \\ P\left(B \mid A_{1}\right)=4 \%, P\left(B \mid A_{2}\right)=2 \%, P\left(B \mid A_{3}\right)=5 \% \end{array}$
根据贝叶斯公式，可得:
$\begin{aligned} P\left(A_{1} \mid B\right) &=\frac{P\left(A_{1}\right) P\left(B \mid A_{1}\right)}{P\left(A_{1}\right) P\left(B \mid A_{1}\right)+P\left(A_{2}\right) P\left(B \mid A_{2}\right)+P\left(A_{3}\right) P\left(B \mid A_{3}\right)} \\ &=\frac{45 \% \times 4 \%}{45 \% \times 4 \%+35 \% \times 2 \%+20 \% \times 5 \%} \approx 0.514 \end{aligned}$
在“购买一件商品”这个试验中， $P\left(A_{i}\right)$ 是在试验以前就已经知道的概率，所以习惯地称为先验概率。试验结果出现了次品（即 $B$ 发生），这时条件概率 $P\left(A_{i} \mid B\right)$ 反映了在试验以后对 $B$ 发生的“来源”(即次品的来源）的各种可能性的大小，通常称为后验概率。