机器学习数学基础

高等数学与线性代数

梯度向量
- 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）
雅克比矩阵（Jacobian矩阵）

假设 $\mathbb{R}_{n} \rightarrow \mathbb{R}_{m}$ 是一个从n维欧氏空间映射到到m维欧氏空间的函数。
这个函数由m个实函数组成: $y_{1}\left(x_{1}, \cdots, x_{n}\right), \cdots, y_{m}\left(x_{1}, \cdots, x_{n}\right)$ 这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵，这个矩阵就是所谓的雅可比矩阵:
$\left[\begin{array}{ccc} \frac{\partial y_{1}}{\partial x_{1}} & \cdots & \frac{\partial y_{1}}{\partial x_{n}} \\ \vdots & \ddots & \vdots \\ \frac{\partial y_{m}}{\partial x_{1}} & \cdots & \frac{\partial y_{m}}{\partial x_{n}} \end{array}\right]$
可见，梯度向量是雅克比矩阵的特例！
海森矩阵（Hessian Matrix），是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。在数学中，海森矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵。

假設有一实数函数
$f\left(x_{1}, x_{2}, \ldots, x_{n}\right)$
如果 $f$ 所有的二阶偏导数都存在，那么 $f$ 的海森矩阵的第 $i j$ 项，即：
$H(f)_{i j}(x)=D_{i} D_{j} f(x)$
其中 $x=\left(x_{1}, x_{2}, \ldots, x_{n}\right),$ 即
$H(f)=\left[\begin{array}{cccc} \frac{\partial^{2} f}{\partial x_{1}^{2}} & \frac{\partial^{2} f}{\partial x_{1} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{1} \partial x_{n}} \\ \frac{\partial^{2} f}{\partial x_{2} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{2}^{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{2} \partial x_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^{2} f}{\partial x_{n} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{n} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{n}^{2}} \end{array}\right]$
实际上，Hessian矩阵是梯度向量g(x)对自变量x的雅克比矩阵。
最优性条件

设n多元实函数 $f\left(x_{1}, x_{2}, \cdots, x_{n}\right)$ 在点 $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 的邻域内有二阶连续偏导，若有:
$\left.\frac{\partial f}{\partial x_{j}}\right|_{\left(a_{1}, a_{2}, \ldots, a_{n}\right)}=0, j=1,2, \ldots, n$
并且
$A=\left[\begin{array}{cccc} \frac{\partial^{2} f}{\partial x_{1}^{2}} & \frac{\partial^{2} f}{\partial x_{1} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{1} \partial x_{n}} \\ \frac{\partial^{2} f}{\partial x_{2} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{2}^{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{2} \partial x_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^{2} f}{\partial x_{n} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{n} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{n}^{2}} \end{array}\right]$
则有如下结果:
(1) 当A正定矩阵时, $f\left(x_{1}, x_{2}, \cdots, x_{n}\right)$ 在 $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 处是极小值;
(2) 当A负定矩阵时, $f\left(x_{1}, x_{2}, \cdots, x_{n}\right)$ 在 $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 处是极大值;
(3) 当A不定矩阵时, $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 不是极值点。
(4) 当A为半正定矩阵或半负定矩阵时, $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 是“可疑"极值点，尚需要利用其他方法来判定。
求带等式约束的优化问题——拉格朗日乘子法
基于梯度的优化方法——梯度下降法
基于梯度的优化方法——牛顿迭代法

概率论与数理统计

贝叶斯公式

定义：设 $A_{1}, A_{2}, \cdots, A_{n}$ 是一完备事件组，则对任一事件 $B, P (B) > 0,$ 有
$P\left(A_{i} \mid B\right)=\frac{P\left(A_{i} B\right)}{P(B)}=\frac{P\left(A_{i}\right) P\left(B \mid A_{i}\right)}{\sum_{i=1}^{n} P\left(A_{i}\right) P\left(B \mid A_{i}\right)}$
$P\left(A_{i}\right)$ 是在试验以前就已经知道的概率，所以习惯地称为先验概率。试验结果出现了次品（即 $B$ 发生），这时条件概率 $P\left(A_{i} \mid B\right)$ 反映了在试验以后对 $B$ 发生的“来源”(即次品的来源）的各种可能性的大小，通常称为后验概率。
概率分布
- 二项分布：
  $P\{X=k\}=C_{n}^{k} p^{k}(1-p)^{n-k}$
- 泊松分布：
  $P\{X=k\}=\frac{\lambda^{k}}{k !} e^{-\lambda}, k=0,1,2, \cdots$
- 正态分布：
  
  概率密度函数：
  $f(x)=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}}$
  如果一个随机变量服从均值为 $\mu,$ 标准差为 $\sigma$ 的正态分布，数学上记作
  $\sim N\left(\mu, \sigma^{2}\right)$

作业

# encoding=gbk
import numpy as np
from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt
from matplotlib import cm

fig=plt.figure()
ax = fig.add_subplot(projection='3d')

x=np.arange(-1.5,1.5,0.005)
# print(x)
y=np.arange(-1.5,1.5,0.005)
#生成网格点坐标矩阵。
x,y=np.meshgrid(x,y)
# print(x)
# print(y)

def f(x,y):
    return (a - x) ** 2 + b * (y - x ** 2) ** 2

a = np.random.randint(1, 10)
b = np.random.randint(10, 100)
print((a, b))
#绘制3D曲面
ax.plot_surface(x,y,f(x,y),cmap = 'rainbow',)
dic = {'a':a, 'b':b}
ax.set_title(dic)

ax.set_xlabel('X')
ax.set_xlim(1.5, -1.5,)
ax.set_ylabel('Y')
ax.set_ylim(1.5, -1.5,)
ax.set_zlabel('Z')

plt.show()

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2qW5uvtT-1626186074946)(C:\Users\xlli\AppData\Roaming\Typora\typora-user-images\image-20210713160222298.png)]$