导数

常用的初等函数导数：
$(C)^{\prime}=0,\;\;\; (2) \left(x^{\prime \prime}\right)^{\prime}=\mu x^{\prime \prime-1},\\ (3) (\sin x)^{\prime}=\cos x,\;\;\; (4) (\cos x)^{\prime}=-\sin x,\\ (5) (\tan x)^{\prime}=\sec ^{2} x,\;\;\; (6) (\cot x)^{\prime}=-\csc ^{2} x,\\ (7) (\sec x)^{\prime}=\sec x \tan x,\;\;\; (8) (\csc x)^{\prime}=-\csc x \cot x,\\ (9) \left(a^{x}\right)^{\prime}=a^{x} \ln a,\;\;\; (10)\left(\mathrm{e}^{x}\right)^{\prime}=\mathrm{e}^{x},\\ (11)\left(\log _{a} x\right)^{\prime}=\frac{1}{x \ln a},\;\;\; (12) (\ln x)^{\prime}=\frac{1}{x},\\ (13) (\arcsin x)^{\prime}=\frac{1}{\sqrt{1-x^{2}}},\;\;\; (14) (\arccos x)^{\prime}=-\frac{1}{\sqrt{1-x^{2}}},\\ (15) (\arctan x)^{\prime}=\frac{1}{1+x^{2}},\;\;\; (16) (\operatorname{arccot} x)^{\prime}=-\frac{1}{1+x^{2}}\\$

海森矩阵(Hessian 矩阵)

多元函数的二阶偏导数构成的方阵
$\nabla ^2f\left( \boldsymbol{x} \right) =\left[ \begin{matrix} \frac{\partial ^2f}{\partial x_{1}^{2}}& \frac{\partial ^2f}{\partial x_1\partial x_2}& \cdots& \frac{\partial ^2f}{\partial x_1\partial x_n}\\ \frac{\partial ^2f}{\partial x_2\partial x_1}& \frac{\partial ^2f}{\partial x_{2}^{2}}& \cdots& \frac{\partial ^2f}{\partial x_2\partial x_n}\\ \vdots& \vdots& \ddots& \vdots\\ \frac{\partial ^2f}{\partial x_n\partial x_1}& \frac{\partial ^2f}{\partial x_n\partial x_2}& \cdots& \frac{\partial ^2f}{\partial x_{n}^{2}}\\ \end{matrix} \right]$

定理

$\text{设}D\subset \mathbb{R}^n\text{是非空开凸集，}f:D\subset \mathbb{R}^n\rightarrow \mathbb{R},\text{且}f\left( \boldsymbol{x} \right) \text{在}D\text{上二阶连续可微，}$
$\text{如果}f\left( \boldsymbol{x} \right) \text{的Hessian矩阵在}D\text{上是半正定的，则}f\left( \boldsymbol{x} \right) \text{是}D\text{上的凸函数}$

通常用Hessian矩阵来证明凸函数

半正定矩阵的判定定理：若实对称矩阵的所有顺序主子式均为非负，则该矩阵为半正定矩阵

极值

多元函数

通过 $\Delta$ 判定

如果函数 $z = f (x, y)$ 在点 $\left(x_{0}, y_{0}\right)$ 的某邻域内具有连续的二阶偏导数, $\left(x_{0}, y_{0}\right)$ 是它的驻点，令：
$\begin{array}{c} A=f_{x x}\left(x_{0}, y_{0}\right), B=f_{x y}\left(x_{0}, y_{0}\right), C=f_{y y}\left(x_{0}, y_{0}\right) \\ \Delta=B^{2}-A C \end{array}$
则:
(1)当 $\Delta<0$ 时， $f (x, y)$ 在 $\left(x_{0}, y_{0}\right)$ 取得极值. 其中 $A > 0$ 时取极小值, $A < 0$ 时取极大值.
(2)当 $\Delta>0$ 时, $f\left(x_{0}, y_{0}\right)$ 不是极值.
(3)当 $\Delta=0$ 时, 不能确定，需进一步判断.

通过Hessian矩阵判定

设n多元实函数 $f\left(x_{1}, x_{2}, \cdots, x_{n}\right)$ 在点 $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 的邻域内有二阶连续偏导，若有:
$\left.\frac{\partial f}{\partial x_{j}}\right|_{\left(a_{1}, a_{2}, \ldots, a_{n}\right)}=0, j=1,2, \ldots, n$
并且
$A=\left[\begin{array}{cccc} \frac{\partial^{2} f}{\partial x_{1}^{2}} & \frac{\partial^{2} f}{\partial x_{1} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{1} \partial x_{n}} \\ \frac{\partial^{2} f}{\partial x_{2} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{2}^{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{2} \partial x_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^{2} f}{\partial x_{n} \partial x_{1}} & \frac{\partial^{2} f}{\partial x_{n} \partial x_{2}} & \cdots & \frac{\partial^{2} f}{\partial x_{n}^{2}} \end{array}\right]$
则有如下结果:
(1) 当A正定矩阵时, $f\left(x_{1}, x_{2}, \cdots, x_{n}\right)$ 在 $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 处是极小值;
(2) 当A负定矩阵时, $f\left(x_{1}, x_{2}, \cdots, x_{n}\right)$ 在 $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 处是极大值;
(3) 当A不定矩阵时, $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 不是极值点。
(4) 当A为半正定矩阵或半负定矩阵时, $M_{0}\left(a_{1}, a_{2}, \ldots, a_{n}\right)$ 是“可疑"极值点，尚需要利用其他方法来判定。

泰勒公式

主要用于梯度迭代

梯度下降法

牛顿迭代法

线性代数

范数性质

（1）正定性：对所有x∈Rnx∈Rn有||x||?0||x||?0，且||x||=0?x=0||x||=0?x=0
（2）齐次性：对所有x∈Rnx∈Rn和常数aa有||ax||=|a|||x||||ax||=|a|||x||
（3）三角不等式：对所有x,y∈Rnx,y∈Rn有||x+y||?||x||+||y||

概率论与数理统计

概率论

全概率公式

如果事件 $A_{1}, A_{2}, \cdots, A_{n}$ 是一个完备事件组，并且都具有正概率，则有：
$\begin{array}{c} P(B)=P\left(A_{1}\right) P\left(B \mid A_{1}\right)+P\left(A_{2}\right) P\left(B \mid A_{2}\right)+\cdots+P\left(A_{n}\right) P\left(B \mid A_{n}\right) \\ =\sum_{i=1}^{n} P\left(A_{i}\right) P\left(B \mid A_{i}\right) \end{array}$
对于任何事件 $B,$ 事件 $\bar{A}$ 构成最简单的完备事件组，根据全概率公式得
$\begin{aligned} P(B) &=P(A B+\bar{A} B)=P(A B)+P(\bar{A} B) \\ &=P(A) P(B \mid A)+P(\bar{A}) P(B \mid \bar{A}) \end{aligned}$

贝叶斯公式

设 $A_{1}, A_{2}, \cdots, A_{n}$ 是一完备事件组，则对任一事件 $B, P (B) > 0,$ 有
$P\left(A_{i} \mid B\right)=\frac{P\left(A_{i} B\right)}{P(B)}=\frac{P\left(A_{i}\right) P\left(B \mid A_{i}\right)}{\sum_{i=1}^{n} P\left(A_{i}\right) P\left(B \mid A_{i}\right)}$
以上公式就叫贝叶斯公式，可由条件概率的定义及全概率公式证得。

统计

指数分布

np.random.exponential

从指数分布中抽样

指数分布的概率密度函数为：
$f\left( x \right) =\lambda e^{-\lambda x},\lambda \ge 0$
函数参数：

scale:为 $\lambda$ 的倒数，即 $\frac{1}{\lambda}$
size:输出的形状

怎样理解和区分中心极限定理与大数定律？

马尔科夫链

马尔科夫性

未来只与现在有关，与过去无关

直观理解：已知现在 $B = \{X_n = i \}$ ，将来 $A = X_{n+1} = j$ 与过去 $C = \{X_{n-1}=i_{n-1},...,X_0 = i_0\}$ 独立。

作业

暂时没空处理，参考其他人的做法

import numpy as np
import matplotlib.pyplot as plt
x = np.arange(-100,100,0.5)
y = np.arange(-100,100,0.5)
x,y = np.meshgrid(x,y)

a = 0
b = 0
ax = plt.axes(projection = "3d")
z = np.square(a-x) + b*np.square(y-x**2)
ax.plot_surface(x,y,z,cmap = "rainbow")
plt.show()