[人工智能] 【Datawhale组队学习】机器学习数学基础

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 【Datawhale组队学习】机器学习数学基础 - 一元函数微分学【Task 03】 -> 正文阅读

[人工智能]【Datawhale组队学习】机器学习数学基础 - 一元函数微分学【Task 03】

文章目录

导数的概念

设 $y = f (x)$ 在变量 $x = x_0$ 处存在一个增量 $\Delta x$ (可正可负)，则可以得到函数的增量 $\Delta y = f(x_0 + \Delta x) - f(x_0)$ 。

若函数增量 $\Delta y$ ，与自变量增量 $\Delta x$ 的比值在 $\Delta x \rightarrow 0$ 时极限存在，即 $\lim_{\Delta x \rightarrow 0}\frac{\Delta y}{\Delta x}$ 存在，则说明函数 $y = f (x)$ 在 $x = x_0$ 处可导，称极限值为 $x_0$ 处的导数，记为：
$f'(x_0) = \lim_{\Delta x \rightarrow 0}\frac{\Delta y}{\Delta x} = \lim_{\Delta x \rightarrow 0}\frac{f(x_0 + \Delta x) - f(x_0)}{\Delta x}$

整理笔记所用，定义并不完整。

理解：某点的导数，本质上可以看做函数在该点处增量的极限值，
由此可以看出，若需要证明某点 $x_0$ 导数存在，那么根据导数本质是极限的原理，仅需证明在 $x = x_0$ 处导数左右极限均相等。

以上定义中，令 $x_0 + \Delta x$ ，那么导数的定义还可以表示为:
$f'(x_0) = \lim_{x \rightarrow x_0}\frac{f(x) - f(x_0)}{x - x_0}$

几何定义

y在点 $x_0$ 处的导数值 $f'(x_0)$ 导数值，就是曲线 $y = f (x)$ 在点 $x_0,y_0)$ 处切线的斜率 $k$ 。由此可以得出切线和法线公式：

$y_0 = f'(x_0)(x - x_0) \atop 法线：y - y_0 = -\frac{1}{f'(x_0)}(x - x_0) \quad ,f(x_0) \neq 0$

高阶函数

$f^{(n)}(x_0) = \lim_{\Delta x \rightarrow 0} \frac{f^{(n-1)}(x_0 + \Delta x) - f^{(n-1)}(x_0)}{\Delta x}$

高阶导数的概念其实就是在前一阶导数的基础上再次求导。

微分的概念

导数的概念是可以由路程、时间和速度的关系引入，而微分可以通过正方形边长与面积的关系引入，可以参考《张宇数学基础30讲》56页的引例。

设函数 $y = f (x)$ 在点 $x_0$ 处，对于自变量增量 $\Delta x$ ，有函数增量 $\Delta y = f(x_0 + \Delta x) - f(x_0)$ ，若存在与 $\Delta x$ 无关的常数A，使得
$\Delta y = A\Delta x + o(\Delta x)$
那么称 $f (x)$ 在点 $x_0$ 处可微，并称 $\Delta x$ 为f(x)在点 $x_0$ 处的微分，记为 $dy|_{x = x_0} = A \Delta x$ ，又 $\Delta x = dx$ ，故 $dy|_{x = x_0} = A dx$ 。

$A$ 实际上是 $f (x)$ 在 $x = x_0$ 处的导数，由此可以转化为如下定义：

$\quad \Rightarrow \quad \frac{dy}{dx} = f'(x)$

针对右式的除法，可以有两种解释

从导数的观点看， $\frac{dy}{dx}$ 是一个表示导数的符号，
从微分的观点看， $\frac{dy}{dx}$ 确实是一个除法，也叫微商

微分与导数

微分实际上是使用一个线性增量 $\Delta X$ 来代替复杂的增量 $\Delta y$ ，其误差为 $\Delta y - A \Delta x$ ，即 $o(\Delta x)$ ，可以忽略不计。

所以在一元函数中，导数与微分的概念类似，f(x)在 $x_0$ 处可微与可导互为充要条件，那么判断可微的题目，即可转换为判断可导进行证明。

几何定义

与导数表示斜率不同。

f(x)在 $x = x_0$ 处的可微，则在点 $x_0,y_0)$ 附近可以用切线段近似代替曲线段。

导数与微分的计算

下面主要是关于计算的一些性质和技巧

四则运算

和差的导数： $\pm v(x)]' = u'(x) \pm v'(x)$
积的导数： $[u (x) v (x)]^{'} = u^{'} (x) v (x) + u (x) v^{'} (x)$
商的导数: $[\frac{u(x)}{v(x)}]' = \frac{u'(x)v(x) - u(x)v'(x)}{[v(x)]^2}$ ， $v(x)\neq 0$

分段函数

分段函数求导的时候，需要注意的是：

连续部分正常求导
但是在间断点的时候，需要考虑间断点的导数是否存在，则需要根据导数的定义，求出左右极限是否相等；若相等，则导数存在，否则该点导数不存在。

复合函数

复合函数求导指的是，函数内的变量为另一个函数，形如：

${f[g(x)]\}' = f'[g(x)]g'(x)$

复合函数求导其实本质上并不困难，只需要记住原本的求导公式 $d y = f^{'} (u) d u$ ，其中的 $u$ 无论是自变量还是中间变量（其他函数）,求导法则都成立。

反函数

若 $y = f (x)$ 可导，且 $\neq 0$ ，则存在反函数 $\phi(y)$ ，且 $\frac{dx}{dy} = \frac{1}{\frac{dy}{dx}} = \frac{1}{f'(x)}$ 。

即， $\phi'(y) = \frac{1}{f'(x)}$ 。

对于反函数 $y = \arcsin{x}$ ，有 $x = \sin{y}$ ，那么

$(\arcsin{y})' = \frac{1}{(\sin{y})'} = \frac{1}{\cos{y}} = \frac{1}{\sqrt{1-\sin^2{y}}} = \frac{1}{\sqrt{1-x^2}}$

参数方程

至于参数方程的公式也比较好理解，针对参数方程 $\begin{cases} x = \phi(t) \\ y = \psi(t) \end{cases}$ 。
$\frac{dy}{dx} = \frac{\frac{dy}{dt}}{\frac{dy}{dt}} = \frac{\psi'(t)}{\phi(t)}$

求导法

隐函数求导

隐函数仅需要进行等号两边求导就行，不赘述。

对数求导

对于一些很多相乘、相除的式子，可以利用对数的性质，将困难的乘除法转化为简单的加减法，再进行求导即可。

幂指数求导

对于幂指数 $u(x)^{v(x)}$ ，可以将其转化为指数函数:
$u(x)^{v(x)} = e^{v(x)\ln{u(x)}}$

然后再进行求导就较为简单了。

变限积分求导

设 $\int^{\phi_2{(x)}}_{\phi_1{(x)}}{f(t)dt}$ ，对其求导为：
$\frac{d}{dx}[\int^{\phi_2{(x)}}_{\phi_1{(x)}}{f(t)dt}] = f[\phi_2{(x)}]\phi_2'{(x)} - f[\phi_1{(x)}]\phi_1'{(x)}$

也就是将积分上限代入x并乘以积分上限的导数，减去积分下线代入x乘以积分下限的导数。

高阶导数

高阶函数主要有三种方法：

归纳法：根据前几项总结出规律（比较常用）
莱布尼兹公式：(一般处理两个函数乘积的高阶导)

设 $u = u (x)$ ， $v = v (x)$ 均n阶可导，则
$\pm v]^{(n)} = u^{(n)} \pm v^{(n)}, \\ (uv)^{(n)} = \sum^n_{k = 0} {C^k_n u^{(n-k)} v^{(k)}}$
泰勒公式：

任何一个无穷阶可导的函数 $y = f (x)$ 在收敛的条件下，都可以写成：
$\sum^{\infty}_{n = 0} {\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n}$

泰勒公式

对于泰勒公式是如何得到的，这里做一个简单的推导。

对于每一个复杂的函数，我们都可以将其利用多个多项式的和近似表示出来:
$\approx P_n(x) = a_0 + a_1(x - x_0) + a_2(x - x_0)^2 + \dots + a_n(x - x_0)^n$
取 $x = x_0$ ，那么我们可以得到：
$\begin{cases} a_0 = p_n(x_0) \approx f(x_0) \\ a_1 = p_n'(x_0) \approx f'(x_0) \\ a_2 = p_n''(x_0) \approx f''(x_0) \\ \dotsm \\ a_n = p_n^{(n)}(x_0) \approx f^{(n)}(x_0) \end{cases}$
各个系数 $a_k$ 都是根据f(x)求相应次导数，使得a的前 $k ? 1$ 项系数为0。
将所有的a代入公式得到：
$\approx f(x_0) + \frac{f'(x_0)}{1!} (x-x_0) + \frac{f^{(2)}}{2!}(x-x_0)^2 + \dots + \frac{f^{(n)}(x_0)}{n!}$
以上基本就是泰勒公式的一个形式了，但是可以发现f(x)依旧是近似等于，而不是完全等于多项式，需要增加一个误差来使得等于号成立，也就是常说的余项 $R_n(x)$ ：
- 佩亚诺余项：直接使用一个高阶无穷小—— $o((x-x_0)^n)$
- 拉格朗日余项：设 $g(x) = (x - x_0)^{n+1}$ ，利用柯西中值定理进行求解—— $\frac{f^{(n+1)}(\xi)}{n+1}(x-x_0)^{n+1}$
从而泰勒公式表示为： $f(x) = P_n(x) + R_n(x)$ 。