开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 吴恩达机器学习--线性回归、梯度下降、正规方程法 -> 正文阅读

[人工智能]吴恩达机器学习--线性回归、梯度下降、正规方程法

作者:recommend-item-box type_blog clearfix

线性回归(linear regression)

假设函数： $h_{\theta }(x)=\theta _{0}+\theta _{1}x$

???????? $h_{\theta }(x)$ 通常也写为 $h(x)$ ，假设函数也就是用来预测的函数。

???????? $\theta _{0},\theta _{1}$ 称为模型参数,通过选择 $\theta _{0},\theta _{1}$ 两个参数得值来表示假设函数从而合理预测。

????????idea:输入x时预测的值最接近该样本对应的y值时得参数 $\theta _{0},\theta _{1}$

?最小化问题：通过找出 $\theta _{0},\theta _{1}$ 使得预测值与真实值之间的差的平方的相加总和最小

$minimize\substack{} \frac{1}{2m}\sum_{i=1}^{m}[h_{0}{(x^{(i)})}-y^{(i)}]^{2}$

????????m表示训练集样本容量。

代价函数(cost function)：顾名思义，付出的代价越小越好

$J(\theta _{0},\theta _{1})=\frac{1}{2m}\sum_{i=1}^{m}(h(x^{(i)})-y^{(i)})^{2}$

????????因此 $J(\theta _{0},\theta {1})$ 目标越小越好

例：①只有一个参数 $\theta _{1}$ 时，

????????设 $\theta _{0}=0$ ,此时假设函数 $h(x)=\theta _{1}x$

????????根据上图可看出当 $\theta _{1}=1$ 时，代价函数 $J(\theta _{1})$ 达到最小。则当 $\theta _{1}=1$ 时，这条直线是最好的，最符合的，这时的拟合程度最佳。

?②同时拥有 $\theta _{0},\theta _{1}$ 两个参数时，

????????通过等高线图来判断，可以把此图想像成一个碗，中心为 $J(\theta _{0},\theta _{1})$ 的最小值，每条线代表的高度都是一样的，即 $J(\theta _{0},\theta _{1})$ 相同。

梯度下降(gradient descent)：用于最小化各种函数

?观察上图，将图形比作山，在山上一步步向下走直到最低点这个过程就是梯度下降法做的事。

步骤：

①给定 $\theta _{0},\theta _{1}$ （通常设 $\theta _{0},\theta _{1}$ 都为0）

②通过不停地一点点改变 $\theta _{0},\theta _{1}$ ,来使 $J(\theta _{0},\theta _{1})$ 变小，直到找到J 的最小值或则局部最小值。

$\theta _{j}:=\theta _{j}-\alpha \frac{\partial }{\partial \theta_{j} }J(\theta _{0},\theta _{1})$ ? ? ? ? ? ?(for j=0 and j=1)

?其中：=表示赋值。 $\alpha$ 称为学习率，它控制我们以多大幅度更新参数 $\theta _{j}$ 。

注意： $\theta _{0},\theta _{1}$ 需要同步更新。

各项意义：

导数项：

学习率：?

????????若 $\alpha$ 太小，每次移动的步伐很小会使迭代次数增多。如下图所示：

????????若 $\alpha$ 太大，会导致无法收敛或者发散。如下图所示：

????????当然学习率 $\alpha$ 并不需要一直改变，根据定义，当达到局部低点时，导数等于0。因此当我们接近局部最低点时，导数值 $\frac{d }{d\theta_{j} }J(\theta _{0},\theta _{1})$ 会自动变得越来越小，所以梯度下降将自动采取较小的幅度，这就是梯度下降的运行方式。

线性回归的梯度下降（适用于单一的特征量）

????????线性回归的代价函数是一个凸函数的图像，如下图：

????????这种函数没有局部最优解，只有一个全部最优解，。当计算这种代价函数的梯度下降时，只要使用线性回归的梯度下降，最后只获得一个全部最优解

????????将假设函数与代价函数相结合，可得出下列式子?:

? $\begin{equation} \label{eq6} \left\{ \begin{aligned} \theta _{0} := \theta _{0}-\alpha \frac{1}{m}\sum_{i=1}^{m}[h_{\theta }(x^{(i)})-y^{(i)}] \\ \theta _{1} := \theta _{1}-\alpha \frac{1}{m}\sum_{i=1}^{m}[h_{\theta }(x^{(i)})-y^{(i)}]x^{(i)} \end{aligned} \right. \end{equation}$