IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> (深度学习第二课)如何理解梯度下降算法? -> 正文阅读

[人工智能](深度学习第二课)如何理解梯度下降算法?

(深度学习第二课)如何理解梯度下降算法?

教程

在上一节课中,我们通过穷举找出了最适合的 w ,使得 y =x*w 最接近于样本。

但在一个神经网络中,有成百上千万的节点,穷举给每一个节点找最适合的 w 往往是不可能的。

因此,我们的目标就是给每一个节点找到最适合的 w ,就成为了一个优化问题。

首先,我们给 w 一个随机的初始值,在图中的红点处

此时,w 的坐标为 (w,loss(w)) ,对其求导,可得黄色直线的 斜率k ,根据 k的正负 ,就可以知道w往哪边优化可以使 w减小

在这里插入图片描述
下图是在cost(上文中的loss)中对w求导。
在这里插入图片描述
又知w的更新公式为:在这里插入图片描述

α 为学习率

根据上述公式,经过多轮的迭代(即多个epoch),w总会到达一个局部最优值(或全局最优值)

实现代码

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

def forward(x):
    return x * w

w = 1.0
def cost(xs,ys):
	# 计算损失
    cost = 0
    for x,y in zip(xs,ys):
        y_pred = forward(x)
        cost += (y_pred - y) ** 2
    return cost/len(xs)

def gradient(xs,ys):
	# 计算梯度
    grad = 0
    for x,y in zip(xs,ys):
        grad += 2*x*(x*w -y)
    return grad / len(xs)

for epoch in range(100):
    cost_val = cost(x_data,y_data)
    grad_val = gradient(x_data,y_data)
    w -= 0.01 * grad_val
    print(f"Epochs:{epoch},w={w},loss={cost_val}")
print(f"predict y:{forward(4)}")

如何避免w陷入局部最优值?

这里的w每次都是用 全部的 x 计算得出的y_pred 去计算 loss,这种方法称为:批量梯度下降
优点:梯度更稳定,收敛稳定。可以并行
缺点:需要计算全部的数据后,才更新一次w,速度慢

于是有人提出了 随机梯度下降 ,即随机使用之前得出的loss 去更新这一次的w,每得出一个loss,都更新一次w,更新速度非常快。计算公式为:在这里插入图片描述

这里与上面批量梯度下降的区分开。上面的是在这里插入图片描述

优点:梯度可能下降快。可以避免局部最小值。
缺点:只能串行。且收敛不稳定。

还有一种折中的方式,小批量梯度下降 。即不计算全部的数据再更新w,也不会每次都更新w。上述两种方法的折中。

这里的“批量”就是 batch

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-09-24 10:34:02  更:2021-09-24 10:36:34 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年3日历 -2024/3/28 19:20:56-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码