IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 深度学习-图解反向传播算法 -> 正文阅读

[人工智能]深度学习-图解反向传播算法

什么是正向传播网络?

前一层的输出作为后一层的输入的逻辑结构,每一层神经元仅与下一层的 神经元全连接,通过增加神经网络的层数虽然可为其提供更大的灵活性, 让网络具有更强的表征能力,也就是说,能解决的问题更多,但随之而来 的数量庞大的网络参数的训练,一直是制约多层神经网络发展的一个重要瓶颈。

什么是反向传播?

反向传播(Backpropagation algorithm)全称“误差反向传播”,是在 深度神经网络中,根据输出层输出值,来反向调整隐藏层权重的一种方法。

为什么需要反向传播?

  • 为什么不直接使用梯度下降而使用反向传播方式更新权重呢?
  • 梯度下降应用于有明确求导函数的情况,或者可以求出误差的情况(比如线性回归),我们可以把它看做没有隐藏层的网络。
    但对于多个隐藏层的 神经网络,输出层可以直接求出误差来更新参数,但隐藏层的误差是不存 在的,因此不能对它直接应用梯度下降,而是先将误差反向传播至隐藏层, 然后再应用梯度下降。

反向传播简史

  • 1974年,哈佛大学沃伯斯博士在他的博士论文中,首次提出了通过误差的反向传播来训练人工神经网络,以解决神经网络数量庞大的参数训练问题。但是,沃伯斯的工作并没有得到足够的重视,因为当时神经网络正陷入低潮,可谓“生不逢时”
  • 1986年,由杰弗里·辛顿(Geoffrey Hinton)和大卫·鲁姆哈特(David Rumelhart)等人在著名学术期刊Nature(自然)上发表了论文“借助误差反向传播算法的学习表 征(Learning Representationsby Back-propagating errors)”,系统而简洁地阐述了反向传播算法在神经网络模型上的应用。反向传播算法非常好使,它直接把纠 错的运算量降低到只和神经元数目本身成正比的程度。
  • 后来,沃伯斯得到了IEEE(电气电子工程师学会)神经网络分会的先驱奖;Geoffrey Hinton与Yoshua Bengio、Yann LeCun(合称“深度学习三巨头”)共同获得了 2018年的图灵奖。

图解反向传播

  • 问题:Tom在超市买了2个苹果,每个10元,消费税10%,请计算应该支付 的金额
    在这里插入图片描述
  • 问题:Tom在超市买了2个苹果,3个橙子,其中苹果每个10元,橙子每个 15元,消费税10%,请计算应该支付的金额
    在这里插入图片描述
  • 问题:Tom在超市买了2个苹果,每个10元,消费税10%,请计算苹果价格上涨会在多大程度上影响支付金额(即求“支付金额关于苹果的价格的导数”)。设苹果的价 格为x,支付金额为L,则相当于L求x的偏微分。这个导数的值表示当苹果的价格稍微上涨 时,支付金额会增加多少。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    苹果价格的导数为2.2,苹果个数导数为11,消费税导数为20,可以解释为:苹果价格、 苹果个数或消费税增加相同的值,分别对支付金额产生2.2倍、11倍、20倍的影响。
    在这里插入图片描述

反向传播计算

  • 考虑函数 y = f(x) , 输出为E,反向传播的计算顺序是,将信号E乘以节点的
    局部导数(偏导数),传递给前面的节点,这样可以高效地求出导数的值。
    在这里插入图片描述
  • 加法节点反向传播计算
    在这里插入图片描述
  • 乘法节点反向传播计算
    在这里插入图片描述
  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-08-31 15:27:21  更:2021-08-31 15:27:37 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 17:52:42-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码