IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 深度学习之局部连接与权值共享 -> 正文阅读

[人工智能]深度学习之局部连接与权值共享

在网络中,如果全部使用全连接网络,则会使参数异常多,造成计算复杂,降低训练的效率。由此引入卷积层,卷积层能够有效减小训练参数,这与卷积具有的两个性质有关。
结合自身经历以及他人的疑问,对卷积神经网络有一个误解
每个卷积核产生的feature map为一个神经元,正确的认知应该是每个神经元代表feature map的一个像素;
卷积层有两个比较重要的性质:

1 局部连接

全连接与卷积网络
图1.全连接与卷积
在这里插入图片描述
图2.卷积示意图

如图所示,5×5为L层,3×3为L+1层,其中L+1层单元格值为6、10的两个格子,两个神经元的计算值仅仅与前一层的黄、红色的输入层的部分映射,相比全连接网络,其减小了参数的量,对于现代更深更大的网络,两者的差距会被放大更多。
如果使用全连接层,需要训练的参数个数为(5×5)×(3×3)= 225个,而使用卷积,需要训练的参数仅为卷积核大小 = (3×3) = 9个。在单个网络上仅仅减小了几个,但是在多通道、几十层上百层的网络中,这个训练参数的差距会非常大。
通过以上证明,卷积大大减小了训练需要的参数数量,提高了训练效率。

2. 权重共享

如图2, 红黄色所对应的特征映射中的两个神经元,其部分参数计算时共享,本质是共享的卷积核在移动时共享的输入图像参数,红色圆圈所标注的为共享区域,这同样减小了参数数量。

邱锡鹏《深度学习》
吴恩达《深度学习》

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-09-11 18:48:52  更:2021-09-11 18:49:55 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 14:48:19-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码