IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 深度学习神经网络矩阵维度的变换 -> 正文阅读

[人工智能]深度学习神经网络矩阵维度的变换

首先,以输入特征数为2,样本数为1,层数为2的神经网络举例子(隐藏层1层+输出层1层)
激活函数为sigmoid函数
所以有以下的网络
在这里插入图片描述
一般输入层不算入层数,在这里写为第0层。
第0层有两个输入特征,1个样本数,所以矩阵维度为[2,1]
第1层有4个单元数,所以矩阵维度的第一维为4,第二维为前一层的单元数(即第0层),所以第1层的矩阵维度为[4,2]
第2层有1个单元数,所以矩阵维度的第一维为1,第二维为前一层的单元数(即第1层),所以第2层的矩阵维度为[1,4]
一般一个单元里面有两个计算,一个是线性计算,一个的激活函数
线性计算为 z = W * x + b
激活函数为 a = σ(z)
如果把这两条式子代入神经网络中,
首先把特征数输入第0层,假设有2个特征,1个样本,那么x的维度就是[2,1]
而 W为第一层的参数,所以维度为[4,2]

z[ __, __ ]=W[4,2] * x [2,1] + b[ __ , __]

由矩阵运算可知z的维度应为[4,1],所以b的维度也为[4,1]
z[4, 1 ]=W[4,2] * x [2,1] + b[4,1]
接着经过激活函数a = σ(z),所以a的维度也为[4,1]
接着来到第二层,第一层的输出为a,a则作为第二层的输入,所以有:

z = W * a + b
z[ __, __ ]=W[__,__] * a [4,1] + b[ __ , __]

而第二层的参数W的维度为[1,4],所以:

z[ __, __ ]=W[1,4] * a [4,1] + b[ __ , __]

同理可得z的维度和b的维度

z[ 1, 1]=W[1,4] * a [4,1] + b[1,1]

接着,接着经过激活函数y= σ(z),输出y

那么,可以推广到m个样本
首先把样本输入第0层,假设有2个特征,m个样本,那么x的维度就是[2,m]
而 W为第一层的参数,所以维度为[4,2]

z[ __, __ ]=W[4,2] * x [2,m] + b[ __ , __]

由矩阵运算可知z的维度应为[4,m],所以b的维度也为[4,m]
z[4, m ]=W[4,2] * x [2,m] + b[4,m]
接着经过激活函数a = σ(z),所以a的维度也为[4,m]
接着来到第二层,第一层的输出为a,a则作为第二层的输入,所以有:

z = W * a + b
z[ __, __ ]=W[__,__] * a [4,m] + b[ __ , __]

而第二层的参数W的维度为[1,4],所以:

z[ __, __ ]=W[1,4] * a [4,m] + b[ __ , __]

同理可得z的维度和b的维度

z[ 1, m]=W[1,4] * a [4,m] + b[1,m]

上面为2层神经网络,接着推广到多层网络:
假设n^L 代表第L层的单元数
在这里插入图片描述
那么第L(0层除外)层的w矩阵维度为[n^L ,n^(L-1)]
而第L(0层除外)层的b矩阵维度为[n^L ,m]
m代表样本数

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-11-09 19:29:17  更:2021-11-09 19:33:48 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/27 6:27:29-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码