监督学习与非监督学习简述
监督学习
监督训练是将将一组训练集送入网络，根据网络的实际输出与期望输出之间的差别来调整连接权
监督学习算法的步骤
- 从样本集合中取一个样本（
A
i
A_{i}
Ai?,
B
i
B_{i}
Bi?），其中
A
i
A_{i}
Ai?是输入，
B
i
B_{i}
Bi?是期望输出。
- 计算网络的实际输出O
- 求D =
B
i
B_{i}
Bi?-O
- 根据D调整权矩阵W
- 对每个样本重复以上过程，直到误差对整个样本集来说不超过规定范围为止 。
监督学习算法：Delta学习规则
Delta学习规则是一种简单的监督学习算法，该算法根据神经元的实际输出与期望输出之间的差别来调整连接权。其数学表达式如下（损失函数）：
w
i
j
(
t
+
1
)
=
w
i
j
(
t
)
+
α
(
d
i
)
x
j
(
t
)
w_{ij(t+1)} = w_{ij(t)} + \alpha(d_{i})x_{j(t)}
wij(t+1)?=wij(t)?+α(di?)xj(t)?
-
w
i
j
w_{ij}
wij?神经元j---->i的连接权
-
d
i
d_{i}
di?是神经元i的期望输出
-
y
i
y_{i}
yi?是神经元i的实际输出
-
x
j
x_{j}
xj?表示神经元j的状态，处于激活态为1 ，若处于抑制状态为0或-1（具体由激活函数定）
-
α
\alpha
α表示学习速度的常数
简单的说，Delta规则就是：若神经圆实际输出比期望值大，则减小所有输入为正的连接的权重，增大所有输入为负的连接的权重；若神经元实际输出比期望值小，则反之。
|