[人工智能]傻瓜版机器学习（3）-数学神经元和经典的BP简单神经网络

之前很多教科书上对于神经元都是给定一些模糊的概念，因此我们利用数学，把神经网络的数学脉络讲清厘清，帮助大家更好的学习

神经网络

数学神经元结构

? ? ?

为传递函数（激活函数），表示与神经元连接的权值

表示输出值，表示阈值，为输入信号

简单的BP网络结构

?第h个隐层神经元的输入：

?第h个隐层神经元的输出：，为对应的阈值?

第j个输出层神经元的输入：

第j个输出层神经元的输出：

由权值，阈值，，激活函数，决定，，，，为参数

梯度下降法修正网络权值

??? BP的经典激活函数

的调整，网络训练目标：找到适合的权值和阈值时E最小?

工作原理的基本推导

逐步优化（对的修正）

?

?

?

?

（步长系数，步长小，学习慢，精度高）

?

?，

?

?

?

对同理有优化

?

?

?

?

?训练过程

输入：训练集数据，学习速率

?过程：在（0，1）内随机生成网络初始化的权值和阈值

并循环下述过程

1. 根据网络输入和当前参数计算网络输出值y
2. 计算输出层神经元梯度项
3. 计算隐层神经元梯度项
4. 更新连接权值和阈值

达到要求停止跟新

输出：连接权值和阈值