前言
新手，记录一下自己的理解，也是读书笔记，并不进行公式推导。(公式推导的视频也很多)
5.1 神经元模型
神经网络是 T.Kohonen在1988给出的定义
因为阶跃函数的不连续和不光滑，所以我们的激活函数通常会采用sigmoid。
5.2 感知机和多层网络
为什么要引入感知机和多层网络？
在简单的处理中，比如与，或，非，如果W求的不好，容易发生震荡。其次单层神经元无法解决更复杂的问题，比如异或。
所以我们引入了多层的神经网络，。
5.3 误差逆传播算法
主要讲的是在前文的公式下，通过BP(BackPropagation),来对w和b进行更新。
文件还提到了标准BP算法和累计BP算法。标准BP算法相当于边算变更新参数，而累计BP算法是，读完整个数据集后在更新。
文中还提到了一个也是困扰我的问题，如何设置隐藏神经元的个数
wf
基于BP的过拟合提出了解决办法：
1.‘早停‘(early stopping),若训练集误差降低但验证集误差升高，就停止训练。
2.‘正则化’(regularization),后面的重点
5.4 全局最小和局部最小
很多情况下，我们求的最下误差函数对应的*w,*b可能并不是最优解，它可能只是局部最小。
跳出局部最小有两种办法：
1.’模拟退火‘(simulated annealing)
https://blog.csdn.net/weixin_42398658/article/details/84031235
2.随机梯度下降(他居然还有这个功能)
后面的就随便看了看，现在没接触到那些东西，所以先放放。