[人工智能]《神经网络与深度学习》（2）前馈神经网络

前馈神经网络

**激活函数：**为了增强网络的表示能力和学习能力。

1. 连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
2. 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
3. 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。
4. 激活函数类型：Sigmoid 型激活函数、Tanh 函数、修正线性单元（Rectified Linear Unit， ReLU） 、指数线性单元（Exponential Linear Unit， ELU）、Swish 函数
5. 

参数学习：

6. 正则化项用来防止过拟合
   2. 学习率是在反向传播时需要配置的固定参数
   3. 随机梯度下降算法：

4. 神经网络的参数主要通过梯度下降来进行优化的。