1.sigmoid
????????函数图像：
上图分别为其函数图像和导函数图像?
.?
????????优点：
? ? ? ? ????????1. 函数平滑，易于求导
? ? ? ??缺点：
? ? ? ? ? ? ? ? 1. 梯度值均小于1，容易梯度消失
? ? ? ? ? ? ? ? ? 2.使用指数运算，计算耗时
? ? ? ? ? ? ? ? ? 3.输出数据不是0均值的，收敛缓慢（模型的梯度值恒为正或者恒为负，导致会呈现Z字形的收缩方式）
? ? ? ? 收敛缓慢的图像。?
2. tanh
函数图像：
????????导函数为?
?????????优点：
? ? ? ? ????????1. 是0均值的，收敛较快
? ? ? ? ? ? ? ? 2.类似于sigmoid，曲线平滑，易于求导
? ? ? ? 缺点：
? ? ? ? ? ? ? ? 1.指数运算，计算耗时
? ? ? ? ? ? ? ? 2. 只是将导数范围由（0， 0.25）放大到了（0， 1），仍然存在梯度消失问题
3. Relu
函数图像：
????????左侧为原函数，右侧为导数，其中在x=0处不可导。
????????优点：?
? ? ? ? ? ? ? ? 1.计算速度快
? ? ? ? ? ? ? ? 2.在x>0时，导数恒为1， 解决了梯度消失问题（正区间上的）
? ? ? ? ? ? ? ? 注：此时在正方向上的梯度则全部取决于权重值，激活函数的输出是无上限的，可能出现梯度爆炸的问题。因此需要保证权重值在（0，1),? 或者使用梯度裁剪:?g=min?(6,max(0, x))。
? ? ? ? ? ? ? ? 3.由于导数为1，故而收敛的比sigmoid和tanh更快
? ? ? ? 缺点：
? ? ? ? ? ? ? ? 1.存在deadly relu，即当输入为负时，某些神经元不更新
? ? ? ? ? ? ? ? ? ? ? ?注：deadly relu也有好处，即带来了输出的稀疏性，能够提高时间和空间效率
? ? ? ? ? ? ? ? 尽可能避免deadly relu的策略：不要过大的学习率；Xavier参数初始化；自适应调节学习率
? ? ? ? ? ? ? ? 2.输出不是0均值的
4.leaky Relu：
? ? ? ? 函数图像类似于Relu，只不过在负区间上的导数为0.01。
? ? ? ? 优点：
? ? ? ? ? ? ? ? 1.解决了deadly relu的问题
? ? ? ? ? ? ? ? 2.收敛较快
? ? ? ? ? ? ? ? 3.计算速度快
? ? ? ? 缺点：
? ? ?? ? ? ? ? ?1.不是0均值的
5. ELU（Exponential Linear Units）：
?函数图像及导函数图像：
????????
? ? ? ? 优点：
? ? ? ? ? ? ? ? 1.解决了Relu的deadly relu问题
? ? ? ? ? ? ? ? 2. 是0均值的
? ? ? ? 缺点：
? ? ? ? ? ? ? ? 1.使用了指数运算，计算耗时?
? ? ? ? 其中leaky Relu的参数人工设定，P Relu的参数是可学习的，而Random?Relu中的参数在训练时随机抽取，而在测试时是固定的。
6. maxout
? ? ? ??
主要思想：
????????类似于池化层，其中有k组w和b，k是一个人工设定的参数，相当于做了k个不同的线性变换得到k中feature map，然后做最大池化。
7. Selu：扩展型指数线性激活函数
? ? ? ? 函数图像：
? ? ? ? 导函数及其图像：?（0， lambda * alpha）
? ? ? ? ?其中： lambda = 1.05， alpha=1.673
?????????优点：
? ? ? ? ? ? ? ? 1.输出是自归一化的， 因此收敛更快
? ? ? ? ? ? ? ? 2. 不会出现梯度消失和梯度爆炸的问题
? ? ? ? ? ? ?缺点：
? ? ? ? ? ? ? ? ? ? 1. 指数运算，计算耗时
? ? ? ? ? ? ? ? ? ? ?2.? 在CNN和RNN中目前用的还是较少，具体怎么更好地应用效果仍然值得研究????????
8. Gelu：高斯误差线性单元激活函数
????????
?优点：
? ? ? ? 1. 不会出现梯度消失问题
? ? ? ? 2. 引入了随机正则（依据输入数据的概率分布）
?具体函数的由来：
? ? ? ? 对于一个输入x，它服从于标准正态分布N（0，1), 然后乘一个伯努利分布。得到：
逼近后即为上式的数值函数。
函数思想是：
????????类似于dropout，将输入较小的值认为是不重要的额，因此倾向于将其归整为0。?
注： Gelu用于transformer、bert和gpt中，是目前最好的激活函数。