?首先放上学习链接——
10 多层感知机 + 代码实现 - 动手学深度学习v2_哔哩哔哩_bilibili
该章笔记：
一、最初的感知机
最初的感知机由基本线性回归模型组成
?
?
?
?
但是它只能作二分类，即输出0/1；或者说1/-1
与回归比较——回归输出实数
与softmax比较——输出概率?
感知机是如何训练的？
?
关于感知机的收敛定理
（图源视频）
感知机的缺陷： 不能拟合XOR问题、只能产生线性分割面
?二、多层感知机
相比最初的感知机，多层感知机使用了隐藏层和激活函数来得到线性模型
隐藏层大小是超参数
单隐藏层：
如果作的是单分类---
?
?
如果作的是多分类---
?这里表示三个隐藏层，可以看出每一层隐藏层的计算的输入都是上一隐藏层的输出
对应的，如果是多分类（假设K类）的输出，那么：
?
最后总结一下激活函数：
一、sigmoid函数，它的取值范围是（0，1）
?二、Tanh函数，它的取值范围是（-1,1）
用得比较少
?三、ReLU函数，它的取值范围是max(x,0)
即最小是0、这个函数是最常用的、当不知道用什么的时候可以用这个。
?
总结：
- 之所以，ReLU函数用得最多，是因为它的计算比较方便，前两个函数都是指数运算，指数运算是很贵的。
- 多分类问题仍然是用softmax来处理