神经网络学习笔记_01
一、人工神经元
1.M-P神经元模型
可以看出M-P模型就是一个加权求和再激活的过程，能够完成线性可分的分类问题。
需要注意的一点时，M-P模型的权值W和偏置b都是人为给定的，所以对此模型不存在"学习"的说法。这也是M-P模型与单层感知机最大的区别，感知机中引入了学习的概念，权值W和偏置b是通过学习得来。
2.感知机（Preceptron）
感知机一般情况下被称为单层神经网络，结构与MP模型类似，一般被视为最简单的人工神经网络，也作为二元线性分类器被广泛使用。通常情况下指单层的人工神经网络，以区别于多层感知机。
3.感知机的致命缺点
一些关于感知机发展的历史：1969年，Marvin Minsky 和 Seymour Papert 在《Perceptrons》书中，仔细分析了以感知机为代表的单层神经网络系统的功能及局限，证明感知机不能解决简单的异或（XOR）等线性不可分问题，但 Rosenblatt 和 Minsky 及 Papert 等人在当时已经了解到多层神经网络能够解决线性不可分的问题。由于 Rosenblatt 等人没能够及时推广感知机学习算法到多层神经网络上，又由于《Perceptrons》在研究领域中的巨大影响，及人们对书中论点的误解，造成了人工神经领域发展的长年停滞及低潮，直到人们认识到多层感知机没有单层感知机固有的缺陷及反向传播算法在80年代的提出，才有所恢复。
二、多层感知机
1.多层感知机
2.多层感知机的前向传播
3.多层感知机的激活函数
三、激活函数
1.激活函数的两个重要作用
关于万能逼近定理本文没有做过多的介绍，感兴趣可以自行了解。
2.激活函数需要具备的性质
3.常见的激活函数
主要参考：1.深度之眼——神经网络基础
2. 百度百科——感知机
3.CSDN Monkey丶D——神经网络的雏形：从M-P模型到感知机
4.CSDN weixin_39907526——多层感知机和神经网络的区别_【AI初识境】从头理解神经网络-内行与外行的分水岭…