M-P神经元

模拟生物行为的数学模型。接收n个输入，并给各各输入赋予权重计算加权和，然后和自身特有的阈值theta进行比较(做加减法)，最后经过激活函数处理得到输出(给下一个神经元)

单个M-P神经元

感知机器(sgn作激活函数)、对数几率回归(sigmoid做激活函数)

多个M-P神经元

神经网络

感知机

激活函数为sgn(阶跃函数)的神经元

模型

从几何角度，给定一个线性可分的数据集，感知机的学习目标是求得能对数据集中正负样本完全正确划分的超平面。
n维空间的超平面：超平面方程不唯一，法向量w垂直于超平面，法向量w和位移项b确定一个唯一超平面，法向量w指向的那一半空间为正空间，另一半为负空间。

学习策略

随机初始化w和b，将全体训练样本代入模型中找出误分类样本，定义损失函数，并且损失函数都是非负。如果没有误分类点，损失函数值是0。而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。

学习算法

误分类样本集合M固定是，可以求得损失函数L(w)的梯度。
感知机的学习算法具体采用的是随机梯度下降法，也就是极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。
（只能解决线性可分模型）

神经网络

像感知机这种单个神经元分类能力有限，只能分类线性可分的数据集，不用用于线性不可分的数据集，但是多个神经元构成的神经网络能够分类线性不可分的数据集。只需一个包含足够多神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数。因此，神经网络可以做回归，也能做分类，而且不需要特殊的特征工程。
(未读完)