感知机
感知机是接受多个输入信号，并转换为一个输出信号的东西。输入信号输入神经元，乘以相应的权重，并计算总和，总和超过某一个界限值时，才会输出1，也被称为神经元激活。
局限性：
感知机的局限性在于它只能表示一条直线分割的线性空间，可以通过叠加层实现非线性空间。理论上多层感知机可以实现计算机的功能。
神经网络
神经网络可以自动地从数据中学习到合适地权重参数。
激活函数
将输入信号的总和转换为输出信号。神经网络中常用的激活函数为阶跃函数，sigmoid函数和ReLU函数。
激活函数必须使用非线性函数，因为线性函数无论怎样加深层数，总是有与之等效的“无隐藏层的神经网络”
阶跃函数
输入超过0，输出1，否则输出0.
# 阶跃函数
def step_function (x):
y = x > 0
return y.astype(np.int)
sigmoid函数
h(x) = 1 / ( 1 + exp(-x) )
sigmoid函数图像是一条平滑的曲线，输出随着输入发生连续性变化，且可以输出实数值。
# sigmoid函数
def sigmoid (x):
return 1 / (1 + np.exp(-x))
ReLU函数
在输入大于0时，直接输出该值，否则输出0