一、非线性函数
1.定理
定理1：如果层与层之间不加非线性函数，多层神经网络将会退化到一个神经元的感知器模型状态
2.证明?
以一个简单的二层神经网络为例：
?其中：
?输入输出的关系为：
?其中待求的参数：
?如果不加线性函数，列出输入输出关系：
?再看一看单个神经元（感知机）的输入输出关系：
?是不是有点像，我再弄得明显一点：
?现在。。一模一样了吧，哈哈
?所以就有了上面的定理
?二、带有阶跃函数的神经网络
1.定理
定理2：如果非线性函数采用阶跃函数，那么三层神经网络可以模拟任意非线性函数
2.问题举例：
以一个简单的二维二分类问题为例（一维的太过简单了。。。）
?假定：这个三角形的三条边的方程分别是
?注：假设朝向三角形内测为正，三角形外为负（如果不是就把系数取相反数）
?
?第二层权重全部设为1，偏置设为-2.5，作用是使得z1，z2，z3全为1时输出才为正（y=0.5），其他情况都为负。
函数：
?3.矩形情况
?4.非线性函数
问题：
?网络模型：
?两个权重都设置为1，偏置设置为-0.5
?思考题：
1.假设非线性函数有三个取值情况，例如特征空间中有两个三角形：
当x在第一个三角形内时，y=2；
当x在第二个三角形内时，y=1；
当x在两个三角形外时，y=-1;
请设计一个三层神经网络来模拟这个非线性函数：
解：
网络结构不变，解方程组：
k1+b=2
k2+b=1
b=-1
就能确定系数
2.
?这个问题从原理上看和三角形一样
?