文章目录
1、数学模型
根据上图的输入，参数w以及b，激活参数以及输出y可以得到如下数学模型，最后可以通过向量表示。
类似如下问题：给定一些输入输出（X，y），其中y=+/-1，求一个函数，使：f(X)=y
1、感知器算法
首先介绍感知器算法，我认为感知器算法类似于人学习，如果某一项学的好可能就会减少学习它的时间，认为另一项学的不好，就增加学习它的时间，往对的方向拉去。
感知器算法经过验证是会收敛的
2、线性可分与线性不可分
线性可分是指能使用线性组合组成的超平面将两类集合分开，比如二维空间中的直线、三维空间中的平面以及高维空间中的线性函数（SVM算法）。
线性不可分则没有能将两类集合分开的超平面。神经网络可以解决线性不可分模型。
2、多层神经网络
多层神经网络可以用非线性模型分开非线性的样本。通过如下证明可得
三层神经网络可以模拟任意决策面
后向传播算法（Back Propogation Algorithm）
优化算法是梯度下降算法，求得局部极值，
上图中α指的是步长或者学习率，一步一步的下降，所得的值f(w)会降低，直到该点左右都比该点的值大，就得到了局部最优解。（个人笔记）
BP算法一般分为3种层次，有输入层(input layer)，隐藏层(hidden layer)，输出层(output layer)。其中输入层，输出层一般只有1层，而隐藏层取决于具体实例的学习进程，可以设置多层次，包括信号的前向传播和误差的反向传播两个过程。
由上述笔记可以得到求导的结果，前项计算出所有的a、y、w；
后向传播，由偏导数从后向前计算，有后面算得的结果带入计算，得到更准确的w、b。
3、深度学习（卷积神经网络）
感受野：卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。通俗解释：特征图上的一个点对应输入图上的区域或者每一层得到的feature map中的一个值是由原图中多大范围的像素点计算得到的。
卷积神经网络会把感受野层层放大。
深度神经网络的基本思想是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。
卷积神经网络由手工设计卷积核变成了自动学习卷积核。
卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，其三个关键的操作，其一是局部感受野，其二是权值共享，其三是pooling层，有效的减少了网络的参数个数，缓解了模型的过拟合问题。
局部感受野：由于图像的空间联系是局部的，每个神经元不需要对全部的图像做感受，只需要感受局部特征即可，然后在更高层将这些感受得到的不同的局部神经元综合起来就可以得到全局的信息了，这样可以减少连接的数目。
权值共享：不同神经元之间的参数共享可以减少需要求解的参数，使用多种滤波器去卷积图像就会得到多种特征映射。权值共享其实就是对图像用同样的卷积核进行卷积操作，也就意味着第一个隐藏层的所有神经元所能检测到处于图像不同位置的完全相同的特征。其主要的能力就能检测到不同位置的同一类型特征，也就是卷积网络能很好的适应图像的小范围的平移性，即有较好的平移不变性（比如将输入图像的猫的位置移动之后，同样能够检测到猫的图像）
以下笔记介绍了LeNet以及Alex net
LeNet
AlexNet
AlexNet是在LeNet基础上发展而来，模型结构更深。LeNet5由2层卷积层加3层全连接层构成，AlexNet则在此基础上将卷积层增加到5层，网络深度达到了8层，并且增加了Dropout，将池化层由平均池化换成最大池化，激活函数改为Relu，整体参数量达到千万级。
Alex net应用图像识别ImageNet，最后的输出是1000*1的列向量，对应的是每种类别，
学习出来的特征是什么样子：
第一层：都是一些填充的块状物和边界等特征
中间层：学习一些纹理特征
更高层：接近于分类器的层级，可以明显的看到物体的形状特征
最后一层：分类层，完全是物体的不同的姿态，根据不同的物体展现出不同姿态的特征了。
即无论对什么物体，学习过程都是：边缘→ 部分→ 整体
该方法训练了一个端到端的卷积神经网络实现对图像特征提取和分类
相关学习：
https://zhuanlan.zhihu.com/p/467017218
https://blog.csdn.net/jiaoyangwm/article/details/80011656/
首先需要将一张输入图像转换为[3, 227, 227]的矩阵，一般的彩色图像为RGB三通道构成，因此模型的输入通道即为3。
卷积层C1:卷积–>ReLU–>池化–>归一化**。**
卷积层C2：卷积–>ReLU–>池化–>归一化**。**
卷积层C3： 卷积–>ReLU。
卷积层C4： 卷积–>ReLU。
卷积层C5：卷积–>ReLU–>池化。
全连接层FC6：（卷积）全连接 -->ReLU -->Dropout。
全连接层FC7：（卷积）全连接–>ReLU–>Dropout。
输出层：（卷积）全连接 -->Softmax。
全连接：输入为4096个神经元，输出是1000个神经元。这1000个神经元即对应1000个检测类别。
Softmax：这1000个神经元的运算结果通过Softmax函数中，输出1000个类别对应的预测概率值。
4、目标检测笔记
这里的ROI Pooling比较难理解，参考b站学习
Feature Map：在同一层，我们希望得到对于一张图片多种角度的描述，具体来讲就是用多种不同的卷积核对图像进行卷，得到不同核（这里的核可以理解为描述）上的响应，作为图像的特征。他们的联系在于形成图像在同一层次不同基上的描述。
每一个神经元尝试从一部分原图信息中确认某种特征是否存在，如果存在就会被激活，所以得到的feature map对应的都是同一种特征。
Mask RCNN:目标检测+实例分割
作用：可以完成目标分类，目标检测，语义分割，实例分割，人体姿态识别等多种任务。
FCN算法思想：首先对图像进行卷积和池化，不断减小其feature map，然后进行反卷积操作，即进行插值操作，增大其feature map，最后对每一个像素值进行分类。
未完
一些图片来源浙江大学机器学习课程ppt