CNN卷积神经网络
前言
为什么用卷积神经网络
全连接神经网络问题
- 参数过多
- 过拟合
- 需要更多数据
- 收敛到较差的局部极值
卷积神经网络
- 局部连接
- 参数共享
提示：以下是本篇文章正文内容，下面案例可供参考
一、相关概念
卷积
彩色图像卷积
池化
- 最大池化
- 平均池化
padding
每次卷积图像都会缩小，层数越多，缩小的越多。
边沿的像素会被忽略
- padding大小
n+2p-f+1=n - padding 类型
valid
same - 如果有步长则
（n-f)/S+1+2p=n
Dropout正则化
- 目的
减少过拟合 - 方法
在一次训练时的迭代中，对每一层中的神经元（总数为N）以概率P随机剔除，用余下的（1-P）×N个神经元所构成的网络来训练本次迭代中的数据。
一般来说对于CNN，Dropout仅在池化层后使用
局部归一化
LRN ( Local Response Normalization) 局部响应归一化
二、经典网络
AlexNet
- 作者：
– Alex Krizhevsky - 2012 ILSVRC（ImageNet Large Scale Visual Recognition Challenge）竞赛的冠军网络
– 分类准确率从传统的74%提升到84%
– top-5错误率16.4%
亮点： - 首次使用了GPU进行网络加速训练
– 使用了ReLU 激活函数，而不是传统的sigmoid和tanh
– 在全连接层前两层使用了Dropout，减少过拟合
– 局部归一化（Local Response Normalization，简称LRN）
VGGNet介绍
- VGGNet由牛津大学计算机视觉组合和Google DeepMind公司研究员一起研发的深度卷积神经网络
- 成绩：
ILSVRC 2014年比赛的亚军和定位项目的冠军
将 Top-5错误率降到7.3% - 特点：
– 小卷积核和多卷积子层
— 33
– 小池化核
— 22
weight初始赋值
小型的VGG :正态分布
大型的VGG: 从已经训练好的小型VGG中拷贝过去
input图像处理
[256;512]
GoogLeNet
- 谷歌团队创建
成绩：
2014 ILSVRC2014比赛中取得冠军
22层神经网络达到top-5错误率6.7% - 亮点
所用模型参数不足AlexNet（2012年冠军）的1/12
Inception结构
丢弃全连接层，使用平均池化层（大大的减少了模型参数）
添加了两个辅助分类器帮助训练
使用1X1卷积核进行降维以及映射
ResNet介绍
- ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出
- 成绩：
2015 ILSVRC2015比赛中取得冠军
152层神经网络top5上的错误率为3.57%
同时参数量比VGGNet低
发现层数越多反而效果不i好
原因：梯度消失
resnet解决方案
结果
三、实操一般步骤结构
举例
代码链接
https://github.com/anglersking/simple_deep_learning/tree/master/CNN