一.亮点总结
1.为了减少过拟合使用名为dropout正则化以及重叠池化
2.在多个GPU上训练
3.LRN归一化
4.使用Relu激活函数，解决Sigmoid在网络较深容易出现梯度消失的问题
5.使用裁剪翻转等操作做数据增强，增强了模型的泛化能力。预测时使用提取图片四个角加中间五个位置并进行左右翻转一共十幅图片的方法求取平均值，这也是后面刷比赛的基本使用技巧。
二.模型介绍
第一层卷积：
输入：227x227x3
卷积核：11x11x3，且96个卷积核,输入通道为3，输出通道为96
步长：4，padding:0
输出：96x55x55(输出的通道数等于输入卷积核的个数,55=[(224-11)/4]+1）
第一层池化：
输入：96x55x55
窗口：3x3
步长：2
输出：96x27x27(27=[(55-3)/2+1])
第一层归一化层：
Local_size=5(相邻卷积核大小设为5)，输出维度96x27x27
第二层卷积层
输入：96x27x27
卷积核：96x5x5，且有256个卷积核
步长：2，padding:2
输出：256x27x27（27=（[27-5+4]/1）+1）
第二层池化：
输入：256x27x27
窗口：3x3
步长：2
输出：256x13x13
第二层归一化层：
Local_size=5(相邻卷积核大小设为5)，输出维度256x13x13
第三层卷积层：
输入：256x13x13
卷积核：256x3x3，且有384个卷积核
步长：2，padding:2
输出：384x13x13
第四层卷积：
输入：384x13x13
卷积核：384x3x3，个数为384
步长：1，padding：1
输出：384x13x13
第五层卷积：
输入：384x13x13
卷积核：384x3x3，个数为256
步长：1，padding：1
输出：256x13x13
第五层池化层：
输入：256x13x13
窗口：3x3
步长：2
输出：256x6x6
第六层全连接层：Linear(9216,4096)
输入的特征图的维度为6×6×256，首先要对输入的特征图进行扁平化处理，将其变成维度为1×9216的输入特征图，因为本层要求输出数据的维度是1×4096，所以需要一个维度为9216×4096的矩阵完成输入数据和输出数据的全连接，最后得到输出数据的维度为1×4096。
Dropout6层：
在训练的时候以1/2概率使得隐藏层的某些神经元的输出为0，这样就丢掉了一半节点的输出，反向传播的时候也不更新这些节点，输出的特征图的维度为1×4096。
第七层全连接层：Linear(4096,4096)
输入的特征图的维度为1x4096，所以需要一个维度为4096×4096的矩阵完成输入数据和输出数据的全连接，最后得到输出数据的维度为1×4096。
Dropout7层
在训练的时候以1/2概率使得隐藏层的某些神经元的输出为0，这样就丢掉了一半节点的输出，反向传播的时候也不更新这些节点，输出的特征图的维度为1×4096(这些神经元还存在，只是置为0了，因此输出维度不变)。
第七层全连接层：Linear(4096,1000)
为AlexNet的第3个全连接层，输入数据的维度为1×4096，输出数据的维度要求是1×1000，所以需要一个维度为4096×1000的矩阵完成输入数据和输出数据的全连接，最后得到输出数据的维度为1×1000。
三.pytorch代码实现
import torch
import torch.nn.functional as F # 激活函数
class AlexNet(torch.nn.Module):
def __init__(self):
super(AlexNet, self).__init__()
self.conv1 = torch.nn.Conv2d(3, 96, kernel_size=11,stride=4)
self.conv2 = torch.nn.Conv2d(96, 256, kernel_size=5,stride=2,padding=2)
self.conv3 = torch.nn.Conv2d(256, 384, kernel_size=3,stride=2,padding=2)
self.conv4 = torch.nn.Conv2d(384, 384, kernel_size=3,padding=1)
self.conv5 = torch.nn.Conv2d(384,256 , kernel_size=3,padding=1)
self.pooling = torch.nn.MaxPool2d(kernel_size=3,stride=2)
self.fc1 = torch.nn.Linear(9216, 4096)
self.fc2 = torch.nn.Linear(4096, 4096)
self.fc2 = torch.nn.Linear(4096, 1000)
self.dropout=torch.nn.Dropout(p=0.5)
def forward(self, x):
batch_size = x.size(0)
x = F.relu(self.pooling(self.conv1(x)))
x = F.relu(self.pooling(self.conv2(x)))
x = F.relu(self.conv3(x))
x = F.relu(self.conv4(x))
x = F.relu(self.pooling(self.conv5(x)))
x = x.view(batch_size, -1) # flatten
x = self.dropout(F.relu(self.fc1(x)))
x = self.dropout(F.relu(self.fc2(x)))
x = self.fc3(x)
return x
Net=AlexNet()
if __name__=='__main__':
print(Net)