|
常用的手写数字识别数据集：MNIST数据集。
MNIST数据集是计算机视觉领域的经典入门数据集，包含了60,000个训练样本和10,000个测试样本。这些数字已经过尺寸标准化并位于图像中心，图像是固定大小(28×2828×28像素)。
5.3 基于LeNet实现手写体数字识别实验
LeNet-5虽然提出的时间比较早，但它是一个非常成功的神经网络模型。
基于LeNet-5的手写数字识别系统在20世纪90年代被美国很多银行使用，用来识别支票上面的手写数字。
这里的LeNet-5和原始版本有4点不同：
- C3层没有使用连接表来减少卷积数量。
- 汇聚层使用了简单的平均汇聚，没有引入权重和偏置参数以及非线性激活函数。
- 卷积层的激活函数使用ReLU函数。
- 最后的输出层为一个全连接线性层。
网络共有7层，包含3个卷积层、2个汇聚层以及2个全连接层的简单卷积神经网络接，受输入图像大小为32×32=102432×32=1024，输出对应10个类别的得分。
5.4 基于残差网络的手写体数字识别实验
残差网络（Residual Network，ResNet）是在神经网络模型中给非线性层增加直连边的方式来缓解梯度消失问题，从而使训练深度神经网络变得更加容易。
在残差网络中，最基本的单位为残差单元。
构建ResNet18的残差单元，然后在组建完整的网络。
先使用没有残差连接的ResNet18进行实验。
再使用带残差连接的ResNet18重复上面的实验。
?ref：
NNDL 实验5（上） - HBU_DAVID - 博客园 (cnblogs.com)
NNDL 实验5（下） - HBU_DAVID - 博客园 (cnblogs.com)
6. 卷积神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)
7. 现代卷积神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)
|