先读
https://blog.csdn.net/zhangjunhit/article/details/53536915
https://blog.csdn.net/qianqing13579/article/details/71076261
第三个卷积层，S2 6个1010的特征映射，C3是16个1010的特征映射，怎么做的呢？
关注C3层
Why not connect every S2 feature map to every C3 feature map? The reason is twofold. First, a noncomplete connection scheme keeps the number of connections within reasonable bounds. More importantly, it forces a break of symmetry in the network. Different feature maps are forced to extract different(hopefully complementary) features because they get different sets of inputs.
作者设计的两个原因：
1.保持合理的连接数，减少参数数量
2.不同的输入组合迫使提取不同的特征
输出层
每个输出RBF单元计算其输入向量和参数向量之间的欧氏距离。输入距离参数向量越远，RBF输出越大。特定RBF的输出可以解释为一个惩罚项，用于测量输入模式和与RBF相关的类模型之间的拟合度。在概率方面，RBF输出可以解释为F6层配置空间中高斯分布的非规范化负对数似然。给定一个输入模式，应设计损失函数，以使F6的配置尽可能接近与模式所需类别对应的RBF参数向量。这些单元的参数向量由人工选择并保持固定（至少最初）。
传统的模式识别由手动设计的特征提取器和可训练的分类器组成
HOS 高阶统计量 可用于运动分割等领域
有关平移不变性
不幸的是，没有这样的预处理是完美的：
手写通常在单词级别进行规范化，这可能会导致单个字符的大小、倾斜和位置变化。这与写作风格的多样性相结合，将导致输入对象中不同特征的位置发生变化。原则上，一个足够大的全连接网络可以学习产生对这种变化不变的输出。然而，学习这样一项任务可能会导致在输入的不同位置放置具有类似权重模式的多个单元，以便在输入的任何位置检测出不同的特征。学习这些权重配置需要大量的训练实例来覆盖可能的变化空间。在卷积网络中，如下所述，通过强制在空间上复制权重配置，可以自动获得平移不变性。
局部感受野
其次，完全连接的体系结构的一个缺陷是完全忽略了输入的拓扑结构。输入变量可以以任何（固定）顺序呈现，而不会影响培训结果。相反，图像（或语音的时频表示）具有强大的二维局部结构：在空间或时间上相邻的变量（或像素）高度相关。局部相关性是在识别空间或时间对象之前提取和组合局部特征的众所周知的优势的原因，因为相邻变量的配置可以分类为少量类别（例如，边、角等）。卷积网络通过限制隐藏单元的感受野是局部的来强制提取局部特征。
卷积神经网络由3个结构特性组成：局部感受野、共享权重、时间空间下采样
由于所有的权值都是通过反向传播学习的，所以卷积网络可以看作是合成了自己的特征提取器。
A complete
convolutional layer is composed of several feature maps
(with different weight vectors), so that multiple features
can be extracted at each location
