? ? ? 本文主要总结一下最近学习ResNet、DenseNet、ResNeXt、SE Net、SE ResNeXt 的演进，归纳了一下整个特点，话不多说先上图：
1.ResNet
1.1 结构特点
1.shortcut connection增加了它的信息流动
2.恒等映射，堆叠的非线性层
1.2 当输入、输出通道数不同时
1.将X相对Y缺失的通道直接补零
2. 使用1x1的conv来表示Ws映射
2. DenseNet
2.1结构特点
1. shortcut 连接所有层
2. 信息可以多方向的往下传，而梯度则可以多方向的反向传，训练更容易
?
3. ResNeXt
3.1结构特点
1. 自由度cardinality（一般32），X指的就是 neXt dimension
2. 用一种平行堆叠相同拓扑结构的blocks代替原来 ResNet 的三层卷积的block
3. 与 ResNet 相比，相同的参数个数，结果更好
4. 网络结构简明，模块化，需要手动调节的超参少
3.2 结构对比
1. 把输出那里的1x1合并到一起得到类似Inception-ResNet结构
2. 进一步把输入的1x1也合并到一起得到通道分组卷积的网络
3.?引入Inception结构，通过稀疏连接来approach之前的dense连接
?
4. SE-ResNet
4.1 结构特点
1.?Squeeze：使用global average pooling (GAP)将每个二维的特征通道变成一个实数
2.?Excitation：通过bottleneck结构来捕捉channel的inter-dependency，从而学到channel的scale factor（选择每个特征通道的重要性）
3.?Reweight：通过乘法逐通道加权到Excitation的输出，完成在通道维度上的重标定
5.?SE-ResNeXt
5.1 结构特点
1. block使用SE-ResNet的Squeeze、Excitation为基础，使用ResNeXt的cardinality
