1 特征融合
【学习资源】图像处理-特征融合：相加、拼接、Attention
1.1 底层特征/高层特征
- 低层特征：低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。
- 高层特征：高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。
1.2 早融合/高融合/Attention融合
- 早融合(Early fusion):?先融合多层的特征，然后在融合后的特征上训练预测器（只在完全融合之后，才统一进行检测）。这类方法也被称为skip connection，即采用concat、add操作。
- 晚融合(Late fusion)：通过结合不同层的检测结果改进检测性能（尚未完成最终的融合之前，在部分融合的层上就开始进行检测，会有多层的检测，最终将多个检测结果进行融合）。
- Attention融合：学习权重分布：输入数据或特征图上的不同部分对应的专注度不同，加权。
2 欠拟合/过拟合
【学习资源】 大白话给你说清楚什么是过拟合、欠拟合以及对应措施
2.1 过拟合（over-fitting）
- 概念：所建模型在训练样本中表现得过于优越，在验证数据集以及测试数据集中表现不佳。?
- 原因：参数过多，对于transformer的层数的增加，相对来说会出现特征冗余？
2.2 欠拟合（under-fitting）
- 概念：所建模型在训练样本中提取的特征比较少，导致训练出来的模型不能很好地匹配，表现得很差。
- 原因：参数不够，现阶段这种情况很少出现！
案例学习
比如是识别一只狗狗的模型，需要对这个模型进行训练。恰好，训练样本中的所有训练图片都是二哈，那么经过多次迭代训练之后，模型训练好了，并且在训练集中表现得很好。基本上二哈身上的所有特点都涵括进去！
那么问题来了！假如我的测试样本是一只金毛呢？
将一只金毛的测试样本放进这个识别狗狗的模型中，很有可能模型最后输出的结果就是金毛不是一条狗（因为这个模型基本上是按照二哈的特征去打造的）。
所以这样就造成了模型过拟合，虽然在训练集上表现得很好，但是在测试集中表现得恰好相反，在性能的角度上讲就是协方差过大（variance is large），同样在测试集上的损失函数（cost function）会表现得很大。
欠拟合则可能二哈被提取的特征比较少，导致训练出来的模型不能很好地匹配，表现得很差，甚至二哈都无法识别。
3 特征冗余
【学习资源】重读GhostNet：使用轻量操作代替部分传统卷积层生成冗余特征以减少计算量
3.1 降低神经网络计算量
随着卷积神经网络部署在终端的需求越来越强烈，很多研究者们开始研究如何降低神经网络的计算量。
- 在一个已经训练好的网络基础上做一些裁剪和量化，比如模型剪枝、低比特量化、知识蒸馏；
- 另外一种方法是设计高效的神经网络架构，比如MobileNetv1-v3系列、ShuffleNet等等。
特征冗余性是卷积神经网络的重要特性之一，一些轻量化网络的工作恰恰是利用特征的冗余性，通过裁掉部分冗余特征达到模型轻量化的效果。
3.2 降维
在图像处理过程中，高维特征是在所难免的，但随之而来的问题也显而易见：
- 学习性能下降，知识越多，吸收知识（输入），并且精通知识（学习）的速度就越慢。
- 过多的特征难于分辨，很难第一时间认识某个特征代表的意义。
- 特征冗余，厘米和英尺就是一对冗余特征，其本身代表的意义是一样的，并且能够相互转换。
特征降维的一般手段就是将高维特征投影到低维空间。
降维的动机有两个：
- 压缩数据
- 数据可视化，100个特征可能难以表示，但是两个三个特征就可以用图表的形式把他画出来可视化，更加形象。
4 局部融合
【学习资源】图像检索研究进展：浅层、深层特征及特征融合_深层特征是什么??
图像特征分为全局特征和局部特征两种.
- 全局特征代表了图像的整体表现特性，比如颜色直方图；
- 局部特征代表了图像的局部特性，往往能够从一幅图片中提取出若干个数量不等的局部特征，这些局部特征组合起来代表了整幅图像的特征分布。
每一张图片提取出的局部特征数可能是不同的，需要将这些不同数目的描述子融合成一个特征向量（假设维度为n）来表征整个图像，这样一张图片就可以用一个1*k的向量来表征。这样做后就可以方便的实现图片检索，分类任务。其中将局部特征融合为图片全局特征表示需要一个模型来转化。
?
