IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 增量学习-02-Essentials for Class Incremental Learning-CVPR2021 -> 正文阅读

[人工智能]增量学习-02-Essentials for Class Incremental Learning-CVPR2021

Essentials for Class Incremental Learning-CVPR2021

Poster link:?https://www.youtube.com/watch?v=B2HJH5HGLPw

Three crucial components of a class-IL algorithm:

1) Memory buffer. 存储少量的范例样本

2) Forgetting constraint. 保持原有旧任务的知识(特征)。

3) Learning system. 平衡新旧任务,避免Overfitting和bais。.

常见的方法会针对以上三点做出改进。

面临的主要挑战:

1) Bias towards to new classes due to class-imbalance.

2) Catastrophic forgetting. Previous weights are overwritten when training new class datas.

研究的目的是为了找到这些挑战(现象)的内在原因,并加以解决。

?Overview

????????这篇文章改进了iCaRL,借鉴了前人改进的一些经验,用简单的方法提出了一个更强有力的base model。此后,在该模型上探索了一些正则化的手段,来缓解模型过拟合,有AutoAug、LabelSmooth / Mixup等。后来发现AutoAug和Self-Distillation是有效的。

  1. Combine softmax -> Seperate softmax,
  2. 挑选exemplar的方式由挑选nearest exemplars 改为random select.
  3. output cosine normalization.

Related Work里给出了一些近期工作改进的方向:

Exemplar selection / Forgetting-constraint / Bias removal methods.

Exemplar Selection.

  1. Herding heuristics. 选择离类中心最近的样本作为Exemplar set.
  2. 参数化范例样本,并和模型一起训练。
  3. 提高范例的存储效率,存储特征描述子而不是存储图片。

Forgetting constraint.(KD)

  1. Feature-level distillation.
  2. Embedding network to rectify semantic drift.
  3. Graph-based approach to retain the topology of the feature space.

Bias removal (class-imbalance / overfit)

  1. An extra bias-correction layer.
  2. Rectify the final activations.
  3. Cosine normalization in the last layer.
  4. Finetune on a balance task.

方法上:

L_{x}^{KD}是新样本在旧类别上的蒸馏损失。L_{p}^{KD}是exemplars set(包括新类别和旧类别)的蒸馏损失。L_{x}^{CE}是新样本在新类别上的交叉熵损失。L_{p}^{CE}是exemplars set在全部类别上的交叉熵损失。

1)Inter-task。exemplars set包括新类别和旧类别,相当于一个类均衡操作,有助于减少inter-task bias。

2)Intra-task。L_{x}^{CE}使得新类别在计算交叉熵损失时,能够减少对旧类别的干扰,使得各个task间能够更独立地学习分类器,共享特征提取器。

我认为本文的主要改进就是以上两点,非常简单,但是工作扎实,结果可观,写作非常充实,这是我觉得这篇能中顶会的重要原因。

除此之外,本文还有一些贡献:

1)提出Class-IL任务的一些评价指标,用来评价forgetting, feature rentention,secondary information等等。Forgetting的一些指标在IL上是很有必要的,可以Avg Acc由于避免初始任务精度过高带来的不客观评价。

2)对比了一些分类任务常用的trick在IL任务上是否work。

? ? ? ? work: self-distillation / Auto Aug(缓解过拟合)/ small incremental lr

? ? ? ? not work : label smooth / mix up

一些思考/疑惑:

1)本文的exemplars set包括新类别和旧类别。相比于此前其他replay-based的方法exemplars set只有旧类别,相当于增加了新类别的图像数量,但其实这样在实际训练中并没有起到类均衡的作用,反而使得新旧类别更加不均衡。

? ? ? ? 如果要解决类不均衡,感觉还是在exemplars set上做fine-tune比较好。

????????不过我觉得这个exemplars set增加新样本进行训练也有一个好处,就是增加模型在新类别训练时候,sample from new class exemplars 的采样频率,这样在下次训练的时候,使用这些样本作为exemplars可以更好地维持原有feature。

2)旧任务样例的Overfitting / 新旧样本的类别不均衡(数据上、模型bias上)是可行的改进方向。

  人工智能 最新文章
Neo4j 实战篇(一)基于Py2Neo构建电影知识
消息传递神经网络(MPNN)内容及代码实践
OpenCV+百度云人脸识别项目及源码
实验5 卷积神经网络实验中
论文详解:Attention-based Extraction of
Tensorflow进阶
科技时代,如何保护个人隐私?
【元宇宙系列】游戏与元宇宙(下)——拉动
pytorch学习13:实现LetNet和学习nn.Module
LSTM的本质理解-正向传播
上一篇文章      下一篇文章      查看所有文章
加:2021-07-05 20:20:08  更:2021-07-05 20:20:32 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
360图书馆 购物 三丰科技 阅读网 日历 万年历 2022年5日历 -2022/5/24 4:13:30-
图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码