文章目录
- 1 前言
- 2 CWT-for-FSS 整体架构
- 3 求解方法
- 4 实验结果分析
- 5 代码和可视化
- 6 总结
- 7 参考链接
1 前言
之前写了几篇医学图像分割相关的论文阅读笔记，这次打算开个小样本语义分割的新坑。这篇阅读笔记中介绍的论文也是很久之前读过的，接受在 ICCV 上，思路值得借鉴。代码也已经跑过了，但是一直没来得及整理，arXiv：https://arxiv.org/pdf/2108.03032.pdf 。针对小样本语义分割问题，这篇论文提出一种更加简洁的元学习范式，即只对分类器进行元学习，对特征编码解码器采用常规分割模型训练方式。也就是说只对 Classifier Weight Transformer（后面都简称 CWT）进行元学习的训练，使得 CWT 可以动态地适应测试样本，从而提高分割准确率。
先来介绍下背景，传统的语义分割通常由三部分组成：一个 CNN 编码器，一个 CNN 解码器和一个区分前景像素与背景像素的简单的分类器。当模型学习识别一个没见过的新类时，需要分别训练这三个部分进行元学习，如果新类别中图象太少，那么同时训练三个模块就十分困难。在这篇文论文中， 提出一种新的训练方法，在面对新类时只关注模型中最简单的分类器。就像文中假设一个学习了大量图片和信息的传统分割网络已经能够从任何一张图片中捕捉到充分的，有利于区分背景和前景的信息，无论训练时是否遇到了同类的图。那么面对
