Spatial-Spectral Transformer for Hyperspectral Image Classification

论文题目： Spatial-Spectral Transformer for Hyperspectral Image Classification
下载链接： https://www.researchgate.net/publication/348804892_Spatial-Spectral_Transformer_for_Hyperspectral_Image_Classification
引用方式：

@article{article,
author = {He, Xin and Chen, Yushi and Lin, Zhouhan},
year = {2021},
month = {01},
pages = {},
title = {Spatial-Spectral Transformer for Hyperspectral Image Classification},
volume = {13},
journal = {Remote Sensing},
doi = {10.3390/rs13030498}
}

一、动机

$\quad \quad$ 高光谱(HS)是一种顺序数据，CNN很难处理顺序数据且不擅长建模长范围的依赖性，即光谱段之间的依赖性。

二、相关工作

1D CNN----光谱特征
2D CNN----空间特征
3D CNN----光谱+空间

三、方法

1、DenseTransformer

$\quad \quad$ 在深度Transformer模型的训练过程中，存在一个常见的问题，即消失梯度。为了缓解消失梯度，增强特征传播，短接被使用来组成DenseTransformer。
在这里插入图片描述

2、Spatial-spectral Transformer(SST)

$\quad \quad$ 首先利用CNN提取每一个通道的空间信息，然后再将通道位置进行编码输入到Transformer中提取通道之间的光谱依赖性，最后用MLP对其进行分类。
在这里插入图片描述

3、特征增强的Spatial-spectral Transformer（SST-FA）

$\quad \quad$ 动态特征增强。SST经常容易过拟合，因此需要适当的正则化来很好地推广。首先在特征中随机选择一个坐标，然后在坐标周围放置一个mask，它决定有多少特征被设置为零。

4、迁移的Spatial-spectral Transformer（T-SST）

$\quad \quad$ 由于高光谱的图像一般尺寸较小，所以训练样本少。因此，我们首先在ImageNet进行预训练，然后再在HS图像上进行微调。
$\quad \quad$ 由于大规模数据集(即源数据集)有三个通道，而HSI数据集(即目标数据集)却有数百个通道，所以简单地使用迁移学习进行HSI分类存在一个问题。为了解决异构迁移学习带来的问题，使用映射层来处理两个数据集的不同通道(即不同波段)的问题。
在这里插入图片描述