[人工智能]遥感检测与分割论文阅读

Progressive Semantic Segmentation（渐进式语义分割）

目的：处理高分辨率图像，条件：不能让内存超载，也不能丢失图像的细节

现有方法：

(1)降采样，但是会导致图片丢失

降采样，是一种多速率数字信号处理的技术或是降低信号采样率的过程，通常用于降低数据传输速率或者数据大小。降采样的过程中会运用滤波器降低混叠造成的失真，因为降采样会有混叠的情形发生。

（2）将图片分成局部patches单独处理，但是会因为由于图片不全，导致歧义。

处理办法：

本文提出Magnet，一个多尺度框架，通过在多个级别中放大图像来解决图像的模糊问题。Magnet有多个处理阶段，每个阶段对应一个放大级别，从一个阶段处理后输出到下一个阶段，不断进行由粗到细的信息传播，每一阶段都以比前一阶段用更高分辨率分析图像，恢复先前由于降采样步骤而丢失的细节，并且分割输出通过各处理阶段逐步完善。

融合全局和局部分割过程：

一方面，整个图像的全局视图可以用来解决局部patches外观的模糊性。另一方面通过分析局部patches，可以细化分割边界并恢复由于全局分割过程中的降采样过程而丢失的细节。

MagNet是一个多阶段的网络结构，网络的每一个阶段都对应着一个特定的尺度。、

?

框架由一个分割模块和一个细化模块构成。

在每一层，都有一个分割模块和一个细化模块。每一层的工作流程：

???1. 提取由窗口p定义的图像patch Xsp和先前的分割输出Yps-1。
???2. 对Xsp和Yps-1进行降采样，产生新的高度和宽度，这是可以装入GPU内存并被分割和细化模块处理的大小。让ˉXsp和Yˉs-1p表示降采样的张量。
???3. 以ˉXsp为输入，使用分割模块获得特定尺度的分割图ˉOsp。
???4. 以Yˉ s-1 p和ˉOsp为输入，使用细化模块通过对分割图-Osp的对比对Yˉ s-1 p进行细化。得到Yˉ sp。
???5. 对Yˉ sp进行上采样，得到大小为原本的Yps。
?

细化模块的输入是两个分割图，前一个阶段累计处理结果和当前阶段分割模块的结果，细化模块的作用是使用后一个分割图细化前一个分割图。

Magnet的准确性和运行效率：
减少运行时间的一个方法是减少要处理的尺度的数量。另一种方法是在每个尺度级别的图像patches的子集上进行分割和细化
??MagNet-Fast结合了这两种方法，当它在较少的尺度上运行时，并且只选择预测不确定性最高的版块Yu进行细化。此外，MagNet-Fast可以利用全局信息和细节信息进行分割，从而获得更好的结果。

数据集：城市景观、航空场景和医疗图像

Panoptic Segmentation of Satellite Image Time Series with Convolutional Temporal Attention Networks

(具有卷积时间注意网络的卫星图像时间序列的全景分割)

现有：针对农业地块像素级精确全景分割工作仅限于分析单个卫星图像

提出问题：农作物复杂的时间模式也要考虑其中

提出新的方法：提出端到端的但阶段的卫星图像时间序列全景分割方法（SITS),与基于时间自注意力的图像序列编码网络相结合，提取丰富的自适应的多尺度时空特征。

提出了首个开放的带有全景注释的SITS数据集（PASTIS）