Pansharpening by Convolutional Neural Networks
研究背景
多分辨率图像在遥感领域内有广泛的应用，因为它能够提供空间域上高分辨率的全色图像和光谱域上的多光谱图像。但是由于单个传感器无法得到两者组合的图像，因此目前主要的方式是提供两张图像（PAN和MS），即具有高空间分辨率和低光谱分辨率的全色图像（PAN）和具有低空间分辨率和高光谱分辨率的多光谱图像（MS）。通常，我们需要将两者融合，以达到信息增强的目的，这对于遥感场景解译十分重要。
目前已经有许多方法提出来解决这些问题，主流的方式主要是以下几种：
*成分替换（component substitution）：将MS转换到合适的特征域，在特征域将其中一个成分被PAN替换，其他成分上采样。常用方法有HIS变换、GIHS变换、PCA变换和PRACS等。
*多尺度分析（multiresolution analysis）：提取PAN图像的高频细节，注入到MS的上采样结果中。常用方法有小波多尺度变换和SFIM等
随着深度学习在各个领域应用，该篇文献受到超分辨率重建问题的启发，提出一种基于卷积神经网络的图像全色融合方法，并引入非线性辐射特征指数，来增强网络学习。
**问题描述**
经典的成分替换和多尺度分析都存在一些问题。
*对于成分替换，尽管在配准所产生误差非常小情况下，较好的保留了空间信息，但是由于PAN和MS的替换分量之间仅仅只是重叠光谱区域范围进行替换（PAN的光谱范围大于MS的光谱范围），因此这类方法通常可能会导致光谱失真的问题。
*对于多尺度分析，与成分替换相比，确实可以较好保证光谱，但是其通常是会因为上采样的频率违背了采样定律，导致空间失真（例如伪影）。
因此该篇文献，启发于图像超分辨率重建，基于CNN架构，提出PNN方法，并结合非线性辐射指数，使其能够较好解决光谱和空间失真问题。
**解决方案**
基于CNN的超分辨率重建
基于CNN的超分辨率重建的思路是模仿稀疏编码超分辨率重建方法。
稀疏编码超分辨率重建主要涉及三步：
1、将每个图像块投影到低分辨率字典上；
2、低分辨率的补丁与相应的高分辨率字典之间的映射；
3、通过组合高分辨率字典的补丁进行重建。
因此，所提出的SRNet的结构，也是对应上述三个步骤：
*第1个卷积层用来提取特征图；
*第2个卷积层将特征图非线性映射到高分辨率补丁表示；
*第3个卷积层将空间领域内的预测合并，生成高分辨率图像。
Dong, C., Loy, C. C., He, K., & Tang, X. (2015). Image super-resolution using deep convolutional networks. IEEE transactions on pattern analysis and machine intelligence, 38(2), 295-307.
基于CNN的Pansharpen
网络结构
该篇文献决定采用相同的网络结构，将其应用于全色锐化。其基本结构如下图：
具体流程：首先对低分辨率MS进行上采样（四倍），然后与高分辨率PAN叠加，形成5通道图像，作为输入。第1层采用64个9×9的卷积核，激活函数为ReLU；第2层采用32个5×5的卷积核，激活函数为ReLU；第3层采用4个5×5的卷积核，输出融合结果。
训练协议
由于不存在真实图像，即PAN分辨率的MS的理想图像，这使得网络训练和性能评估是一个问题。
本篇文献决定采用Wald协议解决这个问题。其训练过程如下图所示：
具体流程：
1、将原始的PAN和MS进行降采样（四倍），然后仅将MS上采样（四倍），接着与PAN拼接，作为网络输入。
2、将原始的数据作为参考数据，使得网络的输出尽量逼近原始的数据。
理解：相当于其假设制作了一批“原始数据”（低分辨率的MS和高分辨率的PAN），那么之前的原始数据就可以变为参考数据。
应用：将Wald协议训练下得到的参数，再应用于实际的全色锐化的CNN。
参数细节
batch size为128，采用计算图像的均方误差作为损失函数，Momentum策略进行梯度更新。
*损失函数
*梯度更新
融合有非线性遥感指数的PNN
虽然在SRNet框架下已经取得不错的结果，如下图所示。但该篇文献打算深入分析细节，目的是为了融入已有的遥感先验知识，对网络进行一些改进。
该篇文献重点分析第1层卷积核，因为浅层卷积核的可视化和可解释性易理解，深层越难。以WorldView-2图像训练的卷积核为例，可视化结果如下图右边所示。首先可以看到前48个卷积核表现出规律性光谱和空间特征，其中前7个分量表现光谱特征，第8个分量表现空间特征；后面卷积核出现大量噪声，它们没被网络有效训练。
网络的卷积核提取了与图像土地覆盖相关的光谱特征。例如卷积核 #7匹配植被的特征，可通过植被归一化指数（NDVI）反映，该指数体现植被近红外和红波段之间的归一化关系，在卷积核 #7中近红外波段分量（NR1）具有正响应，红波段分量（RED）具有负响应；同理卷积核 # 48匹配水体的特征，归一化水体指数（NDWI）反映。使用卷积核#7 和 #48 对图像滤波，可得到下边两个特征图，可以明显看到有效提取了植被和水体。
除了卷积核 #7和#48，还有其他的卷积核和某些特定类别的辐射指数具有相关性，说明网络在训练过程中，在不断学习这样指数特征，作者决定添加一些非线性辐射指数图作为输入，以“指导”网络的学习。
该篇文献综上发现，考虑以下几种非线性辐射指数，提出PNN方法。
实验分析
不同网络结构比较
该篇文献选取一系列参数结果，包括是否包含非线性辐射指数图，不同卷积核大小，不同卷积核个数。
不同参考指标下的性能效果，顶部是没用非线性辐射指数的情况，底部是有非线性辐射指数的情况，最佳结果分别是红色和蓝色表示。箭头指向的数字，代表越靠近越好。
上表显示不同参数在WorldView-2图像上获得的性能。首先大尺度的卷积核（K=15）都会导致性能下降，中尺度的卷积核（K=9）可提高空间精度（D_s) ，小尺度的卷积核（K=5）可提高光谱精度（D_λ）；然后是卷积核个数，将其从64减少到48，不会有明显的精度降低；最后是非线性辐射指数图，对比结果(c=9和c=13)，可以看到将额外特征注入到网络中，可以使得网络的性能提高。我们也可以观察下方损失函数的变化来证实这个效果。
不同方法比较
将本篇文献提出的PNN方法，与经典的全色锐化方法进行比较，通过参考指标反映其性能表现情况。
在WorlldView-2数据集上比较结果可以看出，PNN方法在所有参考指标里的性能基本上是最佳的。
在全参考指标（Q_4,Q,SAM,ERGAS,SCC)，仅有MTF-GLP-HPM较为接近PNN；
在无参考指标（
λ
,QNR)只有BDSD在超过PNN，而MTF-GLP-HPM则称为最差结果。
融合结果比较
下图显示了不同方法下WorldView-2全色多光谱融合结果。
最左侧是原始MS经过上采样（四倍）得到结果，右侧分别是PNN和其他四种不同方法结果。首先可以看到全色融合结果比直接上采样结果好，接着仔细分析局部区域，可以看到C-BDSD有明显的光谱失真，特别是在植被和建筑物上；Indusion、PRACS有局部的空间模糊，而ATWT-M3有明显的空间模糊，最后看PNN的结果，，只有极小地区出现一些失真，相比较其他方法，它的整体表现较好。
**总结与展望**
总结
基于卷积神经网络方式能有效处理全色锐化问题，参考图像超分辨率提出的SRNet结构，同时在不增加网络复杂性的情况下，增加几种非线性辐射指数图作为网络的输入，提出PNN方法。实验证明，无论是在参考指标，还是在融合视觉效果上，都取得很好的性能和效果。
展望
未来考虑将挖掘在遥感领域内更多的先验知识（例如其他辐射指数和几何特征等）融入到网络中，指导网络自主学习，另一方面可对参考指标选择和网络的损失函数改下上进行下一步的研究。
翻译文献：Masi, G., Cozzolino, D., Verdoliva, L., & Scarpa, G. (2016). Pansharpening by convolutional neural networks. Remote Sensing, 8(7), 594.