一、图像超分（辨率）

1. 图像超分是什么

????????图像超分是指将一张低分辨率图像恢复成高分辨率图像的技术。

2. 目的

1）提高图片的分辨率；

2）丰富图像的纹理细节。

3. 问题

1）退化模型的估计

????????实际解决图像超分问题的最大挑战是对退化模型的精确估计。估计退化模型就是在对图像进行超分辨率重建的同时，从低分辨率图像中估计图像的运动信息、模糊信息和噪声信息。现实中由于缺少数据，仅仅从低分辨率图像估计退化模型是很困难的。

2）计算复杂度

????????现有算法基本是通过牺牲计算代价来提高重建后图片的质量。尤其是当分辨率提高的倍数较大时，计算量是平方倍的增长，导致图像超分耗时严重。

3）稳定性

????????图像超分辨率重建算法的泛用性较差。当输入图像不满足算法假定的退化模型时，会产生错误的细节。当学习的数据不完备时，仅依靠学习模型的泛化能力去预测丢失的高频细节，会不可避免地引入错误细节。

4. 研究现状

1）基于插值

????????常见的插值方法有最近邻插值、双线性插值、双三次插值。这些方法虽然简单有效，但是都假设图像具有连续性，并没有引入更多有效的信息，往往重建结果的边缘和轮廓较为模糊，纹理恢复效果不佳，性能十分有限。

2）基于重建

????????该类方法将图像超分辨率重建视为是一个优化重建误差的问题，通过引入先验知识来得到局部最优解。常见的基于重建的算法有凸集投影法 (Projection onto Convex Set, POCS)、最大后验概率法 (Maximum A Posterior estimation, MAP)、贝叶斯分析方法 (Bayesian Analysis， BA)、迭代反投影法 (Iterative Back Projection, IBP) 等。虽然这类方法通过引入先验信息为图像超分辨率重建过程增加约束条件，进而获得了良好的重建效果。但是这些算法存在明显的收敛不理想等问题。

3）基于学习

????????卷积神经网络 (Convolutional Neural Network, CNN) 由于其优秀的细节表征能力已经广泛应用于图像超分辨率重建研究，同时 Transformer 也在图像超分辨率领域取得成功。能够隐式地学习图像的先验知识，并利用学习到的先验知识生成效果更好的超分辨率图像。该类方法中经典的包括 SRCNN、ESPCN、VDSR、DRCN、DRRN、EDSR、SRGAN、ESRGAN、RDN、WDSR、LapSRN、RCAN、SAN、IGNN、SwinIR等。基于学习的图像超分辨率重建算法在重建结果上取得了远超传统算法的优势，但由于对硬件设备和处理时间的高要求导致这些算法中被实际应用的寥寥无几。

????????以上内容参考自?图像超分综述:超长文一网打尽图像超分的前世今生?，其中有对各算法的详细描述。