周报1104-1110

本周总结

论文梳理
- RDN（CVPR 2017）
  - 原文指出其结构可支持超过400层的网络训练，原文只有16x8=128层
  - residual dense block
  - 稠密链接的问题在于参数量较大，并且稠密链接信息不全为有用信息
- RCAN（ECCV 2018）
  - 抛弃了RDN中的dense，猜测是因为其加大了网络参数，但是对最终指标并没有太大的提高
  - 通道注意力
  - 层数进一步增加至20x10=200层
- Meta-SR（CVPR 2019）
  - 任意尺度的开山之作
  - 使用元学习进行最终的pos2weight
    - 首先对位置进行映射
    - 然后对输出尺寸进行元学习（2层mlp），将输出拉伸成为卷积核
    - 最后进行卷积点乘
  - 映射关系较为牵强，简单的点对点策略，没有考虑点周围的语义信息
- SA-SR（2020）
  - 长宽比任意的模块，可以直接放入其他网络
  - 待研读
- ArbSR（ICCV 2021）
  - 代码开源
  - 这个好像比Meta-SR强，因为Meta-SR实际上只能进行小数点后1位的“任意尺度”，而这篇文章中的图可以达到小数点后2位，可以为迭代进行准备
  - 不论是1位小数还是2位小数，本质都是离散映射特征，只是采取了不同的映射方式，没有从根本上解决任意尺度的问题，也就是真正的连续表达
  - 待研读
- SRWarp（CVPR 2021）
  - 将SR任务推广到任意图像变换（任意尺度，任意长宽比）
  - 以往的方法主要考虑沿水平轴或垂直轴的SR任务
  - 本文在以下基础上进行创新
  - 1. Xuecai Hu, Haoyuan Mu, Xiangyu Zhang, Zilei Wang, Tie-
      niu Tan, and Jian Sun. Meta-SR: A magnification-arbitrary
      network for super-resolution. InCVPR, 2019.
      （Meta-SR）
    2. Longguang Wang, Yingqian Wang, Zaiping Lin Lin, Jun-
      gang Yang, Wei An, and Y ulan Guo. Learning for scale-
      arbitrary super-resolution from scale-specific networks.
      arXiv, 2020.
      （很像ArbSR的前身）
- LIIF（CVPR 2021）
  - 精读中（很喜欢的论文）
  - 原有放大倍数指标没有比Meta-SR高出特别多，但是x8以上至x30效果都领先较大
  - https://yinboc.github.io/liif/ 在线演示，效果特别好
  - 将图像真正从离散空间映射到了连续空间，所以可以实现任意放大倍数，不限小数点后多少位，只要最终长宽为整数即可
对lmh师兄ppt的p2v整理
- 根据公式得到视频帧序列，这也是整个迭代的核心思想，其中帧数T为超参，后续实验也进行了验证；R（rate map）为被迭代对象，采用随机初始化
- 对生成的视频帧序列采用视频语义分割的思想，得到下一次的rate map，开始迭代
  - 视频语义分割得到本次的rate map
  - 每一次的rate map都是经过上一次rate map的知识蒸馏得到，其中有超参数β，后续实验也进行了验证
  - 生成的rate map可以直接采取阈值得到本次迭代的最终预测结果，可以发现迭代次数少的时候预测效果并不好
- 循环迭代，更新rate map
转向对超分的思考
- 关键问题在于图像的大小变化
- 边界较难处理
  - 均匀变化，例如：1.44=1.2x1.2
  - 非均匀变化，没有固定量，不宜采取迭代的方法
- 与lmh师兄的区别点
  - p2v产生了原本不存在的信息（中间帧），但是超分迭代并不会产生新的信息，这是一个值得思考的地方
  - 其实超分迭代在2019年Meta-SR就使用了，很简单粗暴的将数据集扩充为1.0、1.1、1.2、…、3.9、4.0这么多倍数，然后进行训练，扩充后数据集在100G以上
  - 在LIIF中采用了读入内存的方式，内存需求大概是30G以上（非显存），训练速度提升不少
代码方面
- 复现RDN与RCAN（未测试）