周报1104-1110

本周总结

1. 论文梳理

   • RDN（CVPR 2017）

     • 原文指出其结构可支持超过400层的网络训练，原文只有16x8=128层
     • residual dense block
     • 稠密链接的问题在于参数量较大，并且稠密链接信息不全为有用信息

   • RCAN（ECCV 2018）

     • 抛弃了RDN中的dense，猜测是因为其加大了网络参数，但是对最终指标并没有太大的提高
     • 通道注意力
     • 层数进一步增加至20x10=200层

   • Meta-SR（CVPR 2019）

     • 任意尺度的开山之作
     • 使用元学习进行最终的pos2weight
       • 首先对位置进行映射
       • 然后对输出尺寸进行元学习（2层mlp），将输出拉伸成为卷积核
       • 最后进行卷积点乘
     • 映射关系较为牵强，简单的点对点策略，没有考虑点周围的语义信息

   • SA-SR（2020）

     • 长宽比任意的模块，可以直接放入其他网络
     • 待研读

   • ArbSR（ICCV 2021）

     • 代码开源
     • 这个好像比Meta-SR强，因为Meta-SR实际上只能进行小数点后1位的“任意尺度”，而这篇文章中的图可以达到小数点后2位，可以为迭代进行准备
     • 不论是1位小数还是2位小数，本质都是离散映射特征，只是采取了不同的映射方式，没有从根本上解决任意尺度的问题，也就是真正的连续表达
     • 待研读

   • SRWarp（CVPR 2021）

     • 将SR任务推广到任意图像变换（任意尺度，任意长宽比）
     • 以往的方法主要考虑沿水平轴或垂直轴的SR任务
     • 本文在以下基础上进行创新
     • 1. Xuecai Hu, Haoyuan Mu, Xiangyu Zhang, Zilei Wang, Tie-
          niu Tan, and Jian Sun. Meta-SR: A magnification-arbitrary
          network for super-resolution. InCVPR, 2019.
          （Meta-SR）
       2. Longguang Wang, Yingqian Wang, Zaiping Lin Lin, Jun-
          gang Yang, Wei An, and Y ulan Guo. Learning for scale-
          arbitrary super-resolution from scale-specific networks.
          arXiv, 2020.
          （很像ArbSR的前身）

   • LIIF（CVPR 2021）

     • 精读中（很喜欢的论文）
     • 原有放大倍数指标没有比Meta-SR高出特别多，但是x8以上至x30效果都领先较大
     • https://yinboc.github.io/liif/ 在线演示，效果特别好
     • 将图像真正从离散空间映射到了连续空间，所以可以实现任意放大倍数，不限小数点后多少位，只要最终长宽为整数即可

2. 对lmh师兄ppt的p2v整理

   • 根据公式得到视频帧序列，这也是整个迭代的核心思想，其中帧数T为超参，后续实验也进行了验证；R（rate map）为被迭代对象，采用随机初始化
   • 对生成的视频帧序列采用视频语义分割的思想，得到下一次的rate map，开始迭代
     • 视频语义分割得到本次的rate map
     • 每一次的rate map都是经过上一次rate map的知识蒸馏得到，其中有超参数β，后续实验也进行了验证
     • 生成的rate map可以直接采取阈值得到本次迭代的最终预测结果，可以发现迭代次数少的时候预测效果并不好
   • 循环迭代，更新rate map

3. 转向对超分的思考

   • 关键问题在于图像的大小变化
   • 边界较难处理
     • 均匀变化，例如：1.44=1.2x1.2
     • 非均匀变化，没有固定量，不宜采取迭代的方法
   • 与lmh师兄的区别点
     • p2v产生了原本不存在的信息（中间帧），但是超分迭代并不会产生新的信息，这是一个值得思考的地方
     • 其实超分迭代在2019年Meta-SR就使用了，很简单粗暴的将数据集扩充为1.0、1.1、1.2、…、3.9、4.0这么多倍数，然后进行训练，扩充后数据集在100G以上
     • 在LIIF中采用了读入内存的方式，内存需求大概是30G以上（非显存），训练速度提升不少

4. 代码方面

   • 复现RDN与RCAN（未测试）

下周规划

1. 整理各种超分数据集
2. 吃透LIIF的论文，包括数学原理、代码
3. 阅读高光谱超分的综述