【论文笔记】Learning Physical-Spatio-Temporal Features for Video Shadow Removal

发表于 本文字数： 429 阅读时长 ≈ 1 分钟

1. Introduction

  • 图像领域的阴影去除发展, 视频修复领域的应用发展。

  • 阴影的三种特征:物理属性、空间关系、时间一致性。

    • 物理方法: 将原先的图片过曝, 在和原图片进行混合

  • GTA5 合成的数据集

  • 新的策略: 跨域(FDA)

4. Proposed Method

  • 使用过曝、原图像空间信息以及光流图进行建模。

  • 网络结构:

    image-20241207005732546

  • MSAM:

    image-20241207010151324

  • TAB:

  • image-20241207011252657

  • Model adaptation in real world scenes(S2R)

    • Fourier Domain Adaptation(FDA)

      一种简单的无监督域适应方法，通过交换源域和目标域的低频频谱来减少二者分布之间的差异。主要是通过FFT将图像中的相位和振幅分离,用目标域的低频振幅替换源域做训练来近似域对齐。主要通过FDA,将目标域转化到训练图片的域上进行处理，然后还原到目标域,文章中是采用色彩直方图最接近的图片作为变化的参考,效果和方法如下:

      image-20241207012735609

6. Limitation

  • 传统方法在人影移除上更好
  • 在低光照对比度的场景会失效
  • 域适应后仍然存在较大偏差。