Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement

• 清华大学、维尔兹堡大学和苏黎世联邦理工学院在ICCV2023的一篇transformer做暗图增强的工作，开源。
• 文章认为，Retinex的$I=R\odot L$假设干净的R和L，但实际上由于噪声，并不干净，所以分别为L和R添加干扰项，把公式改成如下：
  
• 本文采用先预测 L ‾ overline L L再使用 I ⊙ L ‾ Iodotoverline L I⊙L来预测增强结果的retinex范式。结合上面公式可以得到：
  
• 其中第一项是因为假设 L ⊙ L ‾ = 1 Lodotoverline L=1 L⊙L=1，所以第一项是我们要的增加结果，是干净的R，而第二项是由于 L ^ hat L L^引进的干扰，即过曝或欠曝的干扰，第三项是 R ^ hat R R^引进的干扰，即噪声和伪影。第二项第三项统称为corruption，得到下式：
  
  由于 I l u I_{lu} Ilu​还包含corruption，它并不是我们要的最终增强结果。我们可以先估计 I l u I_{lu} Ilu​，再将其中的C去掉，得到最终的增强结果
• 网络结构如下图所示，其中 L p L_p Lp​是图片的三通道均值。下面的图对模块的展开方式有点奇怪。其实就是对concate后的亮度图和原图，提取 L ‾ overline L L和特征 F l u F_{lu} Flu​，然后用 F l u F_{lu} Flu​对后面的修复过程中transformer 的V 进行rescale，也就是用在了illumination-guided attention block。后面的修复过程就是把初步的增强结果进行细化，抑制过曝区域，去噪的过程。

• 实验结果如下图所示，只给了PSNR和SSIM，不过没有和LLFlow比，所以区区22的PSNR也敢称SOTA。
  
• 也比较了exdark上的增强结果和多个数据集上的user study
  
• 个人感觉这篇工作没什么亮点，就是搞网络结构，但思路又不是特别亮眼，效果也没有特别好，还没有给lpips niqe LOE等指标。