欠曝/过曝图像的曝光校正
【前言】
这次原本是想看一看华为的一篇关于开源数据集是否能用于商业活动的文章，这文章好几天前还挂在arxiv上，刚动手要写再搜了一下就没了，撤下来了，很可惜。等什么时候这篇再放上来的时候我们再看看。这次改写今年CVPR21的一个曝光校正的工作，开源了，但是代码是matlab写的。
以下解读与见解均为我的个人理解，要是我有哪里曲解了，造成了不必要的麻烦，可以联系我删除文章，也可以在评论区留言，我进行修改。也欢迎大家在评论区进行交流，要是有什么有意思的paper也可以留言，我抽空看一下也可以写一些。正文内容中的“作者”二字，均是指paper的作者，我的个人观点会显式的“我”注明。而文中的图基本都是从paper上cv过来的，我也没本事重做这么多的图，况且作者的图弄得还挺好看的。
Paper基本信息
题目：Learning Multi-Scale Photo Exposure Correction
作者：Mahmoud Afifi, Konstantinos G. Derpanis, Bjorn Ommer, Michael S. Brown
链接：
https://openaccess.thecvf.com/content/CVPR2021/papers/Afifi_Learning_Multi-Scale_Photo_Exposure_Correction_CVPR_2021_paper.pdfopenaccess.thecvf.com
Github：
https://github.com/mahmoudnafifi/Exposure_Correctiongithub.com
总结：使用拉普拉斯金字塔输入进行从粗到细的过曝和欠曝图像的曝光校正
Paper内容介绍
【基本介绍】
这个工作出发点比较简单，就是处理过曝和欠曝的图像。工作主要有两个贡献点：
-
提出了一个从粗到细的网络进行曝光较正，先校正颜色再细化细节
-
贡献了一个比现有数据曝光范围更广的多曝光数据集
【相关工作】
-
曝光校正
-
传统方法依赖直方图来调整图像强度值，或者做色调曲线调整
-
目前大部分的工作都是基于Retinex理论的、基于深度学习方法的
-
问题点：都是只是在做欠曝的工作，也就是暗光增强
-
作者创新点：第一个用单模型校正过曝和欠曝的深度学习方法
-
HDR恢复和图像增强
-
HDR恢复：从单个或多个LDR图像重建HDR图像
-
成对的数据集
-
现有的曝光校正数据集基本都是欠曝的，例如LOL数据集
-
作者们的数据集是基于MIT-Adobe FiveK数据集上通过调整相机传感器原始图像的高色调值来模拟相机曝光问题的
-
也可以用Google HDR+这些HDR数据集来生成，但是这个数据集的数据是由不同的手机拍出来的，会有点小问题
【数据集】
MIT-Adobe FiveK数据集包含5000张原始RGB图像，并且有由5位老法师手动渲染的对应的sRGB图，作者们的数据集就基于此修改。对于每个原始RGB图像，使用Adobe Camera Raw SDK通过读取DNG文件的元数据来模拟非线性渲染过程实现不同的曝光，作者们做了-1.5、-1、+0、+1、+1.5这五个不同的曝光图。至于Ground Truth，这个还挺讲究，没用+0曝光图，用的是专家摄像师专门P的图。
数据集最终一共有24330张具有不同曝光设置的8位sRGB图像，并且都是对齐的。
数据示例如上图所示，总数据一共分了三组：
-
17675张用来训练
-
750张用来验证
-
5905张用来测试
【算法】
算法的目的是给定一个有曝光问题的8位sRGB的输入图像，生成曝光正确的输出图像
，并提出按顺序先校正颜色再校正细节。并且对输入图像应用拉普拉斯金字塔得到多分辨率表示作为网络输入。
A. 从粗到细的曝光校正
假设是图像
的具有
层的拉普拉斯金字塔，
表示
的第
层。如上图所示，算法其实就是在按顺序地校正拉普拉斯金字塔的每一层来实现增强最终图像。
B. 从粗到细的网络
网络如上所示，很简单，黄色的网络处理低频，中间蓝色的处理第一个中频，这样一层一层的继续下去，知道产生最终结果。（有一说一，这网络感觉不是一般的大）
C. Loss
-
重构loss：
，其中
是网络的结果，
则是Ground Truth
-
金字塔loss：
，其中
和
是训练图像的拉普拉斯金字塔第 l 层的高度和宽度的两倍。作者提到，加入了金字塔loss后能有效地改善伪影问题，上图是一个对比图。
-
对抗性loss：
，其中
是Sigmoid函数，
是鉴别器。
总loss：
【实验】
我们来看一组对比效果：
【后话】
这个工作还是很不错的，过曝和欠曝一起做，但就是感觉网络设计的臃肿了些。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！