本文为SIGGRAPH 2015的Paper,提出一种基于用户简单交互进行阴影去除和编辑的方法。
如果用户的编辑没有考虑到阴影,那么图像的编辑将是难以想象的。本文提出了一个方法,使去除和编辑柔和的阴影变得比较容易。软阴影无处不在,但目前仍非常难以提取和处理。我们假定柔和阴影是可以分割的,并通过学习的映射函数可以进行编辑,该映射函数生成图像patches 的阴影遮罩。我们验证了去除软阴影的算法,只需要对照片进行少量的用户输入。只给用户一个宽泛的笔触,用来标明需要处理的阴影区域,我们新的监督回归算法可以自动去除图像的本影和半影。我们在大量的数据集中测试该软阴影去除算法,并对我们的算法与当前最好的算法进行了用户比较和研究。我们的结果证明是更加难以被替代,相比于现有最好的工作被视为优选的。
我们通过离线预训练方法,提出一种数据驱动的阴影去除方法,可以处理非常广泛不同的半影阴影宽度(即在有阴影和无阴影区域之间没有明显的界限)。相较于以前的工作,我们的技术不需要假设任何具体的本影模型,并且采用统一架构来处理整个阴影,同时还为用户提供完全控制和修改该阴影区域的能力。我们可以处理复杂的情况,这在以前是不可能处理的,比如当整个阴影基本上都是半影的场景,这往往是很通常的场景(例如使用树叶的影子投在地面上)。我们的技术需要用户交互,只需要粗略地指出哪些区域图像应当被修改。接着,系统初始化和使用我们的模型。一旦阴影matte 计算完成,使用我们的简单的界面,用户可以交互地操作阴影,或图像的其余部分。
我们的具体贡献是:(1)学习阴影图像区域和他们的阴影mattes的回归模型。(2)充分利用现有的图像修复方法,对我们提出的 matte patches采用大规模的正则化方法。(3)数据:真正的软阴影测试照片的大型数据集,以及用于产生无数的训练数据的包含软、硬阴影的场景。
图1:系统概述。右一获得最终matte,允许我们对软阴影进行删除,也可以修改。
图2:训练和测试算法的主要步骤和流程
图3:去阴影效果展示
Paper下载: learning-to-remove-soft-shadows