砸自家招牌？PS 发布准确率高达 99% 的「去 PS」神器

由 发布于


源 / 雷锋网    文 / 黄善清



天下苦「假照」久矣


天下苦「假照」久矣，作为世上闻名的「亚洲四大邪术」之一，中国 PS 术让人人皆可化身大片主人翁，与此同时也给现代社会带来了不少的困惑与恐慌——如今网上充斥大量的「移花接木」虚假内容，正冲击着数字媒体在普罗大众心中的信任感。鉴于此，Adobe 公司的研究员与自加州大学伯克利分校的科学家合作开发出了一款可用于识别 PS 软件「液化」效果的工具。

PS 软件的「液化」工具究竟有什么样神奇的魔力呢？雷锋网 AI 科技评论给大家从网上找来一个教学样板：

原来的照片

该照片被导入 PS 软件后，经历了一系列「向前变形」、「擦漏光」、「缩小」等「液化」工程后，最终生成的效果图如下：

是否很难相信这是同一个人？

近期很流行的老照片修复工作，虽然有人表示林徽因被整出了一张「网红脸」……

为了破除这种由 PS「液化」工具制造出来的「幻术」，Adobe 与伯克利研究团队训练了一种可用于识别人像变化的卷积神经网络 (CNN)。简单来说，这个工具最终要能回答以下三个问题：

  1. 我们能否创造出一款比人工识别更可靠的人像识别工具?

  2. 该工具是否能识别出人像具体经历了哪些更改?

  3. 我们可以撤消这些更改以恢复人像原本的模样吗?


最终识别准确率高达 99%！


具体研发流程上，研究人员先编写了一个软件脚本，对网上搜集来的数千张图片实施「液化」功能，由此创建一个广泛的图像训练集。接着一个子集被随机选中用于网络训练。为了进一步考验工具对于人工修整的识别能力，团队还专门请来一名人类艺术家对那些混合在数据集里的图像进行调整。

左边是从 Flickr（顶部）以及 Open Images（底部）中抓取的真实图片；右边则是通过 PS 软件的「液化」工具随机自动创建的变形人像。我们可以看到，两者之间相差甚微。

研究团队在该数据集上对全局 & 局部变形预测网络进行训练，以局部预测网络为例，团队使用包括 flow warping prediction、relative warp preservation 和 pixel-wise reconstruction loss 等系列损失函数在内的训练组合。最终，团队给我们展示了部分应用程序，包括能够有效识别出人像调整区域的可视化覆盖工具，以及能够对调整区域进行「消解」，进而取得接近原始人像效果的复原工具。

简单总结：

左一是「液化」过的图；

左二是通过工具识别出经过「液化」的区域；

左三是工具提供的「复原」建议；

最右是经过「复原」的「真面目」

最终的实验结果显示，人工识别的准确率只有 53%，而他们研发出的工具则可以达到 99% 的识别准确率！

总习惯发照前 P 个图的你们，颤抖吧！


工作原理


这个工具背后涉及到的其实是被称作「图像取证」或「伪造检测」的技术，这部分内容在当今的计算机视觉领域变得日益重要。

在过去，已经有不少研究人员提出各种各样检测人像篡改情况的的取证方式，比如通过自定义线索的方式来检测图像，最典型如通过发现像素之间的周期相关性（自定义内容）来检测重采样伪影，然而这类型交互式编辑工具的操作上很复杂，且难以建模，所以并未在本次工作中被采用，团队最终选择基于大量数据训练来习得相关能力；针对缺乏标注数据的问题，学界则提出各种自我监督式的训练方式，基于自动生成的假图像进行训练。

而为了让机器具备甄别真假的能力，团队在本次工作中使用 ResNet50 训练出了一个二进制分类器，为 ImageNet 分类进行预训练，并根据任务需要进行微调。为了让机器进一步具备「还原」能力，团队首先预测一个光流场 ，预测路径从原始图像  至篡改图像 X，然后再用它来尝试「反向」恢复原始图像。

最后，一起来看看工具的强大能力吧：


然而这已经不是 PS 第一次砸自家招牌


就在去年，同样是来自 Adobe 公司的研究员在 CVPR 上发表一篇图像篡改检测的相关论文（Learning Rich Features for Image Manipulation Detection），这篇工作的核心内容是让机器具备识别以下这 3 种图像篡改手段的能力：

  • 拼接——把别张图的物体拼接到另一张图上。

  • 复制 - 移动——对一张图上的部分区域进行拷贝，然后放到图中的其它地方。

  • 移除——将图像中的部分元素进行移除。

换句话说，相较于「液化」这种隐晦的调整形态，当时 Adobe 试图解决的还是比较粗线条的图像窜改情况。

在这篇论文中，PS 研究团队提出一个名为「双流 Faster R-CNN 网络」的解决方法：

橘黄色的箭头连起来的是 RGB 流，蓝色的箭头连起来的是噪声流。每个单独的流其实都是一个 Faster R-CNN。

最终取得的识别成果如下：

该方法相较于其他 Baseline，如 ELA，NOI1 和 CFA1，识别图像窜改的能力也更加突出。


网友对此反应


这个技术发布后，在微博上引起了网友们的热烈讨论，有人认为这款工具并“不讨喜”：

同时底下很快聚集起了一帮吃瓜群众：

也有人在为自己的终身大事发愁：

还有网友发出了灵魂一问：

不过大家也许无需如此担心，据雷锋网AI 科技评论了解，这个一键复原照片至 PS 前原貌的技术，距离工具化尚有一段距离。

Adobe 研究员 Richard Zhang 在 Adobe 官方博客上明确表示，「想法离现实还很远」，他们会「进一步探索这个领域的研究」。Adobe 科研主管 Gavin Miller 也表示，这个工作是为了识别与阻止美图技术的滥用，「图像取证的旅程才刚刚开始」。

via https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

-END-

转载声明：本文转载自[ 雷锋网]。