英伟达 AI 图像修复技术：INPAINTING

想必大家都很熟悉「Nvidia」显卡了，不知道你们抢到 3080 显卡没有，抢到了麻烦送一张给我吧。大家印象中「Nvidia」就是显卡芯片厂商，其实「Nvidia」在图形图像视觉研究领域也有非常多的重磅技术。

例如很早前雷锋哥就看过「Nvidia」演示通过 AI 技术并结合游戏引擎实时生成的虚拟视频，从下面的场景可以看到 AI 通过草图(图1)，然后自动生成真实的场景，这里雷锋哥有个大胆想法。

不过「Nvidia」也表示了：这项技术处于早期阶段，随着人工智能技术的不断演进成熟，可能需要几十年的时间才能普及到消费级应用场景中。

简单说就是需要一些时间给 AI 去训练算法，不管如何雷锋哥相信以后这项技术会用在很多领域，例如 AI 生成的虚拟电影（正经的那种），游戏场景生成等，可以大幅度减少制作成本。

「Nvidia」除了这项 AI 视频生成技术外，还推出了 AI 图像深度学习修复技术「Nvidia Image Inpainting」可以修复损坏的照片，例如老旧照片因存放时间久的关系，出现腐蚀情况，AI 会根据照片内容填充损坏的地方。

雷锋哥也看了很多相关报道，标题是这样的：“震惊！英伟达用深度学习做图像修复，毫无ps痕迹”，雷锋哥带着好奇心，当然要来体验下这个功能，是否真的有那么神奇。

「Nvidia」之前也发过「Nvidia Image Inpainting」的视频演示，可以看下面的对比图，使用「PhotoShop」修补的照片直接糊掉了，而「Nvidia Image Inpainting」比较接近原始图片，这里很多人又有大胆想法了吧！

「Nvidia」表示除了可以修复照片外，还可以对人物的皱纹、胡须、发型等进行修改，有美颜内味了。

你也可以用来移除照片中不想要的元素，例如街拍风景啥的，混入了陌生人，你想要去掉人物，就可以利用「Nvidia Image Inpainting」识别去除。

Inpainting体验

目前「Nvidia Image Inpainting」可以供给大家免费使用，只有在线版，会利用「Nvidia」的服务器帮你运算处理照片，所以对电脑配置要求基本无要求。

图片上传格式只支持 PNG 和 JPG，一般常见也这两种了，如果你是其它图片格式转换下格式就行了。点击 “Let’s Get Started” 然后上传图片。下面雷锋哥随便找了一张老照片作为测试。

用鼠标涂抹照片需要修复的位置，Brush Width 支持调整笔画大小，大概涂抹就可以了，AI 会自动识别到。

这是第一次修复的效果，可能这张老照片损坏的面积太大了，AI 没办法很好的识别到周边内容，所以修补的效果并不太好。（AI：你TM是在为难我）

进行第二次修复，脸部修补效果好了很多，不过衣服位置还是没办法修补，可能 AI 的算法库里应该没有这种老照片吧。

对于这种简单背景的图片就能很好识别，要说 “毫无PS痕迹”，那就有点夸张了，还是能看出一些痕迹，更别说复杂点的照片了。

雷锋哥找了各种不同类型的照片进行修复，翻车的概率比较大，效果不如用「PhotoShop」的里面的智能填充功能。

下面雷锋哥用「PhotoShop」智能填充功能，同一张图对比，细节方面的修补效果要优于「Nvidia Image Inpainting」的 AI 修复。

总结

根据「Nvidia」官方的介绍，这项技术是根据图像内容智能分布填充，靠 AI 的数据算法想象内容然后填充，而「PhotoShop」是根据图像周围相似元素进行填充。

虽然目前「Nvidia Image Inpainting」还不能做到 “毫无PS痕迹” ，但雷锋哥相信随着 AI 算法和内容量越来越丰富，在未来也许真的能做到 “毫无PS痕迹” 的修补照片了，甚至创作出一些虚拟的东西出来。

访问

• Inpainting：https://www.nvidia.com/research/inpainting