机器之心报道
机器之心编辑部
正在举办的GTC上，英伟达展示了一款新的交互应用GauGAN：利用生成对抗网络（GAN）将分割图转换为栩栩如生的图像。这是继PGGAN、StyleGAN之后，英伟达提出的又一强大方法，相关论文已被CVPR接收为oral论文。
What?这么美的照片竟然不是出自摄影师之手？！
英伟达新方法在FlickrLandscapes数据集上的语义图像合成结果，并不是真人拍摄的哦～
新手画家可能会在粗帆布上作画，借以创造出一种令人惊叹的日落景象——崎岖不平、白雪皑皑的山峰映在玻璃般的湖面上，但最后得到的却更像是一块多彩的墨迹。
而英伟达开发的新方法却能达到相反的效果：它可以轻松地将粗糙的涂鸦变成逼真的杰作，令人叹为观止。该方法利用生成对抗网络（GAN）将分割图转换为栩栩如生的图像。而应用了该模型的交互应用被命名为GauGAN，以致敬后印象派画家保罗·高更（PaulGauguin）。
GauGAN可以为建筑师、城市规划师、景观设计师和游戏开发者等提供一个创建虚拟世界的强大工具。有了一个能够理解真实世界面貌的AI，这些专业人士就可以更好地将想法原型化，并对合成场景做出快速改变。
英伟达应用深度学习研究副总裁BryanCatanzaro表示：「用简单的草图进行头脑风暴设计要容易得多，而这项技术能够将草图转换成高度逼真的图像。」
Catanzaro将GauGAN背后的技术比作「智能画笔」，可以在粗略的分割图中填充细节，粗略的分割图是显示场景中物体位置的高级轮廓。
GauGAN允许用户绘制自己的分割图并操纵场景，用沙、天空、海或雪等标签标注每个分割块。
经过上百万张图像的训练，这一模型能够以惊人的效果填充景观：在池塘里画画，附近的树木和岩石等元素都将在水中反射出来。将一个分割标签从「草」换成「雪」，整个画面就变成了冬天的景象，原来枝繁叶茂的树木也变得光秃秃的。
「这就像一本彩色画册，描述了树在哪里，太阳在哪里，天空在哪里。」Catanzaro表示，「然后神经网络就能根据它对真实图像的了解，填充所有的细节和纹理，以及反射、阴影和颜色……该技术不仅可以整合其他图像或切割、粘合图像纹理，实际上还可以合成新的图像，这与画家的绘画方式非常相似。」
据介绍，GauGAN主要使用了英伟达最新推出的SPADE技术，相关研究已被CVPR接收为oral论文。
论文：SemanticImageSynthesiswithSpatially-AdaptiveNormalization
论文
联系电话：