一個初學的畫家可能熟悉所有器具從畫筆到畫布,想像畫出一個個令人驚嘆的日落景觀或是白雪覆蓋的山峰在彷彿鏡面般的湖中反射的崎嶇,然而最終作品看起來只會像是一個五顏六色的墨跡。

不過由 NVIDIA Research 所開發的深度學習模型卻正好相反:它能夠將粗糙的塗鴉變成逼真的傑作,令人嘆為觀止。該程式利用生成對抗網絡(簡稱 GAN)將分割圖轉換為逼真圖像。

這個程式的命名簡單的以後印象派畫家 Paul Gauguin 的名字發想。

後印象派 Paul Gauguin 描繪了幾幅自畫像,包括 1885 年在金貝爾藝術博物館收藏的作品。(照片來自 Wikimedia Commons,獲得 public domain 許可)。

GauGAN 提供強大的輔助工具幫助建築師、城市規劃者、景觀設計師和遊戲開發者的每個行業創建虛擬世界。通過人工智能了解現實世界的外觀,這些專業人員可以更好地製作想法原型並快速更改合成場景。

NVIDIA 應用深度學習研究副總裁 Bryan Catanzaro 說:「通過簡單的草圖進行腦力激盪的設計要容易得多,而且這種技術能夠將草圖轉換成高度逼真的圖像。」

Catanzaro 將 GauGAN 背後的技術比作「智能畫筆」,可以填充粗略分割圖中的細節,粗略分割圖是顯示場景中物體位置的高級輪廓圖。

GauGAN 使用戶能夠繪製自己的分割圖並操縱場景,用沙子,天空,海洋或雪等標籤標記每個部分。

通過對一百萬張圖像的訓練,GauGAN 的學習系統將填充景觀並即時顯示結果:在池塘中繪製,並且附近的元素如樹木和岩石將在水中出現反射。將顏色標籤從「草」更換為「雪」,整個圖像變為冬季場景,以前的綠葉樹變得貧瘠。

「這就像一張彩圖圖片描述了一棵樹在哪裡,太陽在哪裡,天空在哪裡,」卡坦扎羅說。「然後神經網絡能夠根據它對真實圖像的了解,填充所有的細節和紋理,以及反射,陰影和顏色。」

儘管缺乏對物理世界的理解,但 GauGAN 可以產生令人信服的結果,因為它們的結構是一對合作的網絡:發生器和鑑別器。生成器創建它呈現給鑑別器的圖像。在真實圖像上訓練,鑑別器通過逐像素反饋來指導發生器如何改善其合成圖像的真實性。

在對真實圖像進行訓練之後,鑑別器知道真實的池塘和湖泊包含反射 – 因此發生器學會創造維妙維肖的模仿。

GauGAN還允許用戶添加樣式過濾器,更改生成的圖像以迎合特定畫家的風格,或將日間場景更改為日落。

「這項技術不僅可以將其他圖像拼接在一起,還可以切割和粘貼紋理,」Catanzaro 說。「它實際上是在合成新的圖像,非常類似於藝術家的繪畫方式。」

雖然 GauGAN 應用程序專注於陸地,海洋和天空等自然元素,但潛在的神經網絡能夠填充其他景觀特徵,包括建築物,道路和人。

GauGAN 背後的研究論文口頭報告已於 6 月份在 CVPR 會議上被接受 – 在這份報告的 5,000 多份提交文件中僅有 5% 獲得認可

本週 GPU 技術大會的與會者可以在 NVIDIA 展位上試用 GauGAN,並在 TITAN RTX GPU 也會同時展示。

原文出處/ NVIDIA

誠摯邀請你成為好朋友-->