這幾年吵了很久的AI (Artificial Intelligence，人工智慧)，到底真正能幫助到人們什麼呢？除了手機喊AI、3C喊AI、汽車也要AI，就連IoT (物聯網)也要搭AI熱潮而創造出一個全新的AIoT (即AI + IoT，人工智能物聯網)名詞，才好像不會跟這個強調AI的世界脫勾一樣。

但是仔細看看，AI到底能做些什麼？除了像是手機的自動場景判別、自動分類、甚至Google Pixel手機也導入AI軟體應用，能讓一般鏡頭拍攝並經由計算後產生有淺景深效果的照片，讓人覺得AI似乎可以在攝影上面幫上許多忙。然而AI的應用其實不只這些，雖說很多更深入的AI研究計畫與應用幾乎在實驗室內進行，透過超昂貴的AI級伺服器來進行計算與訓練，這些研究成果也不一定是普羅大眾會注意到的部份，而為讓AI的應用更多元、有趣，且實用化，NVIDIA推出了GauGAN技術，讓大家也能輕鬆運用AI所帶來的優勢，來做更有趣的事情！

GauGAN技術說明會，講述其功能與部份原理

NVIDIA一直以來總是在消費性GPU上取得了領先的市場地位，賦予玩家們最快最棒的遊戲玩樂體驗，近年來透過GPGPU的應用以及其CUDA架構，更是在AI領域取得市場先機，獲得全世界不少研究機構與企業的青睞，成為當今AI領域的霸主之一。為讓其GPGPU產品發揮強大的運算效能，NVIDIA內部也有不少與AI領域相關的研究計畫與應用。

這次要介紹的就是NVIDIA Research於GTC 2019正式公佈的GauGAN，也就是一種只要用戶提供簡單的素描，即可產生出如照片般栩栩如生的圖畫，可以幫助創作者激發出更多的創意，亦可發揮初一般用戶有趣的構圖應用，成為可視化AI應用中，最能與生活創意結合的絕佳應用案例。

▼ GauGAN的使用示範影片
　
這個GanGAN計畫，是來自NVIDIA和MIT的研究團隊所共同執行的成果，組成的團員皆是華人/韓國人，包含NVIDIA的劉洺堉(Ming-Yu Liu)、王鼎鈞(Ting-Chun Wang)，以及來自 MIT 的朱俊彥(Jun-Yan Zhu)和UC Berkeley的Taesung Park等。可以參考他們的GitHub網頁：

劉洺堉 (Ming-Yu Liu)的GitHub頁面: 這裡
王鼎鈞 (Ting-Chun Wang) 的GitHub頁面: 這裡
朱俊彥 (Jun-Yan Zhu)的GitHub頁面: 這裡
박태성 (Taesung Park)的GitHub頁面: 這裡

取名為GauGAN (高竿)，主要是紀念法國印象派畫家高更(Gauguin)，並加上GAN (Generative Adversarial Networks，生成對抗網路) 的字首，所形成的全新字彙，也是該應用所使用到的主要技術。

有關於更多NVIDIA GauGAN相關報導，請參考下方文章：
● 為想像力增添色彩：GauGAN AI 藝術工具創造出超過五十萬個影像
● NVIDIA Research 在 SIGGRAPH 展出令人驚豔的開創性研究成果

GauGAN技術說明會，NVIDIA首席研究員技術開講

GauGAN就如同一枝「智能畫筆」(Smart Paintbrush)，透過NVIDIA在雲端資料圖所提供的GAN(生成對抗網路)的訓練結果，讓使用者只要簡單繪製幾個分割圖(Segmentation Map)並填入不同的顏色細節以顯示出該場景中各圖素的對應位置，搭配選擇不同效果濾鏡，即可自動產生出目標的專業照片級的圖片。

當然不只自然圖片，包括人臉也能隨機產生，此外該團隊還有另一項研究計畫，叫做PetSwap，可以只要輸入一個原始動物照片，就能產生出其他不同動物，但表情類似的照片，甚至可以產生動畫，讓AI應用更加有趣！



那麼GauGAN技術是如何幫助用戶產生這樣的照片(或動畫)呢？當然得先從其技術來研究，這次由NVIDIA Research首席研究員劉洺堉先生，來親自講解並示範GauGAN的功能，其中也包括了主要應用原理的簡述 (這裡僅簡單做簡述而已，因為光是簡述與原理就很複雜了，有興趣深度研究者，可參考其相關Paper文件)，讓讀者能大致了解該技術運用到的原理與解決方式，以讓開啟大家對於這項技術的認知與應用。

這裡講述的是GanGAN與其運用到的主要技術：SPADE (SPatially Adaptive DEnormalization，空間適應去正規化)，搭配BN (Batch Normalization，批次正規化)技術的優點，讓產生出來的結果是在能夠控制的範圍，以產生出使用者所要表達的目標圖片。

以下就透過劉先生的簡報，來了解GauGAN的運作原理吧 (註：很燒腦，請斟酌服用)：

































































以上，就是GauGAN所使用到的各種模型與深度學習網路。在圖片的大數據中，劉洺堉表示，目前NVIDIA GanGAN的雲端資料庫照片共有超過500萬張，這些皆是來自flickr或是其他有授權的圖片。而每當使用者將素描語意檔上傳並送至NVIDIA的GauGAN伺服器進行分析之後，GauGAN會從已經透過過深度學習訓練後的100萬張圖當中，挑出最符合語意的照片素材，以合成出最適合的照片組成，最後再調整色調，讓整張照片看起來沒問題之後，再回傳給使用者。

最後，提供與GauGAN與PetSwap的相關網站，讓使用者親自去體驗看看吧！

● GauGAN遊樂場: http://nvidia-research-mingyuliu.com/gaugan/



● PetSwap遊樂場: http://nvidia-research-mingyuliu.com/petswap