NVIDIA 的研究人員把開創性的神經網路訓練技術用於熱門的 NVIDIA StyleGAN2 模型上，以大都會藝術博物館所提供不到 1,500 張圖片這麼小的資料集，用新的角度去審視藝術品。

　　NVIDIA Research 的最新人工智慧 (AI) 模型，簡直就是生成對抗網路界中的奇才。它只要使用一般生成對抗網路 (GAN) 所需學習材料的一小部分，就能學習到像是模仿著名畫家的畫風，以及重現癌症組織影像這般複雜的技能。

　　NVIDIA 的研究人員把開創性的神經網路訓練技術用於熱門的 NVIDIA StyleGAN2 模型上，以大都會藝術博物館所提供不到 1,500 張圖片這麼小的資料集，用新的角度去審視藝術品。他們用 NVIDIA DGX 系統來加快訓練速度，取材自歷史人物肖像，創造出新的 AI 藝術。

　　這項稱為自我調整判別器增強 (adaptive discriminator augmentation; ADA) 的技術，將訓練所需的影像數量減少了 10 到 20 倍，卻依舊能獲得良好的訓練成果。同樣的方法有朝一日可能會對醫療領域產生重大影響，像是建立癌症組織學影像來協助訓練其它的 AI 模型。

　　NVIDIA 繪圖研究部門副總裁 David Luebke 表示：「這些結果代表人們可以使用生成對抗網路來解決問題，這些問題不是得耗費大量時間來取得海量資料，不然就是難以取得這麼大量的資料。我迫不及待地想看看藝術家、醫學專家和研究人員，會把這項技術用在哪些領域。」

　　NVIDIA 將於本週在神經信息處理系統年會 (NeurIPS) 上發表這個研究項目背後的研究報告；該大會接受了 28 篇 NVIDIA Research 的研究報告，刷新了過去的紀錄，而本篇報告是其中的一篇。

　　這項新方法是 NVIDIA 研究人員在生成對抗網路創新傳統中的最新成果，這些研究人員開發出突破性的生成對抗網路模型，像是 AI 繪畫應用程式 GauGAN、遊戲引擎模仿程式 GameGAN 及寵物照片變臉程式 GANimal。這些應用程式可以在 NVIDIA AI Playground 上取得。

訓練資料的困境

　　生成對抗網路跟大多數神經網路一樣，長期以來始終遵循一個基本原則，也就是訓練資料越多，模型品質越好。原因在於每個生成對抗網路都由兩個合作的網路組成，一個負責建立合成影像的生成器，還有一個根據訓練資料學習逼真影像外觀相似程度的判別器。

　　判別器對生成器進行指導，對它生成的每個像素給予回饋，以協助提高合成影像的真實感。然而可供學習的訓練資料有限，判別器無法幫助生成器徹底發揮其潛力，就像是一個新手教練所經歷過的比賽場次，比經驗豐富的專家少得多。

　　通常要用上五萬到十萬張影像，才能訓練出一個高品質的生成對抗網路。但在多數情況下，研究人員手邊根本沒有幾萬或幾十萬張樣本影像可供使用。

　　如果只用幾千張影像來進行訓練，許多生成對抗網路會無法產生出極具逼真感的影像。判別器只是單純記住訓練影像，無法提供有用的回饋給生成器時，就會出現這個稱為過度擬合 (overfitting) 的問題。

　　研究人員在影像分類的任務中，以資料增強技術來解決過度擬合的問題，而資料增強技術以旋轉、裁剪或翻轉等過程來隨機扭曲影像，為現有影像建立副本以擴大規模較小的資料集，迫使模型擁有更佳的歸納概括能力。

　　過去嘗試過把增強技術用在生成對抗網路的訓練影像上，造成生成器學會了模仿這些扭曲後的影像，而不是建立具有可信度的合成影像。

身負重任的生成對抗網路

　　NVIDIA Research 的 ADA 方法能夠以自我調整的方式來增強資料，代表在訓練過程中不同的時間點調整資料增強量，以避免過度擬合。此舉讓 StyleGAN2 這樣的模型就算使用少一個數量級的訓練影像，也能達到同樣驚人的效果。

　　這麼一來研究人員便能把生成對抗網路用在過去不切實際的應用項目裡，會視為不切實際的原因，在於這些應用項目的範例太少、太難取得，或是得耗費大量時間才能蒐集到一個大型資料集。

　　藝術家們使用不同版本的 StyleGAN 來創作令人驚嘆的展示品，並且按照傳奇插畫家手塚治虫 (Osamu Tezuka) 的風格創作新的漫畫。Adobe 公司還用它來支援 Photoshop 的全新 AI 工具 Neural Filters。

　　想要入門學習這個模型無需太多訓練資料，帶有 ADA 的 StyleGAN2 可以用於創作稀有的藝術作品，像是來自法國巴黎的 AI 藝術團隊 Obvious 使用生成對抗網路創作出的非洲科塔 (African Kota) 面具作品。

　　醫療保健是另一個前途大好的應用領域，在多數測試結果皆為正常的情況下，罕見疾病的醫學影像並不多。醫學專家要花上不少時間來一一標註，才能累積出一個有用的異常病理切片資料集。

　　使用搭配 ADA 的生成對抗網路來建立合成影像，可以解決這個問題，為另一個 AI 模型產生出訓練資料，協助病理學家或放射科醫生在病理影像或 MRI 研究中找出罕見疾病。一個額外的好處是，有了 AI 產生出的資料，就不存在患者資料或隱私的困擾，醫療機構便能更容易共用資料集。