焦點

三屆奧斯卡獎得主Jos Stam博士分享電腦繪圖30年之工作歷程與虛擬影像工業的技術和創意!演講會現場直擊!

文.圖/Johan 2019-12-14 20:54:34
近30年來,電腦繪圖(CG)技術的進步神速,從最早簡單的點陣構圖,到栩栩如生的真實照片等級畫質,如今更將邁向沉浸式的虛擬實境。因此,電腦繪圖技術的發展猶如在創造一種境界,讓人體驗到如同真實世界那樣的逼真感,令人流連忘返。

然由於電腦繪圖牽扯到許多技術,尤其以電腦動畫來說,要模擬出真實世界的各種物理現象,不僅要應用到各種數學(Mathematics)公式、透過程式碼(Coding),並搭配藝術美學(Art)天份,來創造出那種逼真的場景。因此該業界必須融合各方面的知識,來打造出令人wow (讚嘆)的繪製成果。

而這個部份,Jos Stam博士正是這方面的佼佼者,他揉合了美學、數學與程式碼等,將物理世界中的粒子、時空、雲霧、烽火、浪花、行雲與流水,甚至大規模生物群體的律動,得以在虛擬世界中重現與昇華,您所用的Maya軟體所用到流體力學特效,就是他的傑作。由於運用到上述的特點,使他成為3屆奧斯卡科技成就獎與電腦繪圖界最高殊榮ACM SIGGRAPH成就獎得主。他的成就亦是當今全球電影、動畫、電競、VR、AR 與 XR 產業蓬勃發展的重要基石。

NVIDIA電腦繪圖資深科學家Jos Stam博士,這次應SIGGRAPH Asia 邀請來台,分享他在電腦繪圖30年的工作歷程與虛擬影像工業的技術和創意


電腦繪圖的未來發展,AI將成為重要的角色

由於30年多前,電腦繪圖只是簡單的點陣圖,在經過軟硬體的改良與進步之下,帶動顯示的解析度與色彩深度提升,讓電腦影像越來越逼真,然由於CPU的發展如今已然到達瓶頸,到了近10多年來的電腦繪圖正式進入3D世代,GPU的發展更是一日千里,促進電腦繪圖工業達到更高的層次,當今不管是CG、3D模型繪製,或是一般大眾每天在玩的3D遊戲,都是需要應用到GPU的硬體加速技術,讓複雜的美學+數學+程式碼得以在極短的時間內,在電腦螢幕上生成逼真的畫面,賦予使用者視覺上的震撼。

如今GPU的發展已邁向AI世代,透過各種機器學習(Machine Learning),可以做到以往做不到,或是需要許多時間才能完成的事情。包括照片分類/辨識,以及自駕車等….數不清的各式應用。除此之外,Jos Stam博士讚許GAN(生成式對抗網路)應用,尤其像是NVIDIA推出的GauGAN應用,就能幫助美術從業人員更獲得到創意的發揮,成就出無限想像空間的作品。
NVIDIA推出的GauGAN人工智慧藝術工具,幫助美術人員為其想像力添加色彩

至於AI將如何影響到未來影業的發展,Jos Stam博士一語道破,就是將會創造出「數位人類」(Digital Human),亦即拍電影也不需要真人演員了。的確!你看現在的AI都已經能做到自動生成人臉(而這些人其實並不存在於真實世界),而未來等AI發展到越來越極致之後,就可以模擬出演員的各種動作。因此未來的爆破、激烈動作,根本不需要找替身,直接用AI來做就行了!看樣子,未來好萊塢A 咖演員(如小勞勃道尼)會不會因此而失業呢?就讓我們期待未來AI的演變吧!

享電腦繪圖30年的工作歷程與應用到技術和創意,演講會現場直擊!

Jos Stam博士如今也是NVIDIA電腦繪圖資深科學家,這次應SIGGRAPH Asia 邀請來台,在12/13的台大場次,分享他在電腦繪圖30年的工作歷程與虛擬影像工業的技術和創意。PCDIY!也在演講會現場直擊!由於演講內容部份牽扯到複雜的技術原理,以下就投影片的部份進行重點簡述。(圖超多,慎入!)

Jos Stam博士來台分享「電腦繪圖30年:從開天闢地到奧斯卡獎的旅程」


Jos Stam博士自我介紹,該簡報取自於他接下來要去上海演講時,主辦單位為他設計的影片橋段


同學們上課囉!以下的內容有些比較艱深專業,雖說Jos Stam博士已經很化繁為簡來說明了,但為免分心,請大家先關閉其他會影響你注意力的網頁,別聽音樂,關閉手機(?)。然後仔細慢慢看下去喔!

前言
什麼是電腦繪圖? 簡單來說,就是數學(Math)+美學(Art)+寫程式(Coding)的構成


Art (美學/藝術),就是透過筆刷或是噴槍等工具,搭配人類的想像力,來繪製圖像


這就是各種藝術圖畫,可以很寫實,或是很抽象


藝術家可以根據自己的創作力,來繪製出他的作品


那麼Coding (寫程式),就是透過電腦程式語言,在螢幕上繪製出圖像。這些是古董級的電腦,在各方的投入發展之下,其功能與效能也越來越強大


電腦語言有很多種,早期有Z80、MC68000 (使用Assembly語言撰寫),以及Basic語言


Jos Stam博士表示Z80的資料標示方式,就是類似這樣,一個一個的放入各種圖素(Pixel)資料,以讓程式來繪製出圖像與角色


而Basic語言可以透過程式碼的撰寫與發揮,來繪製出不同的圖像


這裡舉例從最早期簡單的小精靈(Pac Man)圖像與程式繪製方式,到西洋棋(Chess)的各種角色與圖素,直到今天電腦繪圖已走向3D實體場景甚至考量到光線追蹤,以追求繪製出如真實世界那樣逼真的畫面


那麼Math (數學)呢? 就是帶入各種公式,來幫忙繪製出各種幾何圖形或圖像


呃… 更複雜的數學公式,將物理科學帶入


簡單介紹電腦繪圖的歷史


其實就是線和圖素。左邊是1897年當時的顯示技術可以呈現出40條線,時至今日(2018)已經可以達到8K的解析度了


至於VR顯示器,以前是左邊這種HMD(頭戴式顯示器),右邊則是未來的發展,可能就變成類似隱形眼鏡那樣,直接在你的眼前呈現出VR/AR影像,不用再戴厚重的HMD了


早在1858年就有立體3D技術,以紅藍眼鏡呈現3D影像。隨後1965年Ivan Sutherland推出了第一個VR HMD (也太複雜了),直到1987年Jaron Lanier發明VR一詞,並推出這樣的HMD之後,VR一詞流行之今,而近年(2016)已經發展到像是Oculus Rift推出這樣輕盈的VR HMD了


接著來探討一下:電腦運算力。以前摩爾定律,是電腦效能隨著時間的演進,以Log (對數)的樣貌在提升其效能 (FLOPS, 每秒浮點運算次數)。但對於電腦繪圖領域來說,他們其實才不管電腦效能多強,他們在意的就是Blinn定律所表示的圖,亦即一家動畫工作室為動畫的一張圖投入10小時的運算時間,那麼10年之後隨著三角形數量的提升,繪製/模擬的圖像也越來越逼真,但運算一張圖仍需要投入10小時,不管處理器有大的提升。


以逼真程度來看,橫軸是時間或三角形數量,縱軸是現實抽象比。紅線的左邊都是比較偏抽象/卡通的圖像,右邊則是比較偏向現實/擬真的圖像。以前1978年代的圖不是點陣圖,就是解析度低的照片,隨著三角形數量的提升,2000年的Final Fantasy遊戲已經可以繪製到令人驚嘆的效果,2004年則更逼真,隨著時間演進,到2010年阿凡達讓視覺效果更上一層樓。直到如今(2018)的技術,可以做到真人表現即時模擬/繪製的程度。有興趣的讀者可以參考這裡


在繪圖管線部份3D繪圖是一連串複雜的流程,從點到線到面,再處理材質、著色…等各種步驟。在CPU世代,有圖示的那些API (應用程式介面),到了GPU世代,則有這些API可以加速與應用


但是礙於科技的發展,大量運算所帶來的就是散熱問題!Jos Stam博士以倫敦地鐵在夏天時,可以高達的35.5°C,若沒搭配空調將讓人類無法久留或承受,來說明電腦繪圖也是類似這樣的情況


眼睛的構造是很複雜的,光線經過視神經,透過視錐細胞與視桿細胞體,視網膜色素層,以看見各種物體與顏色


但是,眼睛的成像原理並不等於相機的成像原理


那麼我們眼睛所看見的事物,會是像笛卡爾劇院那樣,是在大腦中想像在一個小劇院中,一個人在觀察所有來自感官數據的任務並投射到螢幕上嗎? (這段有點複雜,有興趣者可以查詢笛卡爾劇院來了解細節)


那也很矛盾啊… (無線遞迴)


其實我們的大腦是「可塑」的!你知道雪貂甚至可以用耳朵來「看」到東西


正因為大腦是可塑的。麥迪遜大學神經學家Paul Bach-y-Rita博士推出了觸覺視覺替代系統,以治療失明。根據他的研究,人腦可處理來自指尖接觸的觸覺訊息,並轉化為可視化訊息。因此盲人也可像普通人那樣通過觸摸的方式,或是背部振動的方式,來「看見」各種藝術作品,並在腦海中「重建」這個畫面


神經刺激技術,可以用來改善嚴重癱瘓或各種感覺器官嚴重損害的人的生活品質


大腦接收來自五官的訊息,並在腦中呈現出影像。因此你也可以透過舌頭來「看」見並分辨出東西


正因如此,我們需要塑造出新的典範與模型。而OpenNeuro 1.0就是基於上述的理論所建立出來的神經電路資料開放共享平台


正式課程開始:流體現象怎麼用電腦繪製出來
前面花了那麼多時間,就是在說明人類如何定義圖像的意義!接下來的部份,就是Jos Stam博士分享自己的研究心得。

所謂的線條是什麼? 是直線嗎? 上圖是你想像與規劃的:騎車到目的地中間都是一路平坦。但事實上,下圖才是真實世界你所會碰到的情況,各種凹凸不平的地面與天氣狀況。非線條才是標準的


非線條與線條的差別。左邊還是包含直線部份


而我們都習慣使用直線法則來解決問題,非線性的問題則是透過下方有約數的線性公式來解決


但是基本上並不是這樣的,下方公式列出包含了張力/重力因素


線性問題後來被一位法國數學家卡米爾·若爾當給解決了。


這就是若爾當標準型,所表示的特徵值


若爾當矩陣模型


套用到細分曲面之後,讓物體變得圓弧造型


表面塑型是個大問題…


表面塑型,可用數學來解。例如左邊的隱函數或是右邊的參數公式


由於細分曲面的方式並非隱函數或參數公式…


Jos Stam博士認為:表面塑型應該用函數化的方式來解


運用此方法,各種物體的表面,就可以做到非常細緻。藍色為節點處


因為上述的理論,讓Jos Stam博士於2006年與2019年榮獲美國影藝學院所頒發的奧斯卡科技成就獎(2019年的共同獲獎人為皮克斯工作室總裁Ed Catmull、資深科學家兼研發主管Tony DeRose)


他的著作「流體動畫運算技術」,如今已是電腦繪圖介的聖經之一。接下來講流體動畫的部份…


這是流體與漩渦狀以持續而美麗的狀態呈現中


世界萬物,很多的是流體力學的呈現。像是波浪…


香煙…


煙霧…


岩漿…


石頭上的自然刻痕…


納維爾-斯托克斯公式,就是一組描述像液體和空氣這類流體物質的公式


上列是重力移動公式,下列是重力迴旋方程式… 數學和藝術相遇了!


Jos Stam博士將整個解法以100行C程式碼撰寫出來了


程式碼大概就是這樣…


首次在1997年展示了三種不同的流體動畫


這是粒子的流體動畫展示


這是煙霧的流體動畫展示


能與卡爾曼·托多爾流體、克耳文- 亥姆霍茲不穩定性、瑞立-貝納德對流等現象做驗證


這是展示煙霧的流體動畫展示


濃煙流體動畫展示…


Jos Stam博士將此效果於2000年開始應用在Maya的流體特效。並於2002年的R4.5版正式加入這個流體動畫特效


Maya的範例:滴顏料至清水的流體動畫展示…


Maya的範例:火焰的流體動畫展示…


Maya的範例:蘑菇雲…


Maya的範例:雲與霧的流體動畫展示…


Maya的範例:雪崩的流體動畫展示…


Maya的範例:將水倒入水族箱的流體動畫展示…


流體動畫技術已應用在電影特效中,如:惡靈戰警…


明天過後、300壯士:斯巴達的逆襲…


復仇者聯盟 (Mathieu Chardonnet的WetaFX特效)…


丁丁歷險記(Mathieu Chardonnet的WetaFX特效),當然還有很多多多…


流體動畫技術,讓Jos Stam博士獲得第三面奧斯卡科技成就獎


向上或向下離散:核物體與動態
接下來是一些Jos Stam博士運用世間的各種事物之離散現象,來做不同的聯想與試驗,以找出爆開或是內部緊縮現象的公式,並應用在其作品上。

先來看看這兩種建築物:右邊是知名建築大師高第的聖家堂,左邊則是白蟻丘。看起來都是很複雜的建築吧?


不過你把兩種建築分開來看其組成,就可以發現不同處。右邊是從高第為出發點,一點一點往地上蓋,建立了世界史詩級的天主教堂,如今還在蓋。而左邊是白蟻丘,牠們是往下蓋…


Jos Stam博士很有趣的將這種現象,類比成電腦系統的階層與發散:左邊是Linux,旗下有許多駭客、程式設計師等部落;右邊則是賈伯斯創立的iPhone,以及其後續的延伸機種


在都市上也有類似的有趣現象:左邊是多倫多,聚集了政治、規章、公民、消防等所組成;右邊則是奧斯曼公爵進行了巴黎改造,帶領巴黎進入現代化都市


不過,以智慧來說,其則是由神經網路所構成;而人工智慧(AI)其組成元素則是電腦的位元


在生物學中,生命則是由個體所組成,生命形式則是由DNA所構成


Jos Stam博士之所以會引述上述的觀念,就是認為可根據這樣的架構來模擬各種現象。亦即複雜的動畫,其實就是由簡單構建的基塊來生成


內核也是透過碰撞、自我碰撞、張力、彎力、剪力等來改變各種型態


左邊是布勞威爾的不動點定理模型,右邊是粒子離散的方程式公式


接著以巴西堅果效果來做範例…


左邊的示範軟體中,每顆堅果正從上方往下掉落…


靜止後,會因為不同堅果大小,而有一些空隙


Jos Stam博士表示當左右搖晃之後,各堅果會重新改變其位置,小堅果會陸續往下堆,留下大堅果在上方。而空隙也會逐漸填滿…


接著以布料做例子,這是2004年的展示…


彈簧下樓梯…


從天上散落下來的紙飛機…


紙飛機散落一地…


圓形球面體…


人類的大腦…


這些爆開或是散落的特效,也在阿凡達與丁丁歷險記,以及許多電影中都有運用到。所以,Jos Stam博士又再度證明了:數學就是藝術!


見山還是山?! 未來的顯示技術,會走到什麼樣的境界?
由於前面有講到,人類對於物件與空間的感知,不一定是要靠眼睛才看得到。因此接下來,Jos Stam博士開始將觸角衍生到哲理部份,來說明圖素、空間、虛擬與真實之間的呈現效果。

什麼是最終極的顯示器。Ivan E. Sutherland於1965年所公佈的三頁白皮書裡面…


就預測了未來的顯示器、人機互動模式,包含了柵格顯示、非均勻有理B樣條、樣條函數、虛擬實境(VR)、滑鼠、軌跡板、觸控螢幕、全球定位系統(GPS)、加速度計、眼球追蹤、力回饋、擴增實境(AR)…等等,您看看這些到現在是不是幾乎現在都一一實現了…


這頁是重點:你看30年前,當顯示器還只能顯示出簡單的點陣圖而已,過了30年的現在,我們已經能做到3D繪圖與栩栩如生的畫面了,那麼再過30年之後,顯示技術會進步的什麼程度呢?


所以,從右邊看過來,第一個是RS (真實空間),而電腦的螢幕可以創造出VS (虛擬空間)讓人類看到裡面的世界,再過來是透過身體所感受到的SS(感知空間,外界),最左邊的則是腦中所呈現出來的PS (感知空間,腦內)。


擬像的進化。看過駭客任務電影嗎?您知道電影所要表達的意念是?


由後現代主義哲學家 尚·布希亞 所發表的「擬像與模擬」著作中,有講到影像變成擬像,然後生產並模擬出來的類別,該著作有說到現實與虛擬的演變,裡面含有不少哲理,有興趣的讀者可以去參讀


Jos Stam博士說明影像/空間再生的4個步驟,從上至下:(1) 真實空間的反射(即鏡射像)就是真實空間與透過鏡子裡的虛擬空間,傳遞到人的感知神經與腦裡所呈現的影像。(2) 加料變化的真實影像(如AR),就是真實空間加上虛擬空間的物件,所累加之後,所投射並傳遞到人的感知神經與腦裡所呈現的影像。(3) 虛構的真實世界(如VR),就是真實世界透過電腦重新編碼並建構出來的虛擬空間,再投射並傳遞到人的感知神經與腦裡所呈現的影像。(4) 擬像,就是電腦直接模擬的虛擬世界,再投射並傳遞到人的感知神經與腦裡所呈現的影像


這就是上一張圖,對應到電腦科技的術語,就是:模擬實境、擴增實境、虛擬實境、擬像。是否有一種:見山是山,見山不是山,見山還是山的意境呢?


若看不太懂?好吧!Jos Stam博士就拿「錢」來做比喻。以前是以物易物時代,後來人們覺得麻煩,進化到以金塊來買東西,但金塊太重,後來改用鈔票來進行交易,如今隨著電腦與網路科技的普及,現在更進化到以網路銀行與虛擬貨幣來進行交易。雖說實體金錢已經看不到了,但透過電腦的「再生」與認證,讓虛擬的金錢也等同於真實世界金錢那樣具有同等效力!


所以說,真實的物件,可以透過擬像來將其虛擬化。而虛擬化之後,人們可以視這個產物為真實2.0,而這個再虛擬化之後,就又變成了真實3.0,如此類推。聽不太懂嗎?筆者簡單舉例,您在現場看的演唱會是真實1.0,那麼這個真實的現場狀況,透過攝影機的拍攝,將真實立體世界變成平面影片呈現在您電視上的畫面,讓觀眾看到,這個就可以是視為真實2.0;另外,若您現在用的電腦是若是真實1.0,那麼虛擬機(Virtual Machine)就可以視為真實2.0… 依此類推


最後Jos Stam博士總結:真實就是一種萬物現象的模擬。背景剛好是Matrix電影特效。您發現到什麼了嗎?(紅色藥丸?還是藍色藥丸?)


30年的智慧累積結晶,現在讀者只要在這篇文章花30分鐘不到,相信可以有所收穫吧?以上就是本次NVIDIA電腦繪圖資深科學家Jos Stam博士,在台大的「電腦繪圖30年:從開天闢地到奧斯卡獎的旅程」演講會現場直擊。謝謝收看!下課囉!




發表您的看法

請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。

請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。

請勿侵犯個人隱私權,將他人資料公開張貼在留言版內。

請勿重複留言(包括跨版重複留言)或發表與各文章主題無關的文章。

請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。

您在留言版發表的內容需自負言論之法律責任,所有言論不代表PCDIY!雜誌立場,違反上述規定之留言,PCDIY!雜誌有權逕行刪除您的留言。