PCDIY!業界新聞
NVIDIA Research 透過人工智慧,在一瞬間將 2D 平面照片變成 3D 立體場景
(本資訊由廠商提供,不代表PCDIY!立場) 2022-04-01 11:42:04
當人們在 75 年前使用寶麗來 (Polaroid ) 相機拍攝出世界上第一張即時成像照片時,便是一項以逼真 2D 影像迅速捕捉 3D 世界畫面的創舉。時至今日,人工智慧 (AI) 研究人員反將此作法倒轉過來,亦即在幾秒鐘內將一組靜態影像變成數位 3D 場景。
這項稱為逆向渲染 (inverse rendering) 的過程,利用 AI 來預估光線在真實世界中的表現,讓研究人員能利用從不同角度拍攝的少量 2D 影像來重建 3D 場景。NVIDIA Research 團隊開發出一種方法,幾乎能在瞬間內完成這項任務,是同類中首批將超高速神經網路訓練與快速渲染相結合的模型之一。
NVIDIA 將該方法應用在一種稱為神經輻射場 (Neural Radiance Fields;NeRF) 的熱門新技術上,創造出 Instant NeRF 這項當今渲染速度最快的 NeRF 技術,在某些情況下速度可以提升超過 1,000 倍。用數十張靜態照片,便能在幾秒鐘內完成訓練模型,再加上拍攝角度的資料,在幾十毫秒內即可渲染出生成的 3D 場景。
NVIDIA 繪圖研究部門副總裁 David Luebke 表示:「如果說多邊形網格這樣的傳統 3D 表現方式像是向量圖形,那麼 NeRF 就像是點陣圖,它們會密集捕捉光線從物體或場景中輻射出來的方式。從這個意義上來說,Instant NeRF 對 3D 的重要性,不亞於數位相機和 JPEG 壓縮技術對 2D 攝影的重要性,其可大幅提升 3D 捕捉與分享的速度、便利性和範圍。」
在 NVIDIA GTC 大會議程中展示的 Instant NeRF,可用於為虛擬世界建立化身或場景、以 3D 方式拍攝視訊會議的與會者以及所處環境,或是為 3D 數位地圖重建場景。
NVIDIA Research 團隊為了向早期的寶麗來照片致敬,重現了安迪.沃荷 (Andy Warhol) 拍攝即時成像照片的經典照片,利用 Instant NeRF 將其轉變為 3D 場景。
收集資料再投入 NeRF 的做法,有點類似紅毯上的攝影師試著從各個角度拍攝名人身上的華麗服裝,而神經網路需要有從場景四周多個位置拍攝的數十張照片,以及每張照片的相機位置等資料支援。
場景裡的人或物體若移動,拍攝照片的速度則是愈快愈好。要是在拍攝 2D 影像的過程中,人或物體有過多的移動,AI 便會生成模糊的 3D 場景。
基本上,NeRF 在此時會填補空白處,訓練一個小型神經網路,預測從 3D 空間中任何一點朝著任意方向輻射出的光線顏色來重建場景。這項技術甚至能解決當某些照片裡的物體被其它照片中的柱子等障礙物遮住時所產生的遮擋問題。
根據畫面的複雜性和解析度,以傳統方法建立一個 3D 場景須花費數小時甚至更長的時間。而利用 AI 則可加快處理速度。早期開發的 NeRF 模型在幾分鐘內便能渲染出無偽影的清晰場景,但仍需數小時進行訓練。
然而,Instant NeRF 卻大幅縮短了渲染時間,其以 NVIDIA 所開發出的 Multi-resolution Hash Encoding 技術為基礎,而這項經過最佳化調整的技術可以在 NVIDIA GPU 上高效運行。研究人員透過一種新的輸入編碼法,可以利用一個高速運行的微型神經網路來創造高品質的結果。
研究人員使用 NVIDIA CUDA 工具套件與 Tiny CUDA 神經網路函式庫來開發此模型。這個小巧的神經網路可以在單一 NVIDIA GPU 上進行訓練和運行,並在搭載 NVIDIA Tensor 核心的顯示卡上有著最高的運行速度。
這項技術可以用於拍攝實體環境物體的 2D 照片或影片,以訓練機器人和自動駕駛車來瞭解這些物體的大小及形狀。建築業與娛樂產業也能使用這項技術,快速為實體環境建立數位畫面,創作者便能用它來進行修改和構建。
除了 NeRF,NVIDIA 的研究人員也在探索如何將這種輸入編碼技術用於加速處理多項 AI 領域的難題,包括強化學習、語言翻譯和通用的深度學習演算法。
這項稱為逆向渲染 (inverse rendering) 的過程,利用 AI 來預估光線在真實世界中的表現,讓研究人員能利用從不同角度拍攝的少量 2D 影像來重建 3D 場景。NVIDIA Research 團隊開發出一種方法,幾乎能在瞬間內完成這項任務,是同類中首批將超高速神經網路訓練與快速渲染相結合的模型之一。
NVIDIA 將該方法應用在一種稱為神經輻射場 (Neural Radiance Fields;NeRF) 的熱門新技術上,創造出 Instant NeRF 這項當今渲染速度最快的 NeRF 技術,在某些情況下速度可以提升超過 1,000 倍。用數十張靜態照片,便能在幾秒鐘內完成訓練模型,再加上拍攝角度的資料,在幾十毫秒內即可渲染出生成的 3D 場景。
NVIDIA 繪圖研究部門副總裁 David Luebke 表示:「如果說多邊形網格這樣的傳統 3D 表現方式像是向量圖形,那麼 NeRF 就像是點陣圖,它們會密集捕捉光線從物體或場景中輻射出來的方式。從這個意義上來說,Instant NeRF 對 3D 的重要性,不亞於數位相機和 JPEG 壓縮技術對 2D 攝影的重要性,其可大幅提升 3D 捕捉與分享的速度、便利性和範圍。」
在 NVIDIA GTC 大會議程中展示的 Instant NeRF,可用於為虛擬世界建立化身或場景、以 3D 方式拍攝視訊會議的與會者以及所處環境,或是為 3D 數位地圖重建場景。
NVIDIA Research 團隊為了向早期的寶麗來照片致敬,重現了安迪.沃荷 (Andy Warhol) 拍攝即時成像照片的經典照片,利用 Instant NeRF 將其轉變為 3D 場景。
NeRF 是什麼?
NeRF 會依照輸入的一組 2D 影像,使用神經網路來表現及渲染逼真的 3D 場景。收集資料再投入 NeRF 的做法,有點類似紅毯上的攝影師試著從各個角度拍攝名人身上的華麗服裝,而神經網路需要有從場景四周多個位置拍攝的數十張照片,以及每張照片的相機位置等資料支援。
場景裡的人或物體若移動,拍攝照片的速度則是愈快愈好。要是在拍攝 2D 影像的過程中,人或物體有過多的移動,AI 便會生成模糊的 3D 場景。
基本上,NeRF 在此時會填補空白處,訓練一個小型神經網路,預測從 3D 空間中任何一點朝著任意方向輻射出的光線顏色來重建場景。這項技術甚至能解決當某些照片裡的物體被其它照片中的柱子等障礙物遮住時所產生的遮擋問題。
利用 Instant NeRF 將渲染速度提升 1,000 倍
人類天生就會按照一部分所見畫面來估算物體的深度和外觀,但這對 AI 來說卻是一項高難度的任務。根據畫面的複雜性和解析度,以傳統方法建立一個 3D 場景須花費數小時甚至更長的時間。而利用 AI 則可加快處理速度。早期開發的 NeRF 模型在幾分鐘內便能渲染出無偽影的清晰場景,但仍需數小時進行訓練。
然而,Instant NeRF 卻大幅縮短了渲染時間,其以 NVIDIA 所開發出的 Multi-resolution Hash Encoding 技術為基礎,而這項經過最佳化調整的技術可以在 NVIDIA GPU 上高效運行。研究人員透過一種新的輸入編碼法,可以利用一個高速運行的微型神經網路來創造高品質的結果。
研究人員使用 NVIDIA CUDA 工具套件與 Tiny CUDA 神經網路函式庫來開發此模型。這個小巧的神經網路可以在單一 NVIDIA GPU 上進行訓練和運行,並在搭載 NVIDIA Tensor 核心的顯示卡上有著最高的運行速度。
這項技術可以用於拍攝實體環境物體的 2D 照片或影片,以訓練機器人和自動駕駛車來瞭解這些物體的大小及形狀。建築業與娛樂產業也能使用這項技術,快速為實體環境建立數位畫面,創作者便能用它來進行修改和構建。
除了 NeRF,NVIDIA 的研究人員也在探索如何將這種輸入編碼技術用於加速處理多項 AI 領域的難題,包括強化學習、語言翻譯和通用的深度學習演算法。
- 發表您的看法
請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。
請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。
請勿侵犯個人隱私權,將他人資料公開張貼在留言版內。
請勿重複留言(包括跨版重複留言)或發表與各文章主題無關的文章。
請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。
您在留言版發表的內容需自負言論之法律責任,所有言論不代表PCDIY!雜誌立場,違反上述規定之留言,PCDIY!雜誌有權逕行刪除您的留言。
最近新增
- V-COLOR Manta XFinity 系列 榮獲2024紅點設計大獎,展現創新及卓越美學
- Acer 推出《Swift Go 14》AI特規機 PCHome24購物獨賣 上市特惠中
- 歡慶LG官方線上商城3週年會員日!熱銷品7折起 指定商品兩件另享85折 滿3萬再折3千 透過LINE購物或ShopBack進站下單 額外享最高16%回饋
- NetApp 推出專為 AI 時代打造的統一資料儲存方案 具整合資料服務之全新 AFF A 系列所支援的智慧資料基礎架構 以加速採用 AI 並大規模簡化各項工作負載
- SiTime 推出專為 AI 資料中心打造的整合時鐘晶片 Chorus 系列時脈產生器體積縮小一半 效能提升 10 倍
- 芝奇推出 Ripjaws M5 焰刃 RGB DDR5 高效能記憶體
- 台灣海韻電子Seasonic VERTEX GX-850無痛升級優惠活動Vertex 系列電源供應器 - 終極玩家的理想選擇
- 奧義智慧攜手 NTT-AT 共築臺日數位安全生態圈 以高度自動化的 AI 技術全方位鞏固企業資訊安全
- 台達將於COMPUTEX 2024發表主題演講 分享運用人工智慧創造自動化新應用
- 「CYBERSEC 2024臺灣資安大會」今年擴大舉辦 再創成立十年新紀錄 準總統賴清德連續三年到場支持 用行動展現「資安即國安」決心 「Generative Future」連結亞洲產業動脈 共同打造更安全進步的數位世界
- 品牌食安救星!統一資訊推食安解決方案助企業擺脫食安危機 天仁茶業等知名企業採用,化食安風險為競爭力
- 智慧視聽新高度!OVO真4K無框電視、可K歌HiFi電視震撼發表,募資爆品推推閨蜜機正式上市
最多人點閱
- Microsoft Azure Certified for IoT 快速打造智慧物聯網
- 美光與希捷宣布成立策略聯盟 兩大產業龍頭攜手 結合美光NAND型快閃記憶體與希捷的儲存技術
- SP廣穎電通將於德國2015 Embedded World展示全方位工控系列產品
- 電腦每天開!電費多驚人?世界地球日 用APP隨時關機
- 英特爾舉辦亞洲區創新高峰會 促進台灣與全亞洲產業體系的創新發展
- IEM於台北國際電玩展熱血開打,購買Intel Core i5/i7處理器系列+SSD 750即得限量好禮
- 深根台灣成就萬物相聯 2015 ARM®新竹辦公室擴大營運暨亞洲第一座CPU設計中心開幕
- AMD發表全球首款GPU硬體虛擬化產品線
- AMD推出全球首款業界領先的32GB記憶體伺服器GPU 瞄準高效能運算
- AMD推出全新Catalyst 15.7驅動程式 讓AMD APU及GPU充分展現Windows®10直覺化體驗
- PLEXTOR感恩節大回饋,M6V卡禮來雙重送!
- 希捷科技:2016年六大科技趨勢