PCDIY!業界新聞
NVIDIA 針對超大規模資料中心擴充深度學習推論功能
(本資訊由廠商提供,不代表PCDIY!立場) 2018-03-29 12:29:13NVIDIA (輝達) 宣布一連串新技術與合作夥伴,將推論的潛在市場拓展至全球3,000 萬部超大規模伺服器,同時大幅降低由深度學習技術所驅動的各種服務成本。
NVIDIA 創辦人暨執行長黃仁勳在 2018 GTC 發表開幕演說時,闡述深度學習推論如何透過在資料中心、車用以及如機器人和無人機等嵌入式裝置上,新增語音辨識、自然語言處理、推薦系統與影像辨識等技術支援,持續仰賴 GPU 加速。
對此,NVIDIA 宣布新版 TensorRT 推論軟體並將其整合至 Google 熱門的TensorFlow 框架中。 NVIDIA 也宣布將針對最受歡迎的語音辨識框架 Kaldi 進行 GPU 最佳化。此外,NVIDIA 與 Amazon、Facebook 以及 Microsoft 等夥伴的密切合作,也將讓開發人員更容易將 ONNX 格式與 WinML 模型透過 GPU 進行加速。
NVIDIA 副總裁暨加速運算部門總經理 Ian Buck 表示:「針對量產深度學習推論技術所推出的 GPU 加速,即便在處理最龐大的神經網路時,也能即時且以最低成本運行,透過迅速支援更智慧的應用與框架,NVIDIA 不僅能提升深度學習的技術品質,同時還能協助降低全球 3,000 萬部超大規模伺服器的營運成本。」
TensorRT與TensorFlow的整合
NVIDIA 揭露 TensorRT 4 軟體能為多種應用程式進行深度學習推論加速。TensorRT能提供 INT8 與 FP16 精準的推論內容,讓資料中心成本最高可減少70%(1)。TensorRT 4 能用來快速進行最佳化、驗證以及將訓練完成的類神經網路部署到超大規模資料中心、嵌入式裝置和車用 GPU 平台。在處理包括電腦視覺、神經機器翻譯、自動語音辨識、語音合成與推薦系統等常見應用時,新版軟體在執行深度學習推論的速度是 CPU 的190倍(2)。
為進一步加快研發效率,NVIDIA 與 Google 的工程師攜手將 TensorRT 整合到 TensorFlow 1.7,讓用戶更容易在 GPU 上運行各種深度學習推論應用。
Google 工程部總監 Rajat Monga 表示:「TensorFlow 團隊正與 NVIDIA 密切合作,將 NVIDIA GPU 的最佳效能帶給深度學習的用戶。TensorFlow 與 NVIDIA TensorRT 的整合目前已能在Volta Tensor Core 技術與 NVIDIA 深度學習平台上提供高達8倍的推論吞吐量(與低延遲目標中的GPU執行相比),從而實現TensorFlow中GPU的最高效能。」
NVIDIA 已著手優化全球頂尖語音框架 Kaldi,能在 GPU 上發揮更高的效能。GPU 語音加速不僅代表將為消費者提供更精準且實用的虛擬助理,同時也代表資料中心營運商將藉此降低部署成本。
資料中心推論
資料中心的管理者必須不斷在效能與效率之間取得平衡,藉以讓伺服器機群達到最大的生產力。在執行各種深度學習推論應用與服務時,透過 NVIDIA Tesla GPU 加速的伺服器能取代數個機架的 CPU 伺服器,空出寶貴的機架空間並降低對能源與冷卻的需求。自駕車與嵌入式應用推論
TensorRT 也能部署在 NVIDIA DRIVE 自駕車與 NVIDIA Jetson 嵌入式平台。每個框架上的深度學習神經網路都能在資料中心的 NVIDIA DGX™ 系統上進行訓練,並部署從機器人到自駕車所有種類的裝置上,在邊緣進行即時推論。透過TensorRT,開發人員能專注於研發新穎的深度學習應用,而不用費心為推論部署進行繁瑣的效能調校。以極快速度執行INT8 或 FP16精準度的推論,大幅降低延遲,這對包括嵌入式與車用平台上,處理物體偵測與路線規劃等功能至關重要。
- 發表您的看法
請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。
請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。
請勿侵犯個人隱私權,將他人資料公開張貼在留言版內。
請勿重複留言(包括跨版重複留言)或發表與各文章主題無關的文章。
請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。
您在留言版發表的內容需自負言論之法律責任,所有言論不代表PCDIY!雜誌立場,違反上述規定之留言,PCDIY!雜誌有權逕行刪除您的留言。
最近新增
- NVIDIA 推出 GeForce Summer Nights 抽獎活動;宣布具有多畫格生成的 DLSS 4 開始支援《凡人 Online 2》、《Brickadia》和《盧恩傳奇:龍荒秘境》等三款遊戲大作
- ROG三創旗艦店定義電競未來!開幕限定福利吸引玩家朝聖
- 扎根創新人才 華碩加入臺大AI 電資大聯盟
- 裝備整齊,踏入充滿神話與謎團的黑暗奇幻世界,與 MSI 一同展開冒險 購買指定QD-OLED產品,即可獲得《明末:淵虛之羽》!
- Lenovo 推出搭載NVIDIA RTX 50系列筆電陣容 新一代Legion 與 LOQ 電競系列在台熱烈登場 導入Legion獨家Coldfront Hyper高階散熱系統,Lenovo重新定義次世代電競筆電新標準
- 【曲光稜構 Jonsbo D400台灣限定版】建築美學落實於中塔,以黃金比例雕琢,建造曲面與稜角的平衡
- 芝奇率先全球開賣DDR5-6000 CL32 256GB (4x64GB) 大容量超頻U-DIMM套裝
- 不怕愛已不在!欣亞破天荒「筆電延長鑑賞期」 30天讓你舊愛換新歡
- 美的角度都驚豔!motorola edge 60 fusion 美型 AI 新機登場 Motorola打造拍得出色、看得驚豔、最懂你的全方位手機! Panton 時尚色彩認證、AI 智慧影像、軍規級防護 edge 60 fusion 與 g56 上市
- TrendForce: 傳Tesla暫停生產Optimus,技術瓶頸將引領人型機器人產業轉型
- 今夏出遊這樣玩 Instagram! 「編輯網格」自由調整個人檔案排版 「語音訊息」延長至五分鐘 滿足話匣子分享欲
- 西門子 EDA 推全新解決方案,助力簡化複雜的 3D IC 設計與分析流程
最多人點閱
- Microsoft Azure Certified for IoT 快速打造智慧物聯網
- SP廣穎電通將於德國2015 Embedded World展示全方位工控系列產品
- 英特爾舉辦亞洲區創新高峰會 促進台灣與全亞洲產業體系的創新發展
- IEM於台北國際電玩展熱血開打,購買Intel Core i5/i7處理器系列+SSD 750即得限量好禮
- 深根台灣成就萬物相聯 2015 ARM®新竹辦公室擴大營運暨亞洲第一座CPU設計中心開幕
- AMD發表全球首款GPU硬體虛擬化產品線
- PLEXTOR感恩節大回饋,M6V卡禮來雙重送!
- 希捷科技:2016年六大科技趨勢
- 台灣微軟攜手台大電機 高中程式夏令營獲佳評
- 台灣微軟與Lamigo聯手 應援總冠軍封王賽「Win for 10」!
- InWin 805 NVIDIA EDITION機殼爆紅,迎廣GeForce GTX特仕版機箱正式開賣!
- AMD獲選2015年道瓊永續性指數 連續14年榮獲此殊榮
