焦點

NVIDIA 在 MLPerf Training v5.1 基準測試中全面奪冠 NVIDIA Blackwell Ultra 搭配 NVFP4 技術,為大型語言模型訓練帶來突破性躍進

文.圖/張國華 2025-11-14 13:40:08

在人工智慧(AI)推理的時代,訓練更聰明、更強大的模型對於擴展智慧而言至關重要。為了滿足這個新時代的強大效能需求,需要在GPU、CPU、網路介面卡(NIC)、網路的垂直擴展(scale-up)和水平擴展(scale-out)、系統架構,以及大量的軟體和演算法等方面取得突破性進展。

NVIDIA在MLPerf Training v5.1中橫掃全部七項測試,於大型語言模型(LLM)、圖像生成、推薦系統、電腦視覺和圖像神經網路等領域均創下最快的訓練速度。MLPerf Training v5.1為持續多年舉辦的AI訓練效能業界基準測試中最新一輪。

NVIDIA亦是唯一在所有測試項目中都提交結果的平台,彰顯NVIDIA GPU強大的可程式化特性,以及其CUDA軟體堆疊的成熟度和通用性。

NVIDIA Blackwell Ultra再寫佳績

基於NVIDIA Blackwell Ultra GPU架構的GB300 NVL72機架級系統在本輪MLPerf Training測試中首次亮相,在此之前該系統已在最新一輪MLPerf Inference測試中創下紀錄。

與上一代Hopper架構相比,基於Blackwell Ultra的GB300 NVL72在相同數量的GPU下,Llama 3.1 405B預訓練的效能提升了4倍以上,Llama 2 70B LoRa微調效能增加了近5倍。


這些效能提升得益於Blackwell Ultra的架構躍進,包括具備15 petaflops NVFP4 AI運算能力的全新Tensor Core、2倍的注意力層運算能力,以及279GB的HBM3e記憶體,同時結合全新的訓練方法,充分釋放該架構龐大的NVFP4運算效能。

用於連接多組GB300 NVL72系統,且為業界首款端到端 800 Gb/s 垂直擴展網路平台的NVIDIA Quantum-X800 InfiniBand平台,也在MLPerf測試首度亮相,其橫向擴展網路頻寬較前一代提升1倍。

釋放效能:NVFP4加速大型語言模型訓練

NVIDIA於本輪取得卓越成果的關鍵,在於採用NVFP4精度進行運算,這也是MLPerf Training歷史上的首次創舉。

提升運算效能的其中一個方法,是打造能以較少位元表示資料並進行運算的架構,並以更快的速度執行這些計算。然而,精度降低意味著每次計算可用的資訊量減少,因此在訓練過程中使用低精度計算需要謹慎設計決策,以確保結果的準確性。

NVIDIA 團隊在每一層技術堆疊都進行了創新,以將FP4精度應用於大型語言模型訓練。NVIDIA Blackwell GPU可執行FP4計算,包括NVIDIA設計的NVFP4格式及其他FP4變體,計算速度是FP8的兩倍。Blackwell Ultra更將此效能提升至3倍,使GPU得以提供更強大的AI運算效能。

NVIDIA 是迄今為止唯一一個在滿足基準測試嚴格精度要求的同時,使用 FP4 精度進行計算並提交 MLPerf 訓練結果的平台。

NVIDIA Blackwell突破擴展效能

NVIDIA憑藉逾5,000顆Blackwell GPU的高效協同運作,在Llama 3.1 405B測試中創下了僅需10分鐘訓練時間的全新紀錄。這項成績較上一輪基於Blackwell的最佳成績高出2.7倍,歸功於GPU數量增加至原先2倍以上的高效擴展,以及採用NVFP4精度大幅提升每顆Blackwell GPU的有效效能。

為說明每顆GPU的效能提升幅度,NVIDIA本輪提交採用2,560顆Blackwell GPU的測試結果,訓練耗時縮短至18.79分鐘,較上一輪採用2,496顆GPU的提交方案快上45%。

全新基準測試,全新效能紀錄

NVIDIA在本輪新增的兩項基準測試中同樣創下效能紀錄,包括Llama 3.1 8B與FLUX.1。

Llama 3.1 8B 是一款精巧卻功能強大的大型語言模型,取代了長期運行的BERT-large模型,為基準測試套件增添更現代化、更小的大型語言模型。NVIDIA使用多達512顆Blackwell Ultra GPU提交了測試結果,創下僅需 5.2分鐘即可完成訓練的紀錄。

此外,FLUX.1是一款先進的圖像生成模型,取代了Stable Diffusion v2,且只有NVIDIA平台提交了該基準測試的結果。NVIDIA使用1,152個Blackwell GPU提交的測試結果,創下將訓練時間縮短至12.5分鐘的新紀錄。

NVIDIA 持續保持現有圖像神經網路、目標偵測和推薦系統測試的紀錄。

廣泛且深度的夥伴生態系

NVIDIA生態系在本輪測試中展現積極參與度,共計15個機構提交了令人矚目的成果,其中包括華碩、戴爾科技集團、技鋼科技、HPE、Krai、Lambda、聯想集團、Nebius、雲達科技、Supermicro、佛羅里達大學、Verda(原DataCrunch)和緯穎。

NVIDIA以一年為週期持續創新,在預訓練、後訓練及推論階段推動顯著且快速的效能提升,為邁向全新層級的智慧鋪路,加速AI普及化。

如欲了解更多NVIDIA的效能資料,請參閱NVIDIA資料中心深度學習產品效能中心和Performance Explorer頁面。

→更多的【PCDIY!業界新聞】: 請見

→更多的【PCDIY!賣場情報】: 請見

→更多的【PCDIY!科技情報】: 請見

→更多的【IT資訊新聞】: 請見

→更多的【ITMan!資訊經理人】: 請見

→更多的【PCDIY!八卦】: 請見

延伸閱讀

(01)光華商場的新危機,淘寶網帶來的跨境電商價格戰![http://www.pcdiy.com.tw/detail/5232]
(02)48顆壞25顆》威騰WD RE 3TB硬碟驚爆鬧機瘟,WD3000FYYZ死機地雷硬碟故障率高到嚇人!
(03)高雄建國電腦商圈爆倒店潮,引爆網友熱議!
(04)Seagate硬碟廣告:我也不想當死雞隊友啊,引爆玩家熱議!
(05)PTT寫手門事件:電蝦板主發表不自殺聲明,引爆網友熱議!
(06)記憶體插上16GB有多爽,引爆網友熱議!
(07)英特爾Intel 10GbE網路卡X540T2,淘寶網水貨價格殺很大!
(08)SSD爆發連環關門潮,憶正Memoright驚傳財務危機疑似倒閉!
(09)幫組電腦到自己貼錢的經驗,引爆網友熱議!
(10)教授認證防毒軟體「360安全衛士」,引爆網友熱議!
(11)DDR4記憶體金手指歪掉惹,引爆網友熱議!
(12)原價屋的商業模式,引爆網友熱議!
(13)Intel CPU神保固,舊換新大升級引爆網友狂推聯強貨!
(14)日本寬頻網路10G光纖上網,引爆網友熱議!
(15)Windows XP再戰十年,引爆網友熱議!
(16)光華商場的下一步,全世界都在看!
(17)東芝TOSHIBA Harrier MG03ACA300 3TB企業級硬碟,中國水貨價格殺很大!
(18)洋垃圾神器,Xeon E5-2670實測開箱大作戰!
(19)硬碟故障資料救援,等了一年八個月...
(20)新一代玩家聖物,6700元買16核心32執行緒Xeon E5-2675 v3處理器!
(21)淘寶網洋垃圾再顯神威,1999元買到8核心16執行緒Xeon E5-2670神器級處理器!
(22)洋垃圾戰神,5999元買14核心28執行緒Xeon E5-2683v3神器級處理器!
(23)硬碟用SSD有多爽,引爆網友熱議!
(24)磁碟陣列要選RAID 5還是RAID 6 引爆網友熱議!
(25)電腦CPU沒三萬沒法玩這遊戲,引爆網友熱議!
(26)為什麼有人要推AMD CPU菜單,引爆網友熱議!
(27)200TB資料怎麼儲存,引爆網友熱議!
(28)硬碟故障資料救援報價3萬8 引爆網友熱議!
(29)NVIDIA顯示卡的品牌怎麼挑選 引爆網友熱議!
(30)高科技竹筷,對付笨重顯示卡的神兵利器!
(31)電腦機殼價格破萬 引爆網友熱議!
(32)be quiet!電源供應器爆假貨,引爆了鍵盤大戰!












































發表您的看法

請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。

請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。

請勿侵犯個人隱私權,將他人資料公開張貼在留言版內。

請勿重複留言(包括跨版重複留言)或發表與各文章主題無關的文章。

請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。

您在留言版發表的內容需自負言論之法律責任,所有言論不代表PCDIY!雜誌立場,違反上述規定之留言,PCDIY!雜誌有權逕行刪除您的留言。

最近新增