NVIDIA Blackwell Ultra 在全新 MLPerf Inference 基準測試中樹立新標竿 NVIDIA GB300 NVL72 機架規模系統在全新推理（reasoning）推論基準測試中，展現最高輸送量；同時 NVIDIA 平台持續保持著所有資料中心項目的「每 GPU 推論」紀錄。

焦點

ITMan!資訊新聞 PCDIY!業界新聞

NVIDIA Blackwell Ultra 在全新 MLPerf Inference 基準測試中樹立新標竿 NVIDIA GB300 NVL72 機架規模系統在全新推理（reasoning）推論基準測試中，展現最高輸送量；同時 NVIDIA 平台持續保持著所有資料中心項目的「每 GPU 推論」紀錄。

文．圖／陳信榮 2025-09-11 19:01:26

推論效能至關重要，因為它會直接影響人工智慧（AI）工廠的經濟效益。AI 工廠基礎設施的輸送量越高，就能以高速產生更多詞元（token），進而提高營收、降低總擁有成本（TCO），並提升整體系統的生產力。

採用 NVIDIA Blackwell Ultra 架構的 NVIDIA GB300 NVL72 機架規模系統，在 NVIDIA GTC 大會首度亮相至今不到半年後，已在 MLPerf Inference v5.1 的全新推理（reasoning）推論基準上創下紀錄，與採用 NVIDIA Blackwell 架構的 GB200 NVL72 系統相比，DeepSeek-R1 推論的輸送量最高可達 1.4 倍。

Blackwell Ultra 建立在 Blackwell 架構的成功之上。Blackwell Ultra 架構提供與 Blackwell 相比1.5 倍的 NVFP4 AI 運算與 2 倍的 attention-layer 加速，且每顆 GPU 可配備最高 288GB 的 HBM3e 記憶體。

NVIDIA 平台也在 MLPerf Inference v5.1 套件新增的所有資料中心基準上創下效能紀錄，包含 DeepSeek-R1、Llama 3.1 405B Interactive、Llama 3.1 8B 與 Whisper，同時持續維持每顆 GPU 在每項 MLPerf 資料中心基準中的紀錄。

全端整合

全端共同設計在交出這些最新基準成績時扮演重要角色。Blackwell 與 Blackwell Ultra 導入對 NVFP4 資料格式的硬體加速。NVFP4 是 NVIDIA 設計的 4 位元浮點格式，相較於其他 FP4 格式提供更佳準確度，也可達到與較高精度格式相當的準確度。

NVIDIA TensorRT Model Optimizer 軟體將 DeepSeek-R1、Llama 3.1 405B、Llama 2 70B 與 Llama 3.1 8B 量化為 NVFP4。搭配開源的 NVIDIA TensorRT-LLM 程式庫，這項最佳化使 Blackwell 與 Blackwell Ultra 在提交成績時能在滿足嚴格準確度要求的同時提供更高效能。

大型語言模型的推論由兩種執行特性截然不同的工作負載組成。這包括用於處理使用者輸入以產生第一個輸出詞元的情境（context），以及用於產生其後的所有輸出詞元的生成（generation）。

一種稱為「分離式服務（disaggregated serving）」的技術，會將情境與生成任務拆分，使每一部分都能獨立最佳化以達到最佳整體輸送量。這項技術是 Llama 3.1 405B Interactive 基準創下紀錄的關鍵之一。相較於在 NVIDIA DGX B200 伺服器上以傳統服務架構執行該基準時每顆 Blackwell GPU 的表現，GB200 NVL72 系統的每顆 GPU 效能提升將近 50%。

NVIDIA 也在本輪基準測試首度使用 NVIDIA Dynamo 推論框架提交成績。

NVIDIA 的合作夥伴，包括雲端服務供應商與伺服器製造商，提交了採用 NVIDIA Blackwell 與（或）Hopper 平台所展現的亮眼成績。這些夥伴包含 Azure、Broadcom、Cisco、CoreWeave、Dell Technologies、技鋼科技、HPE、Lambda、Lenovo、Nebius、Oracle、雲達科技、Supermicro 及 University of Florida。

在 NVIDIA AI 平台上領先市場的推論效能，現已由主要雲端服務供應商與伺服器製造商提供。這為部署進階 AI 應用的組織帶來更低的總擁有成本與更高的投資報酬。

若想進一步了解這些全端技術，請閱讀 NVIDIA 技術部落格關於 MLPerf Inference v5.1 的文章。也歡迎造訪 NVIDIA DGX Cloud Performance Explorer，以深入認識 NVIDIA 的效能與模型總擁有成本，並產生客製化報告。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

NVIDIA Blackwell Ultra 在全新 MLPerf Inference 基準測試中樹立新標竿 NVIDIA GB300 NVL72 機架規模系統在全新推理（reasoning）推論基準測試中，展現最高輸送量；同時 NVIDIA 平台持續保持著所有資料中心項目的「每 GPU 推論」紀錄。

全端整合

NVIDIA 也在本輪基準測試首度使用 NVIDIA Dynamo 推論框架提交成績。

延伸閱讀

最近新增

最多人點閱