NVIDIA Blackwell在 MLPerf Inference 的基準測試活動中首次亮相，為生成式 AI 樹立全新標準

ITMan!資訊新聞 ITMan!資訊經理人 PCDIY!業界新聞

NVIDIA Blackwell在 MLPerf Inference 的基準測試活動中首次亮相，為生成式 AI 樹立全新標準

文．圖／張國華 2024-08-29 12:25:06

在企業爭相採用生成式人工智慧（AI）與陸續推出各項新服務的情況下，對資料中心基礎設施的需求也創下新高。訓練大型語言模型（LLM）是個難題，不過即時提供由 LLM 支援的服務同樣不易。

在最新一輪的MLPerf 產業基準：Inference v4.1中，NVIDIA 平台在各項資料中心測試項目裡皆寫下領先成績。即將推出的 NVIDIA Blackwell 平台由於使用第二代 Transformer引擎與 FP4 Tensor 核心，在處理 MLPerf 最大的 LLM 工作量 Llama 2 70B 之際，首次測試的結果顯示其效能較 NVIDIA H100 Tensor Core GPU架構高出四倍之多。

NVIDIA H200 Tensor 核心 GPU 在資料中心類別的各項測試裡均有著出色表現，包括基準中最新加入有著467億個參數、每個token有129億個活躍參數的 Mixtral 8x7B 混合專家（MoE）LLM。

MoE模型能夠在單一部署中回答各式各樣的問題與執行更多不同的任務，讓使用者有更多種部署 LLM 的方式而大受歡迎。MoE的效率也更高，因其每次進行推論作業只要啟動幾個專家，代表提供結果的速度比類似大小的密集模型要快上不少。

LLM持續成長，讓使用者需要有更多運算能力來處理推論請求。多 GPU 運算的能力已成為必須，以滿足當前運行 LLM 的即時延遲需求，還有盡量讓最多的使用者享受這項服務。NVIDIA NVLink 和 NVSwitch 可在基於 NVIDIA Hopper 架構的 GPU 之間以高頻寬溝通，並為當今即時、具成本效益的大型模型推論作業帶來顯著優勢。而 Blackwell 平台加上有著 72 個 GPU 更大規模的 NVLink 網域，將進一步擴展 NVLink Switch 的功能。

除了 NVIDIA 有提出測試資料，華碩、思科、戴爾科技、富士通、技鋼科技、慧與科技、瞻博網路、聯想、雲達科技和美超微等十家 NVIDIA 的合作夥伴，同樣都有提出可靠的 MLPerf Inference 測試資料，突顯出 NVIDIA 平台廣泛的可供性。

堅持不懈進行軟體創新

NVIDIA 平台持續開發軟體，每個月都在效能與功能上有所改進。

在最新一輪的推論測試裡，包括 NVIDIA Hopper 架構、NVIDIA Jetson平台與 NVIDIA Triton 推論伺服器在內的 NVIDIA 產品，在效能方面均大幅提升。

與上一輪的成績相比，NVIDIA H200 GPU在處理生成式 AI 推論時的效能提高了 27%，突顯出客戶在投資 NVIDIA 平台方面所帶來的長期附加價值。

隸屬於 NVIDIA AI 平台的 Triton 推論伺服器可搭配 NVIDIA AI Enterprise 軟體使用，是一款功能齊全的開源推論伺服器，可協助組織將特定框架的推論伺服器整合至功能一個統一的的平台上。此舉有助於降低在生產環境裡運行 AI 模型的總持有成本，且將部署模型的時間從幾個月縮短到幾分鐘。

在這一輪 MLPerf 測試中，Triton推論伺服器的效能達到幾乎等同於 NVIDIA 裸機的測試結果，顯示企業無需再於使用功能豐富的生產級 AI 推論伺服器，與達到高峰吞吐量效能之間做出選擇。

走向邊緣
當生成式AI模型部署在邊緣時可以將影像和視訊等感測器資料，轉換成具有強大情境意識的、即時和可執行的見解內容。用於邊緣AI和機器人的NVIDIA Jetson平台具有獨特的能力，可以運行任何類型的本地端模型，包括LLM、視覺Transformer模型及Stable Diffusion。

在這一輪 MLPerf 基準測試中，NVIDIA Jetson AGX Orin 系統模組在處理 GPT-J LLM 工作負載方面，表現較上一輪測試的傳輸量提高 6.2 倍，延遲表現則改善 2.4 倍。這個擁有 60 億個參數的模型能夠協助改造邊緣的生成式 AI。使用者現在可以藉由這個通用模型，在邊緣與人類語言流暢進行互動，無需針對特定用例進行開發。

效能全面領先

這一輪 MLPerf Inference 測試結果顯示 NVIDIA 平台從資料中心到邊緣，都展示出其多元用途特色及領先的效能表現，在所有基準工作負載上驅動各種最創新的 AI 應用與服務。歡迎閱讀技術部落格，了解這次測試結果的細節。

搭載 H200 GPU的系統即日起由第一家宣布正式推出的雲端服務供應商 CoreWeave，以及華碩、戴爾、慧與科技、雲達科技和美超微等伺服器製造商提供。

請參閱相關軟體產品資訊的通知。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

NVIDIA Blackwell在 MLPerf Inference 的基準測試活動中首次亮相，為生成式 AI 樹立全新標準

堅持不懈進行軟體創新

效能全面領先

延伸閱讀

最近新增

最多人點閱