擴展到新高度：NVIDIA MLPerf 訓練結果展示了前所未有的效能和彈性 NVIDIA 在最新的 MLPerf 訓練基準測試中達到了無與倫比的效能和近 100% 的擴充效率

ITMan!資訊新聞 PCDIY!業界新聞 AI PC 人工智慧神兵利器

擴展到新高度：NVIDIA MLPerf 訓練結果展示了前所未有的效能和彈性 NVIDIA 在最新的 MLPerf 訓練基準測試中達到了無與倫比的效能和近 100% 的擴充效率

文．圖／陳一飛 2024-06-13 10:58:18

全端NVIDIA加速運算平台在最新的MLPerf Training v4.0基準測試中再次展現出卓越的效能。

與去年 NVIDIA 提交創新紀錄的數據相比，NVIDIA 在基於 GPT-3 175B 的大型語言模型（LLM）基準測試中的表現，提升了三倍以上。 NVIDIA 使用配備11,616 個NVIDIA H100 Tensor Core GPU 並與NVIDIA Quantum-2 InfiniBand 網路連接的人工智慧（AI）超級電腦，透過更大規模（比一年前提交的3,584 個H100 GPU 增加三倍多）和廣泛的全端工程實現了這項非凡壯舉。

由於 NVIDIA AI 平台的可擴展性，Eos 現在可以更快地訓練 GPT-3 175B 等大規模 AI 模型，這種出色的 AI 效能可以轉化為巨大的商機。例如，在NVIDIA最近的財報電話會議中，我們描述了大型語言模型服務供應商如何在 NVIDIA HGX H200 伺服器上運行 Llama 3 70B 模型，在短短四年內將一美元投資轉化為七美元。這個投資回報是假設一家大型語言服務供應商使用吞吐量為每秒 24,000詞元的HGX H200伺服器，以每百萬詞元0.6美元的價格提供 Llama 3 70B 服務。

NVIDIA H200 GPU 增強生成式 AI 和 HPC

NVIDIA H200 Tensor GPU 基於 Hopper 架構的優勢而構建，擁有 141GB HBM3 記憶體，與 H100 GPU 相比，記憶體頻寬增加了 40% 以上。 NVIDIA H200 Tensor Core GPU 突破了 AI 訓練的極限，在其首次亮相的 MLPerf Training 中延伸 H100 的效能並提高了 47%。
軟體帶來無與倫比的效能提升

此外，由於對 NVIDIA 軟體堆疊進行了大量最佳化，我們使用 512 個H100 GPU 的配置所提交的結果現在比一年前快了 27%。這項改進凸顯了即使使用相同的硬體，持續的軟體增強也可以顯著提高效能。

這項工作也實現了近乎完美的擴充。隨著 GPU 數量從去年的 3,584 個 H100 GPU 增加到此次提交的 11,616 個 H100 GPU，增加 3.2 倍，提交的效能也隨之等比增加。

歡迎至NVIDIA 技術部落格上了解這些最佳化的相關資訊。

在大型語言模型（LLM）微調方面的卓越表現

隨著企業尋求客製化預訓練的大型語言模型，大型語言模型微調正在成為產業關鍵的工作負載。本輪MLPerf引入基於應用於 Meta Llama 2 70B 的熱門低秩適應（LoRA）技術的全新大型語言模型微調基準。

NVIDIA 平台在這項任務中表現出色，從 8 個GPU擴展到 1,024 個GPU，NVIDIA提交了在最大規模的運算結果創紀錄的 1.5 分鐘內完成了基準測試
加速Stable Diffusion和 GNN 訓練

NVIDIA 也在上一輪提交的相同系統規模下將 Stable Diffusion v2 訓練效能提高了 80%。這些進步反映了 NVIDIA 軟體堆疊的諸多強化，展示了軟體和硬體改進如何並進以提供頂級效能。

在基於 R-GAT 的新圖神經網路（GNN）測試中，配備 H100 GPU 的 NVIDIA 平台在小規模和大規模方面均表現出色。與 H100 相比，H200 在單節點 GNN 訓練方面提升了 47%。這展示了 NVIDIA GPU 的強大效能和高效率，使其成為各種 AI 應用的理想選擇。

廣泛的生態系支持

10家NVIDIA合作夥伴提交了結果，反映了NVIDIA AI生態系的廣度，包括華碩、戴爾科技集團、富士通、技嘉科技、慧與企業、聯想、甲骨文、雲達科技、美超微和Sustainable Metal Cloud。此廣泛的參與以及各夥伴傑出的基準測試結果，突顯了 NVIDIA AI 平台在整個產業的廣泛採用和信任。

MLCommons持續致力於將基準測試最佳實踐引入AI運算至關重要。透過對 AI 和 HPC 平台進行同儕審查比較，並跟上 AI 運算的快速變化，MLCommons 為世界各地的公司提供了有助於引導重要採購決策的關鍵數據。

隨著 NVIDIA Blackwell平台推出，用於訓練和推論的兆參數生成式 AI 模型的新一等級AI 效能即將實現。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多ITMan!資訊經理人

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

ITMan!資訊經理人

擴展到新高度：NVIDIA MLPerf 訓練結果展示了前所未有的效能和彈性 NVIDIA 在最新的 MLPerf 訓練基準測試中達到了無與倫比的效能和近 100% 的擴充效率

NVIDIA H200 GPU 增強生成式 AI 和 HPC

在大型語言模型（LLM）微調方面的卓越表現

廣泛的生態系支持

延伸閱讀

最近新增

最多人點閱