NVIDIA Hopper 在MLPerf的生成式人工智慧領域取得飛躍性進展業界標準測試表明，基於NVIDIA Hopper的系統運行TensorRT-LLM軟體，為生成式AI提供了世界上最強大的平台

IT資訊新聞 ITMan!資訊經理人 PCDIY!業界新聞

NVIDIA Hopper 在MLPerf的生成式人工智慧領域取得飛躍性進展業界標準測試表明，基於NVIDIA Hopper的系統運行TensorRT-LLM軟體，為生成式AI提供了世界上最強大的平台

文．圖／張國華 2024-03-28 12:59:41

NVIDIA正式宣布在業界標準測試中提供了世界上最快的生成式人工智慧（AI）推論平台。
在最新的MLPerf基準測試中，NVIDIA TensorRT-LLM這個可加速和簡化大型語言模型的複雜推論工作的軟體將GPT-J LLM上的NVIDIA Hopper架構GPU效能較六個月前提高了近3 倍。
速度的大幅提升展示了NVIDIA的晶片、系統和軟體全端平台在滿足運行生成式AI嚴苛要求方面的強大能力。
諸多領先的公司正在使用TensorRT-LLM最佳化他們的模型。而NVIDIA NIM 是一套推論微服務，其中包含TensorRT-LLM等推論引擎，讓企業比以往能更輕鬆地部署NVIDIA推論平台。

提高生成式AI的標準

在NVIDIA H200 Tensor核心GPU（最新的記憶體增強型Hopper GPU）上運行的TensorRT-LLM，在MLPerf 迄今為止最大規模的生成式 AI 測試中提供了最快的運行推論效能。
新的基準測試使用Llama 2的最大版本，Llama 2是最先進的大型語言模型，包含 700 億個參數。該模型比 9 月基準測試中首次使用的GPT-J大型語言模型大 10 倍以上。
記憶體增強型H200 GPU在MLPerf首次亮相時，使用TensorRT-LLM每秒產生高達 31,000 個詞元，創下了MLPerf的Llama 2基準測試的紀錄。

H200 GPU的結果包括客製化散熱解決方案帶來的高達14%的增益。這是標準空氣冷卻以外的創新範例之一，系統製造商正在將其應用到NVIDIA MGX設計中，以將Hopper GPU的效能提升到新的高度。

NVIDIA Hopper GPU 的記憶體提升

NVIDIA現在已提供 H200 GPU供客戶測試，並將於第二季出貨。H200 GPU很快將由近 20 家領先的系統製造商和雲端服務供應商來提供。
H200 GPU包含141GB高頻寬記憶體HBM3e，運轉速度為4.8TB/s。與H100 GPU相比，記憶體增加了76%，運行速度提高了43%。這些加速器可插入與H100 GPU相同的主機板和系統，並使用相同的軟體。
借助 HBM3e 記憶體，單個H200 GPU能以最高吞吐量運行整個Llama 2 70B模型，從而簡化並加速推論。

GH200 配備更多的記憶體

NVIDIA GH200 超級晶片中配備更多記憶體，最高可達624GB高速記憶體，其中包含144GB的HBM3e記憶體，此超級晶片將Hopper 架構 GPU和節能的NVIDIA Grace CPU結合在一個模組上。NVIDIA 加速器是首批使用HBM3e記憶體技術的加速器。
憑藉將近5 TB/s的記憶體頻寬，GH200超級晶片在如推薦系統等記憶體密集型的 MLPerf 測試中提供了出色的效能。
橫掃每一個 MLPerf 測試
以每個加速器為基礎，Hopper GPU 在最新一輪MLPerf產業基準測試中，橫掃了所有AI推論測試。
這些基準測試涵蓋當今最受歡迎的AI工作負載和場景，包括生成式AI、推薦系統、自然語言處理、語音和電腦視覺。NVIDIA是唯一一家在最新一輪以及自 2020 年 10 月開始 MLPerf 資料中心推論基準測試以來，每一輪都提交所有工作負載結果的公司。

持續的效能提升意味著推論成本的降低，對於全球部署的數百萬個NVIDIA GPU來說，推論已成為日常工作中的一大部分，而且還在不斷增長。

推進一切可能

NVIDIA在基準測試中一個名為「開放組」的特別部分中展示了三種創新技術，這部分是為了測試先進的AI方法而創建。
NVIDIA 工程師使用了一種稱為結構化稀疏性（structured sparsity）的技術，使 Llama 2 的推論速度提高了 33%。結構化稀疏性是一種減少計算的方法，首次在 NVIDIA A100 Tensor核心GPU 中引入。
第二個開放組測試發現，使用剪枝技術（pruning）可以將推論速度提高高達40%，這是簡化AI模型（此例為大型語言模型）以增加推論吞吐量的一種方式。
最後，一種名為DeepCache的最佳化方法減少了對Stable Diffusion XL模型推論所需的數學運算，將效能提升了驚人的74%。
所有這些結果都是在NVIDIA H100 Tensor核心GPU 上運行的。

使用者值得信賴的來源

MLPerf的測試透明且客觀，因此使用者可以依靠結果做出明智的購買決定。
NVIDIA的合作夥伴參與 MLPerf 是因為他們知道這對客戶評估 AI 系統和服務來說是一個很有價值的工具。

本輪在NVIDIA AI平台上提交結果的合作夥伴包括華碩電腦、思科、戴爾科技集團、富士通、技嘉科技、Google、慧與科技、聯想、Microsoft Azure、甲骨文、雲達科技、美超微、VMware（最近由博通收購）和緯穎科技。
NVIDIA在本次測試中使用的所有軟體都可以從MLPerf資源庫中取得，NVIDIA不斷將軟體最佳化結果放入NVIDIA的GPU應用軟體中心NGC以及 NVIDIA AI Enterprise的容器中。NVIDIA AI Enterprise為一個安全、受支援的平台，其中包含 NIM 推論微服務。

下一件大事

生成式AI的用例、模型大小和資料集不斷擴大。這就是MLPerf不斷發展的原因，增加了 Llama 2 70B 和 Stable Diffusion XL等主流模型的真實測試。
為了跟上大型語言模型規模的爆炸性增長，NVIDIA創辦人暨執行長黃仁勳上週在GTC上宣布，NVIDIA Blackwell 架構 GPU將提供兆級參數 AI 模型所需的新效能水平。

大型語言模型的推論非常困難，需要專業知識和NVIDIA使用Hopper架構GPU和TensorRT-LLM在MLPerf上展示的全端架構。未來還會有更多。
了解有關 MLPerf 基準測試和本輪推論的技術細節。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點