全堆疊結構式SuperCluster超級運算叢集包含氣冷、液冷訓練與雲端級推論機櫃配置，並搭載最新型NVIDIA Tensor Core GPU、網路技術與NVIDIA AI Enterprise軟體


美國聖荷西訊】Supermicro, Inc.（納斯達克股票代碼：SMCI）為AI、雲端、儲存和 5G/邊緣領域的全方位 IT 解決方案製造商，宣布推出其最新產品組合，加速生成式AI部署。Supermicro SuperCluster解決方案能為現今及未來大型語言模型（Large Language Model，LLM）硬體基礎設施提供核心建構組件。

Supermicro三款強大的SuperCluster解決方案現已上市並可被用於生成式AI工作運行。這些解決方案內的4U液冷系統或8U氣冷系統是專為強大LLM訓練性能以及高度批次大小且大量的LLM推論所設計。配備了1U氣冷Supermicro NVIDIA MGXTM系統的第三款SuperCluster超級叢集則針對雲端級推論進行了最佳化。

Supermicro總裁暨執行長梁見後表示：「在AI時代，運算力單位是以叢集來衡量，不再只用伺服器數量作為依據。我們的全球製造產能已擴大到每月5,000台機櫃，能比以往更快地為客戶提供完整生成式AI運算叢集。只需透過我們採用400Gb/s NVIDIA Quantum-2 InfiniBand和Spectrum-X Ethernet網路技術的數個可擴充型叢集建構組件，一個64節點的運算叢集能支援具有72TB HBM3e的512個NVIDIA HGX H200 GPU。結合了NVIDIA AI Enterprise軟體的Supermicro SuperCluster解決方案非常適合用於針對現今企業與雲端基礎架構的LLM訓練，且最高可達兆級參數。互連的GPU、CPU、記憶體、儲存、以及網路硬體在被部署至機櫃內的多個節點後形成現今AI技術的基礎。Supermicro的SuperCluster解決方案為快速發展的生成式AI與LLM提供了核心建構組件。」

如需Supermicro AI SuperCluster的詳細資訊

請造訪：www.supermicro.com/ai-supercluster
NVIDIA GPU產品部門副總裁Kaustubh Sanghani則表示：「NVIDIA最新型GPU、CPU、網路與軟體技術助力能讓系統製造者為全球市場內不同類型的下一代AI工作運行實現加速。透過結合基於Blackwell架構產品的NVIDIA加速運算平台，Supermicro能提供客戶所需要的前沿伺服器系統，且這些系統可容易地被部署至資料中心。」

Supermicro 4U NVIDIA HGX H100/H200 8-GPU系統透過液冷技術使8U氣冷系統運算密度加倍，同時降低能耗量與總體擁有成本（TCO）。這些系統旨在為了支援下一代NVIDIA的Blackwell架構GPU。Supermicro冷卻分配單元（Cooling Distribution Unit，CDU）與冷卻分配分流管（Cooling Distribution Manifold，CDM）是主要冷卻液流動脈絡，可將冷卻液輸送至Supermicro定製的直達晶片（Direct-to-Chip，D2C）冷板，使GPU和CPU處於最佳運行溫度，進而實現效能最大化。此散熱技術可使一整座資料中心電力成本降低最多40%，同時節省資料中心占地空間。深入了解Supermicro液冷技術：

https://www.supermicro.com/zh-tw/solutions/liquid-cooling

搭載NVIDIA HGX H100/H200 8-GPU的系統非常適合用於訓練生成式Al。透過NVIDIA® NVLink®技術高速互連的GPU，以及高GPU記憶體頻寬與容量，將成為符合成本效益地運行LLM的核心關鍵。Supermicro的SuperCluster具備龐大GPU共用資源，能作為一個AI超級電腦進行運算作業。

無論是導入一個最初就以數兆級詞元（token）資料集進行完整訓練的大型基礎模型，或開發一個雲端級LLM推論基礎架構，具有無阻式400Gb/s網路結構的主幹枝葉式架構（Spine and Leaf Network Topology）都能從32個運算節點順暢地擴展至數千個節點。針對完全整合的液冷系統，Supermicro在產品出廠前會藉由經認證的測試流程徹底驗證與確保系統運行成效與效率。

採用了NVIDIA GH200 Grace Hopper Superchip的Supermicro NVIDIA MGX™系統設計將能打造出未來AI運算叢集的架構樣式以解決生成式AI的關鍵瓶頸：運行高推論批次大小的LLM所需的GPU記憶體頻寬及容量，進而降低營運成本。具256節點的運算叢集能實現雲端級大量推論算力引擎，並易於部署與擴充。

配置4U液冷系統的5組機櫃或8U氣冷系統的9組機櫃型SuperCluster

• 單一可擴充單元含256個NVIDIA H100/H200 Tensor Core GPU
• 液冷技術能支援512個GPU、64個節點，而其體積空間等同於搭載256個 GPU的氣冷式32節點解決方案
• 單一可擴充單元含具有20TB HBM3的NVIDIA H100或具有36TB HBM3e的NVIDIA H200
• 一對一網路傳輸結構可為每個GPU提供最高400 Gbps頻寬，並支援 GPUDirect RDMA與GPUDirect Storage技術，實現最高兆級參數的LLM訓練
• 400G InfiniBand或400GbE Ethernet網路交換器結構採用高度可擴充型主幹枝葉式網路架構技術，包括NVIDIA Quantum-2 InfiniBand和NVIDIA Spectrum-X Ethernet網路平台
• 可客製化AI資料管道儲存結構具有領先業界的平行檔案系統選項技術
• 搭載NVIDIA AI Enterprise 5.0軟體，能支援可加速大規模AI 模型部署的新型NVIDIA NIM推論微服務

配置1U氣冷NVIDIA MGX系統的9組機櫃型SuperCluster

• 單一可擴充單元含256個GH200 Grace Hopper Superchips
• 最高可達144GB HBM3e加480GB LPDDR5X的統一記憶體，適用於雲端級、大量、低延遲和高批次推論，並能在單一運算節點中容納超過700億個參數規模的模型
• 400G InfiniBand或400GbE Ethernet網路交換器結構採用了高度可擴充型主幹枝葉式網路架構技術
• 每節點最多含8個內建E1.S NVMe儲存裝置
• 可客製化AI資料管道儲存結構搭配NVIDIA BlueField®-3 DPU與領先業界的平行檔案系統選項，能為每個GPU提供高傳輸量、低延遲的儲存裝置存取
• NVIDIA AI Enterprise 5.0軟體

透過GPU間可實現的頂級互連效能，Supermicro的SuperCluster解決方案針對LLM訓練、深度學習，以及大量且高批次推論進行了最佳化。Supermicro的L11和L12驗證測試結合了現場部署服務，可為客戶提供更順暢體驗。客戶收到隨插即用的可擴充單元後能實現資料中心內的輕鬆部署，並可更快獲取成果。

→更多的【PCDIY!業界新聞】： 請見

→更多的【PCDIY!賣場情報】： 請見

→更多的【PCDIY!科技情報】： 請見

→更多的【IT資訊新聞】： 請見

→更多的【ITMan!資訊經理人】： 請見

→更多的【PCDIY!八卦】： 請見

延伸閱讀

(01)光華商場的新危機，淘寶網帶來的跨境電商價格戰！
(02)48顆壞25顆》威騰WD RE 3TB硬碟驚爆鬧機瘟，WD3000FYYZ死機地雷硬碟故障率高到嚇人！
(03)高雄建國電腦商圈爆倒店潮，引爆網友熱議！
(04)Seagate硬碟廣告：我也不想當死雞隊友啊，引爆玩家熱議！
(05)PTT寫手門事件：電蝦板主發表不自殺聲明，引爆網友熱議！
(06)記憶體插上16GB有多爽，引爆網友熱議！
(07)英特爾Intel 10GbE網路卡X540T2，淘寶網水貨價格殺很大！
(08)SSD爆發連環關門潮，憶正Memoright驚傳財務危機疑似倒閉！
(09)幫組電腦到自己貼錢的經驗，引爆網友熱議！
(10)教授認證防毒軟體「360安全衛士」，引爆網友熱議！
(11)DDR4記憶體金手指歪掉惹，引爆網友熱議！
(12)原價屋的商業模式，引爆網友熱議！
(13)Intel CPU神保固，舊換新大升級引爆網友狂推聯強貨！
(14)日本寬頻網路10G光纖上網，引爆網友熱議！
(15)Windows XP再戰十年，引爆網友熱議！
(16)光華商場的下一步，全世界都在看！
(17)東芝TOSHIBA Harrier MG03ACA300 3TB企業級硬碟，中國水貨價格殺很大！
(18)洋垃圾神器，Xeon E5-2670實測開箱大作戰！
(19)硬碟故障資料救援，等了一年八個月...
(20)新一代玩家聖物，6700元買16核心32執行緒Xeon E5-2675 v3處理器！
(21)淘寶網洋垃圾再顯神威，1999元買到8核心16執行緒Xeon E5-2670神器級處理器！
(22)洋垃圾戰神，5999元買14核心28執行緒Xeon E5-2683v3神器級處理器！
(23)硬碟用SSD有多爽，引爆網友熱議！
(24)磁碟陣列要選RAID 5還是RAID 6 引爆網友熱議！
(25)電腦CPU沒三萬沒法玩這遊戲，引爆網友熱議！
(26)為什麼有人要推AMD CPU菜單，引爆網友熱議！
(27)200TB資料怎麼儲存，引爆網友熱議！
(28)硬碟故障資料救援報價3萬8 引爆網友熱議！
(29)NVIDIA顯示卡的品牌怎麼挑選 引爆網友熱議！
(30)高科技竹筷，對付笨重顯示卡的神兵利器！
(31)電腦機殼價格破萬 引爆網友熱議！
(32)be quiet!電源供應器爆假貨，引爆了鍵盤大戰！