Hot Chips 大會的熱門話題：各種規模的推論、網路與 AI 創新，全都建構於 NVIDIA 技術之上在美國加州帕羅奧圖舉行的 Hot Chips 大會上，NVIDIA 專家將深入解析 NVIDIA NVLink 與 Spectrum-X 乙太網路技術，以及 Blackwell 與 CUDA 如何加速全球數百萬 AI 工作流程的推論

焦點

ITMan!資訊新聞 PCDIY!業界新聞

Hot Chips 大會的熱門話題：各種規模的推論、網路與 AI 創新，全都建構於 NVIDIA 技術之上在美國加州帕羅奧圖舉行的 Hot Chips 大會上，NVIDIA 專家將深入解析 NVIDIA NVLink 與 Spectrum-X 乙太網路技術，以及 Blackwell 與 CUDA 如何加速全球數百萬 AI 工作流程的推論

文．圖／張國華 2025-08-26 13:30:03

人工智慧（AI）推理、推論及網路技術將是 Hot Chips 大會的焦點議題。

8 月 24 至 26 日在史丹佛大學舉辦的 Hot Chips 大會，是產業與學術界處理器與系統架構人員的重要論壇活動，展示推動 AI 工廠發展及驅動上兆美元等級資料中心運算市場的最新創新技術。

在這場盛會上，NVIDIA 與 Google、微軟等產業領袖一同參與 8 月 24 日舉行的「教學（tutorial）」活動，探討資料中心的機架級架構設計。

此外，NVIDIA 專家團隊還將在四場演講及一場教學活動詳細說明：

● 包括 NVIDIA ConnectX-8 SuperNIC 在內的 NVIDIA 網路技術，如何在機架與資料中心規模下實現 AI 推理（由 NVIDIA 網路介面卡與系統單晶片首席架構師 Idan Burstein 主講）。
● 由包括 NVIDIA GeForce RTX 5090 GPU 在內的 NVIDIA Blackwell 架構所帶動的神經渲染技術進步與推理效能大幅躍進，將繪圖與模擬能力提升到全新高度（由 NVIDIA 架構資深總監 Marc Blackstein 主講）。
● 整合矽光子技術的共同封裝光學（CPO）交換器以光纖取代傳統銅線，資料傳輸的速度更快、能源消耗也更少，可實現建置高效率、高效能、千兆瓦規模的 AI 工廠。本場演講也將介紹 NVIDIA Spectrum-XGS 乙太網路技術，這是一項全新的跨域擴展技術，可將分散式資料中心統一為 AI 超級工廠（由 NVIDIA 網路部門資深副總裁 Gilad Shainer 主講）。
● NVIDIA GB10 超級晶片是 NVIDIA DGX Spark 桌上型超級電腦的引擎（由 NVIDIA 資深傑出工程師 Andi Skende 主講）。

這一切都體現了 NVIDIA 的最新技術如何加速推論，從而推動無所不在、涵蓋各種規模的 AI 創新。

NVIDIA 網路技術推動大規模 AI 創新

AI 推理，也就是 AI 系統透過多重 AI 推理流程分析並解決複雜問題，需要機架等級的運算效能，才能高效率地提供最佳的使用者體驗。

在支援當前 AI 工作負載的資料中心中，網路扮演著中樞神經系統的角色，將伺服器、儲存裝置與其他硬體等所有元件，串連成為一個完整、緊密結合又強大的運算單元。

Burstein 在 Hot Chips 大會的演講活動將深入探討 NVIDIA 的網路技術，特別是 NVIDIA ConnectX-8 SuperNIC，如何實現高速、低延遲的多 GPU 通訊，以提供領先業界的大規模 AI 推理效能。

作為 NVIDIA 網路平台的一部分，NVIDIA NVLink、NVLink Switch 與 NVLink Fusion 提供垂直擴展的連結能力，連接伺服器內部及伺服器間的 GPU 與運算元件，實現超低延遲與高頻寬的資料交換。

NVIDIA Spectrum-X 乙太網路則提供水平擴展的架構，能將整個叢集連結起來，快速將大量資料集串流至 AI 模型，並在資料中心內協調 GPU 與 GPU 之間的通訊。Spectrum-XGS 乙太網路的跨域擴展技術，更進一步擴展了 Spectrum-X 的極致效能與規模，將多個分散式資料中心進行互連，從而打造出具備千兆級智慧能力的 AI 超級工廠。

作為 Spectrum-X 乙太網路的核心，CPO 交換器突破大規模 AI 基礎設施的效能與效率極限，Shainer 將在演講中針對這項技術詳細介紹。

NVIDIA GB200 NVL72 是採用單一機架的百萬兆級（exascale）電腦，配備 36 個 NVIDIA GB200 超級晶片，每個晶片整合兩個 NVIDIA B200 GPU 與一個 NVIDIA Grace CPU，這些運算單元透過有史以來最大的 NVLink 網域彼此互連，並由 NVLink Switch 為 AI 與高效能運算工作負載提供每秒 130 TB 的低延遲 GPU 通訊。

基於 NVIDIA Blackwell 架構打造的 GB200 NVL72 系統，在推理與推論效能方面實現大幅躍進。

NVIDIA Blackwell 與 CUDA 將 AI 帶給數百萬開發者

Blackstein 將在演講中深入介紹同樣採用 Blackwell 架構的 NVIDIA GeForce RTX 5090 GPU，透過 NVIDIA DLSS 4 技術，使當今遊戲的效能翻倍。

NVIDIA DLSS 4 技術還能為遊戲加入神經渲染功能，從而將效能提升高達 10 倍、追跡效果放大 10 倍及設計週期縮短 10 倍，進一步強化電腦圖形與模擬的真實感。這不僅能以更低能耗提供流暢而靈敏的視覺體驗，角色與特效的逼真程度也可大幅提升。

NVIDIA CUDA 是全球應用最普及的運算基礎架構，讓使用者能夠在任何地方使用 NVIDIA Blackwell 部署並運行 AI 模型。

全球已有數億的 GPU 運行 CUDA，從 NVIDIA GB200 NVL72 機架規模系統，一直到搭載 GeForce RTX 及 NVIDIA RTX PRO 的個人電腦與工作站，而在 Skende 的演講中討論、NVIDIA GB10 驅動的 NVIDIA DGX Spark 也即將推出。

從演算法到 AI 超級電腦，為大型語言模型最佳化而生

DGX Spark 以精巧的外型，提供強大的效能與功能，讓開發人員、研究人員、資料科學家與學生能在桌面端突破生成式 AI的極限，並且加速推動各產業處理工作負載。

作為 NVIDIA Blackwell 平台的一部分，DGX Spark 支援 NVFP4，NVFP4 是一種低精度數值格式，可實現高效的代理型 AI 推論，特別是大型語言模型（LLM）。如欲了解更多關於 NVFP4 的資訊，請參閱 NVIDIA 技術部落格。

開源協作推動推論創新

NVIDIA 加速了多項開源函式庫與框架，以加速並最佳化大型語言模型與分散式推論的 AI 工作負載。這些函式庫與框架包括 NVIDIA TensorRT-LLM、NVIDIA Dynamo、TileIR、Cutlass、NVIDIA Collective Communication Library 及 NIX，目前已整合至數百萬個工作流程中。

為了讓開發者能以自行選擇的框架進行建置，NVIDIA 與頂尖的開源框架供應商合作，為 FlashInfer、PyTorch、SGLang、vLLM 等提供模型最佳化。

此外，NVIDIA NIM 微服務也已支援 OpenAI 的 gpt-oss、Llama 4 等多個熱門的開源模型，讓開發者能輕鬆操作託管型 API，並在其首選的基礎架構上享有自我託管模型的靈活性與安全性。

歡迎參加 NVIDIA 在 Hot Chips 大會的各項活動，以了解更多關於推論與加速運算領域的最新進展。
→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點