在人工智慧推論的產業標準測試中，NVIDIA H100 GPU 創下世界紀錄，A100 GPU 展現主流效能領先優勢，Jetson AGX Orin 則在邊緣運算領先群雄

NVIDIA H100 Tensor 核心 GPU 在 MLPerf 人工智慧 (AI) 基準測試初登場，便在各項推論作業負載創下世界紀錄，其效能較前一代 GPU 高出達 4.5 倍。

此測試結果顯示，對於先進 AI 模型有最高效能需求的用戶來說，Hopper 就是首選產品。

此外，NVIDIA A100 Tensor 核心 GPU 及用於開發 AI 機器人的 NVIDIA Jetson AGX Orin 模組在影像和語音辨識、自然語言處理和推薦系統等所有 MLPerf 測試項目中，整體推論表現持續領先群雄。

亦稱為 Hopper 的 H100，在本輪測試的六個神經網路中提高單一加速器的效能標準。它在獨立伺服器和離線的情況下，在傳輸量和速度皆展現領先優勢。





NVIDIA Hopper 架構的效能較 NVIDIA Ampere 架構的 GPU 高出 4.5 倍，在 MLPerf 測試結果中持續保持全面領先地位。

Hopper 在熱門的 BERT 自然語言處理模型上的出色表現，部分要歸功於它的 Transformer 引擎。BERT 自然語言處理模型是 MLPerf AI 模型中規模最大、對效能要求最高的模型之一。

這些推論基準測試是 H100 GPU 的首次公開展示，此產品將在今年底上市。H100 GPU 將參與 MLPerf 日後的訓練測試。

A100 GPU 展現業界領導地位

各大雲端服務供應商與系統製造商已採用的 NVIDIA A100 GPU，在最新的 AI 推論測試中依舊位居主流效能的領導地位。

在資料中心與邊緣運算的類別和情境中，A100 GPU 的成績比其他參與者提交的測試結果都更為突出。A100 在六月的 MLPerf 訓練基準測試中一馬當先，展現處理整個 AI 工作流程的出色能力。

A100 GPU 自 2020 年 7 月首次參與 MLPerf 基準測試以來，隨著 NVIDIA AI 軟體持續改善，效能已經提高 6 倍。

NVIDIA AI 是在資料中心與邊緣運算中，唯一能夠運行所有 MLPerf 推論作業負載和情境的平台。

用戶需要能處理多種作業的效能

NVIDIA GPU 能夠在各大 AI 模型上提供頂尖效能，讓用戶成為真正的贏家。他們在真實世界中的應用通常會用到多種神經網路。

例如，AI 應用程式可能要理解使用者的口語請求、對影像進行分類、提出建議，然後用聽起來像人的聲音做出回應。每一步都要用到不同類型的 AI 模型。

MLPerf 基準測試涵蓋這些 AI 模型及其它熱門的 AI 作業負載和情境，像是電腦視覺、自然語言處理、推薦系統、語音辨識等。這些測試確保用戶能獲得可靠且靈活的效能來進行部署。

MLPerf 基準測試具透明度且客觀，也因此用戶仰賴這些測試結果以做出明智的採購決策。亞馬遜 (Amazon)、Arm、百度 (Baidu)、Google、哈佛大學 (Harvard)、英特爾 (Intel)、Meta、微軟 (Microsoft)、史丹佛大學 (Stanford) 與多倫多大學 (University of Toronto) 等眾多業者與學術單位皆對 MLPerf 表達支持。

Orin 於邊緣運算領先同類產品

NVIDIA Orin 運行 MLPerf 邊緣運算類別的每一項基準測試，多項表現更勝於其他低功耗系統單晶片。相較於四月時首次參與 MLPerf 測試，這次的能源效率提高多達 50%。

在前一回合的測試中，Orin 的運行速度比上一代 Jetson AGX Xavier 模組快 5 倍，而能源效率平均高出 2 倍。


Orin 將 NVIDIA Ampere 架構 GPU 與強大的 Arm CPU 核心叢集整合到單一晶片內。已可在用於開發機器人和自主系統的 NVIDIA Jetson AGX Orin 開發套件及生產模組中取得，並支援完整的 NVIDIA AI 軟體堆疊，包括用於自動駕駛車 (NVIDIA Hyperion)、醫療設備 (Clara Holoscan) 與機器人 (Isaac) 的多個平台。