採用NVIDIA Ampere架構的低功耗系統單晶片(SoC)NVIDIA Orin，首度參與MLPerf產業基準測試便刷新人工智慧(AI)推論的紀錄，將每個邊緣加速器的效能發揮到極致。

整體來說，在第五輪生產型AI的產業衡量指標中，NVIDIA與合作夥伴展現執行各項機器學習作業負載和場景的最高效能與最廣泛的商業生態系。

NVIDIA Orin預生產版本在六項邊緣AI領域的效能測試中，有五項領先其他競爭對手。其執行速度較前一代Jetson AGX Xavier提升五倍，而能源使用效率亦平均提升兩倍。

NVIDIA Orin現在可以透過用於機器人和自主系統的NVIDIA Jetson AGX Orin開發者套件中取得。超過六千家客戶包含Amazon Web Services (AWS)、John Deere、Komatsu、Medtronic與微軟(Microsoft) Azure，皆使用NVIDIA Jetson平台進行AI推論或其他作業。

其同時也是我們NVIDIA Hyperion自動駕駛汽車平台的重要角色之一。中國最大的電動車製造商比亞迪(BYD)是最新一家宣布將在其新一代自動駕駛電動車車隊中，採用基於Orin的DRIVE Hyperion架構之汽車製造商。

Orin也是NVIDIA Clara Holoscan醫療設備平台的關鍵角色之一，系統製造商與研究人員透過該平台開發新一代的AI醫療器材。

小模組，大堆疊

搭載包括Jetson AGX Orin在內的NVIDIA GPU的伺服器及裝置，是唯一能夠執行所有六項MLPerf基準測試項目的邊緣加速器。

Orin搭配JetPack SDK可執行完整的NVIDIA AI平台，其軟體堆疊已在資料中心與雲端環境中取得驗證，並且由百萬名使用NVIDIA Jetson平台的開發人員支持。



註：MLPerf v2.0推論關閉；每個加速器的效能來自個別提交的最佳MLPerf測試結果，使用資料中心離線和伺服器中提報的加速器數量。Qualcomm AI 100：2.0-130、Intel Xeon 8380來自MLPerf v.1.1提交結果：1.1-023和1.1-024、Intel Xeon 8380H 1.1-026、NVIDIA A30：2.0-090、NVIDIA A100 (Arm)：2.0-077、NVIDIA A100 (X86)：2.0-094。

NVIDIA與合作夥伴持續在最新一輪的MLPerf推論測試活動中，在所有測試和場景中展現領先的效能表現。

MLPerf基準測試獲亞馬遜(Amazon)、Arm、百度(Baidu)、戴爾科技(Dell Technologies)、Facebook、Google、哈佛大學(Harvard)、英特爾(Intel)、聯想(Lenovo)、微軟、史丹佛大學(Stanford)及多倫多大學(University of Toronto)等多個組織支持。

最多的合作夥伴及提交數量

NVIDIA AI平台再次吸引來自最廣泛的合作夥伴商業生態系支持，紛紛提交最多數量的MLPerf測試結果。

Azure繼去年12月首度參加MLPerf訓練測試並有出色的表現後，在這一輪的AI推論測試中，同樣取得優異的成績，其兩次皆使用NVIDIA A100 Tensor核心GPU。Azure的ND96amsr A100 v4執行個體在幾乎各項推論測試中，都與我們提交的八顆GPU最佳表現不相上下，展現公有雲隨時能提供服務的能力。

系統製造商華碩(ASUS)與H3C在本輪測試中首次參加MLPerf，並使用NVIDIA AI平台來提交結果。他們與回歸的系統製造商戴爾科技、富士通(Fujitsu)、技嘉(GIGABYTE)、Inspur、聯想、Nettrix和美超微(Supermicro)，共使用超過二十款NVIDIA認證系統提交測試結果。

MLPerf的重要性

我們的合作夥伴深知客戶在評估AI平台和廠商時，MLPerf是一項十分具代表性的工具，因此他們參與這項測試活動。

MLPerf的各項測試涵蓋當今最熱門的AI作業負載和場景，讓用戶相信這項基準測試能反映出執行各項作業時可預期的效能。

軟體使其大放異彩

我們用於測試的所有軟體皆能透過MLPerf資料庫取得。

用於最佳化AI模型的NVIDIA TensorRT，以及用於高效部署AI模型的NVIDIA Triton推論伺服器，是本次取得推論成績的兩大利器，可於我們的GPU最佳化軟體目錄NGC上免費下載。

世界各地的組織均採用Triton，包括亞馬遜及微軟在內的雲端服務供應商。

我們持續將各項最佳化內容放入NGC上可用的容器內，如此一來，每個使用者便能開始將AI投入生產，並享受頂尖的效能表現。