英特爾展示強勁AI推論效能

英特爾展示強勁AI推論效能

文．圖／陳信榮 2023-09-14 11:26:25

MLCommons於美國時間9月11日針對60億個參數的大型語言GPT-J，以及電腦視覺和自然語言處理模型發表MLPerf Inference v3.1效能基準測試結果。英特爾提交Habana Gaudi2加速器、第4代Intel Xeon可擴充處理器和Intel Xeon CPU Max系列的測試結果。這些結果不僅顯示英特爾在AI推論方面可提供具競爭力的效能表現，更強化英特爾的承諾－在客戶端、邊緣、網路、雲端等一連串AI工作負載中，讓AI更容易大規模地落實應用。

「正如同近期MLCommons的結果，展示出英特爾擁有強勁、極具競爭力的AI產品組合，能夠滿足客戶對於高效能、高效率深度學習模型推論和訓練的需求，適合用在最小到最大的各種AI模型，並提供領先的性價比。」
－Sandra Rivera，英特爾執行副總裁暨資料中心和AI事業群總經理

在今年6月更新的MLCommons AI訓練和Hugging Face效能基準測試，驗證了Gaudi2在最先進視覺語言模型方面的效能優勢；而9月11日的結果近一步強化英特爾是滿足AI運算需求，能夠替代同類型競品的可行方案。

每位客戶均有獨特的考量，而英特爾提供可解決一連串AI工作負載推論與訓練難題的產品，將AI落實到每個角落。英特爾的AI產品讓客戶能夠根據各自的效能、效率和成本目標，在選擇最佳AI解決方案時擁有靈活性和選項，同時協助客戶打破封閉的生態系。

Habana Gaudi2結果：Habana Gaudi2的GPT-J推論效能結果，為其極具競爭力的效能提供有力的驗證。
● Gaudi2在GPT-J-99和GPT-J-99.9的伺服器查詢（query）和離線樣本推論效能，分別為每秒78.58個查詢和每秒84.08個樣本。
● Gaudi2的效能是NVIDIA A100的2.4倍（伺服器）和2倍（離線）。
● Gaudi2的提交結果使用FP8，在此新資料類型的準確度高達99.9％。

Gaudi2大約每6週至8週釋出一次軟體更新，英特爾預期在MLPerf基準測試中繼續提升效能並擴大模型覆蓋範圍。

Intel Xeon結果：英特爾提交第4代Intel Xeon可擴充處理器的結果，其中包含GPT-J在內的所有7項推論基準測試。這些結果展現出通用AI工作負載的優異效能，包含視覺、語言處理、語音和音訊翻譯模型，以及規模更大的DLRM v2推薦和ChatGPT-J模型。此外，英特爾仍是唯一一家使用業界標準深度學習生態系軟體來提交公開CPU結果的供應商。
● 使用最流行的AI框架與函式庫建立並部署通用AI工作負載，第4代Intel Xeon可擴充處理器為其理想之選。1篇新聞文章約1,000字至1,500字的GPT-J 100字摘要工作，第4代Intel Xeon處理器在離線模式下每秒可總結2個段落，即時伺服器模式下每秒總結1個段落。
● 英特爾首次提交Intel Xeon CPU Max系列的MLPerf結果，該系列可提供高達64GB的高頻寬記憶體。在GPT-J方面，它是唯一能夠達成99.9％準確度的CPU，這對於需要最高精準度的應用而言十分重要。
● 英特爾和原始設備製造商（OEM）客戶合作，提交他們自己的結果，進一步展現搭載Intel Xeon處理器通用伺服器的AI效能可擴展性和廣泛可用性，這些伺服器能夠滿足客戶的服務等級協議（SLA）。

MLPerf被普遍認為是AI效能方面最具聲譽的基準測試，能夠進行公平、可重現的效能比較。英特爾預計將為下次的MLPerf基準測試提交新的AI訓練結果。效能持續不斷的更新，代表英特爾致力於支援客戶，並針對每個AI節點提出解決方案－從低成本的AI處理器，再到網路、雲端和企業用戶所需的最高效能AI硬體加速器和GPU。

更多內容：MLPerf Inference v3.1的效能指標（基準測試結果）| MLCommons宣布

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

英特爾展示強勁AI推論效能

延伸閱讀

最近新增

最多人點閱