VMware Inc.（NYSE: VMW）和NVIDIA（NASDAQ:NVDA）今天宣布擴大策略合作夥伴關係，讓在VMware 雲端基礎設施上運行的數十萬家企業為生成式AI 時代做好準備。

VMware Private AI Foundation with NVIDIA將使企業能夠自定義模型並運行生成式人工智慧應用程式，包括智慧聊天機器人、助理、搜尋和摘要生成等。該平台將是一個全面整合的解決方案，具備來自NVIDIA的生成式人工智慧軟體和加速運算，建立在VMware Cloud Foundation上，並針對人工智慧進行了最佳化。

VMware執行長Raghu Raghuram表示：「生成式人工智慧和多雲環境是完美的結合。客戶資料無處不在，存在於他們的資料中心、邊緣設備和雲端中。與NVIDIA合作，我們將使企業能夠放心地在其資料附近運行生成式人工智慧工作負載，同時解決企業對資料隱私、安全和可控性的擔憂。」

NVIDIA創辦人暨執行長黃仁勳表示：「世界各地的企業都在競相將生成式人工智慧與其業務整合。我們與VMware的擴大合作將為金融服務、醫療保健、製造等領域數十萬客戶，提供他們所需的全端軟體和運算，以使用透過自有資料構建的自定義應用程式來釋放生成式人工智慧的潛力。」

全端運算增強生成式人工智慧效能

為了更快地獲得業務效益，企業正在尋求簡化生成式人工智慧應用的開發、測試和部署流程。麥肯錫估計，生成式人工智慧每年可能為全球經濟增加多達4.4兆美元的價值。(1)

VMware Private AI Foundation with NVIDIA將使企業能夠利用這種能力，定制大型語言模型，為其內部使用生成更安全和私有的模型，向其使用者提供生成式人工智慧服務，並且更安全地大規模運行推論工作負載。



該平台預計將包括整合的人工智慧工具，使企業能夠以具成本效益的方式運行在其私有資料上訓練的經過驗證的模型。該平台將建立在VMware Cloud Foundation和NVIDIA AI Enterprise軟體之上，預期效益包括：

● 隱私 — 使客戶能夠在擁有資料的任何地方輕鬆運行人工智慧服務，並採用保護資料隱私和安全訪問的架構。
● 選擇 — 企業將在建立和運行其模型的地點上有廣泛的選擇 — 從 NVIDIA NeMo™ 到 Llama 2 及更高版本 — 包括領先的 OEM 硬體配置，並在未來還可能涵蓋公有雲和服務供應商的方案。
● 效能 — 正如最近產業基準測試所證明的，在某些使用案例中，在 NVIDIA 加速基礎設施上運行將提供等於甚至超過裸機的效能。
● 資料中心規模 — 虛擬化環境中的GPU 擴展優化，可讓人工智慧工作負載在單一虛擬機器中擴充至16個vGPU/GPU，並跨越多個節點以加速生成式AI模型的微調與部署。
● 降低成本 — 將最大程度地利用跨GPU、DPU和CPU的所有運算資源，降低整體成本，並建立一個可在團隊之間有效共享的資源池環境。
● 加速儲存 — VMware vSAN Express儲存架構 (Express Storage Architecture，ESA) 將提供性能優化的NVMe儲存，並支援基於RDMA的GPUDirect®儲存，允許從儲存直接I/O傳輸到GPU，無需CPU參與。
● 加速網路 — vSphere與NVIDIA NVSwitch™技術之間的深度整合將進一步實現多GPU模型的執行，而不會有GPU之間的瓶頸問題。
● 快速部署和價值實現 — vSphere 深度學習VM映像檔和映像庫透過提供穩定的一站式解決方案（包括預安裝的框架和效能最佳化庫），支援快速原型製作功能。

該平台將提供NVIDIA AI Enterprise中包含的端到端雲原生框架NVIDIA NeMo，而NVIDIA AI Enterprise是NVIDIA 人工智慧平台的操作系統，它使企業能夠在幾乎任何地方構建、定制和部署生成式人工智慧模型。NeMo結合了定制框架、護欄工具包、資料內容篩選工具和預訓練模型，為企業提供了一種簡單、具成本效益且快速的方式來採用生成式人工智慧。



為了在生產中部署生成式人工智慧，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），它可以加速和優化 NVIDIA GPU 上最新大型語言模型的推論性能。借助 NeMo，VMware Private AI Foundation with NVIDIA將使企業能夠將自己的資料導入其中，在 VMware 的混合雲基礎設施上構建和運行自定義生成式人工智慧模型。

在VMware Explore 2023 大會上，NVIDIA 和VMware 將重點介紹企業內的開發人員如何使用新的NVIDIA AI Workbench 來提取社群模型（例如Hugging Face 上提供的Llama 2）、遠端自訂它們以及在VMware 環境中部署生產級生成式人工智慧。

VMware Private AI Foundation with NVIDIA的廣大生態系統支持

技術將得到戴爾科技集團、慧與科技公司和Lenovo將支援VMware Private AI Foundation with NVIDIA，它們將成為率先採用NVIDIA L40S GPU、NVIDIA BlueField®-3 DPU和NVIDIA ConnectX®-7 SmartNICs提供增強企業大型語言模型定制和推論工作負載的系統。

與 NVIDIA A100 Tensor Core GPU 相比，NVIDIA L40S GPU 的生成式人工智慧推理效能提高了 1.2 倍，訓練性能提高了 1.7 倍。

NVIDIA BlueField-3 DPU能夠加速、卸載和區隔虛擬化、網路、儲存、安全以及其他雲原生AI服務所帶來的大量運算負載，從而減輕GPU或CPU的負擔。

NVIDIA ConnectX-7 SmartNIC則為資料中心基礎設施提供智慧加速的網路功能，以提升世界上一些要求最嚴苛的 AI 工作負載。

VMware Private AI Foundation with NVIDIA是建立在雙方長達十年的合作夥伴關係之上。 他們的共同工程工作優化了 VMware 的雲端基礎設施，以運行 NVIDIA AI Enterprise，其性能可與裸機相媲美。共同客戶進一步受益於 VMware Cloud Foundation 提供的資源和基礎架構管理以及靈活性。

上市時間

VMware 計劃於 2024 年初與 NVIDIA 一同發布 VMware Private AI Foundation with NVIDIA。

→更多的【PCDIY!業界新聞】： 請見

→更多的【PCDIY!賣場情報】： 請見

→更多的【PCDIY!科技情報】： 請見

→更多的【IT資訊新聞】： 請見

→更多的【ITMan!資訊經理人】： 請見

→更多的【PCDIY!八卦】： 請見

延伸閱讀

(01)光華商場的新危機，淘寶網帶來的跨境電商價格戰！
(02)48顆壞25顆》威騰WD RE 3TB硬碟驚爆鬧機瘟，WD3000FYYZ死機地雷硬碟故障率高到嚇人！
(03)高雄建國電腦商圈爆倒店潮，引爆網友熱議！
(04)Seagate硬碟廣告：我也不想當死雞隊友啊，引爆玩家熱議！
(05)PTT寫手門事件：電蝦板主發表不自殺聲明，引爆網友熱議！
(06)記憶體插上16GB有多爽，引爆網友熱議！
(07)英特爾Intel 10GbE網路卡X540T2，淘寶網水貨價格殺很大！
(08)SSD爆發連環關門潮，憶正Memoright驚傳財務危機疑似倒閉！
(09)幫組電腦到自己貼錢的經驗，引爆網友熱議！
(10)教授認證防毒軟體「360安全衛士」，引爆網友熱議！
(11)DDR4記憶體金手指歪掉惹，引爆網友熱議！
(12)原價屋的商業模式，引爆網友熱議！
(13)Intel CPU神保固，舊換新大升級引爆網友狂推聯強貨！
(14)日本寬頻網路10G光纖上網，引爆網友熱議！
(15)Windows XP再戰十年，引爆網友熱議！
(16)光華商場的下一步，全世界都在看！
(17)東芝TOSHIBA Harrier MG03ACA300 3TB企業級硬碟，中國水貨價格殺很大！
(18)洋垃圾神器，Xeon E5-2670實測開箱大作戰！
(19)硬碟故障資料救援，等了一年八個月...
(20)新一代玩家聖物，6700元買16核心32執行緒Xeon E5-2675 v3處理器！
(21)淘寶網洋垃圾再顯神威，1999元買到8核心16執行緒Xeon E5-2670神器級處理器！
(22)洋垃圾戰神，5999元買14核心28執行緒Xeon E5-2683v3神器級處理器！
(23)硬碟用SSD有多爽，引爆網友熱議！
(24)磁碟陣列要選RAID 5還是RAID 6 引爆網友熱議！
(25)電腦CPU沒三萬沒法玩這遊戲，引爆網友熱議！
(26)為什麼有人要推AMD CPU菜單，引爆網友熱議！
(27)200TB資料怎麼儲存，引爆網友熱議！
(28)硬碟故障資料救援報價3萬8 引爆網友熱議！
(29)NVIDIA顯示卡的品牌怎麼挑選 引爆網友熱議！
(30)高科技竹筷，對付笨重顯示卡的神兵利器！
(31)電腦機殼價格破萬 引爆網友熱議！
(32)be quiet!電源供應器爆假貨，引爆了鍵盤大戰！