Red Hat 宣布收購 Neural Magic

焦點

ITMan!資訊新聞 PCDIY!業界新聞

Red Hat 宣布收購 Neural Magic

文．圖／陳仁智 2024-11-19 12:39:04

● 此協定交易彰顯 Red Hat 致力於協助客戶的願景，亦即可於混合雲環境中的任何位置（地端、公有雲與邊緣）部署包含 AI 的應用程式或工作負載
● Neural Magic 將帶來在生成式 AI 效能工程、最先進的模型優化演算法，以及高效能 GPU 和 CPU 推論服務的專業技術

世界領先開放原始碼軟體解決方案供應商 Red Hat 近日宣布已簽署收購 Neural Magic 的最終協議，Neural Magic 為提供能加速生成式 AI 推論工作負載的軟體與演算法領導業者，其在推論效能工程的專業技術及對開源的承諾與 Red Hat 的願景一致，致力於在跨混合雲環境中的任何一處皆能實現高效能 AI 工作負載，並滿足客戶特殊的應用情境和資料。

儘管生成式 AI 的前景在當今科技領域中已佔據主導地位，然支撐其系統的大型語言模型（LLM）規模仍持續擴大。因此，為建置具成本效益且可靠的 LLM 服務，企業需要大量的運算資源、能源，以及專業的營運技能。多數企業因上述挑戰而難以享受到客製化、部署就緒且更具安全性的 AI 所帶來的優勢。

Red Hat 期望能藉由 vLLM 的開源創新賦能更多企業更易於使用生成式 AI，從而應對其面臨的挑戰。vLLM 是由加州大學柏克萊分校開發、由社群驅動的開源專案，專注於開放模型服務（即生成式 AI 模型如何推論與解決問題），支援所有主要模型系列、先進的推論加速研究及多種硬體後端，包含 AMD GPU、AWS Neuron、Google TPU、Intel Gaudi、NVIDIA GPU 和 x86 CPU。結合 Neural Magic 在 vLLM 專案中的領導地位與 Red Hat 強大的混合雲 AI 技術產品組合，將為企業提供一條開放的途徑，打造能滿足獨特需求的 AI 策略，無論資料位於何處皆可實現。

Red Hat 總裁暨執行長 Matt Hicks 表示：「無論企業的資料位於跨混合雲中的任何位置，AI 工作負載皆必須能正常運行。因此，靈活、標準化且開放的平台和工具成為必然，賦能企業得以選擇最符合其營運和資料需求的環境、資源和架構。很高興能透過 Neural Magic 突破性的 AI 創新完善我們專注於混合雲的 AI 產品組合，驅使我們不僅做為開源的『Red Hat』，也成為 AI 領域的『Red Hat』。」

Neural Magic 執行長 Brian Stevens 說明：「業界已一次次證明開源能透過社群協作的力量推動創新。Neural Magic 匯聚了業界頂尖的 AI 效能工程專家，專注於打造開放、跨平台且超高效的 LLM 運行能力。加入 Red Hat 不僅是企業文化的契合，更將協助各規模的企業加速 AI 轉型之旅。」

IBM Research 資深副總裁暨院長 Dario Gil 表示：「隨著客戶積極尋求在跨混合環境中擴展 AI，基於開放基礎的虛擬化和雲端原生 LLM 將成為業界標準。結合 Red Hat 在開源領域中的領導地位、IBM Granite 高效的開源模型，以及 Neural Magic 跨平台的 AI 擴展解決方案，將賦能企業於內部部署 AI 所需的控制力與彈性。」

Red Hat 攜手 Neural Magic 共同驅動混合雲就緒的生成式 AI 大未來

Neural Magic 於 2018 年自麻省理工學院（MIT）獨立，旨在開發高效能的深度學習（deep learning）推論軟體。Neural Magic 的技術和效能工程專業加上 Red Hat 的 AI 技術產品組合，將驅動 Red Hat 加速實現 AI 未來願景。Red Hat 為突破大規模企業級 AI 的挑戰，運用開源創新進一步推動 AI 變革的力量，包括：

• 開源授權模型：涵蓋從 1B 到 405B 參數規模，可在跨混合雲環境中靈活部署，無論是位於企業資料中心、多雲架構抑或是邊緣。
• 微調能力：企業得以在更安全的覆蓋範圍，更輕鬆地依據其私有資料和應用情境自訂 LLM。
• 推論效能工程專業：可實現更高的營運及基礎架構效率。
• 豐富的合作夥伴與開源生態系及支援架構：客戶擁有更廣泛的選擇，從 LLM、工具到認證伺服器硬體和基層晶片架構。

借助 vLLM 領導地位強化 Red Hat AI

Neural Magic 憑藉在 vLLM 領域的專業知識，致力於建置企業級推論堆疊，以協助客戶於跨混合雲環境中優化、部署並擴展 LLM 工作負載，且能充分掌控基礎架構選擇、安全原則和模型生命周期。Neural Magic 亦建置 LLM Compressor 進行模型優化研究，其為以先進的稀疏性（sparsity）和量化（quantization）演算法優化 LLM 的整合式涵式庫，此外也維護經預先優化、可運用 vLLM 即時部署的存放庫。

Red Hat AI 旨在透過強大的技術協助客戶降低 AI 成本及技能門檻，其中包含：

• Red Hat Enterprise Linux AI（RHEL AI）：為基礎模型平台，可賦能 IBM Granite 開源 LLM 系列於 Linux 伺服器部署上更無縫地開發、測試及運行企業應用程式。
• Red Hat OpenShift AI：為 AI 平台，可在橫跨地端、公有雲及邊緣的分散式 Kubernetes 環境中，提供快速開發、訓練、服務並監控機器學習模型的工具。
• InstructLab：由 Red Hat 和 IBM 共同推出的開源 AI 社群專案，任何人都可藉由 InstructLab 的微調技術協作改善開源授權的 Granite LLM，一同推動生成式 AI 的未來發展。

Red Hat 將藉由 Neural Magic 在 vLLM 技術的領導地位，強化支援 LLM 部署的 AI 能力，賦能跨混合雲環境中隨時隨處部署，並提供現成、高度優化且開放的推論技術堆疊。

此交易需經監管機構審查和其他慣例成交條件（customary closing conditions）而定。

額外資源
• 閱讀由 Red Hat 總裁暨執行長 Matt Hicks 撰寫關於 Red Hat 對 AI 開源未來之願景的部落格文章
• 閱讀關於此最終協議相關 FAQ
• 進一步了解 Red Hat OpenShift AI
• 進一步了解 RHEL AI

Red Hat 聯絡資訊
• 深入了解 Red Hat
• Red Hat Taiwan 官網
• 加入 Red Hat Taiwan Facebook 專頁 
• 關注 Red Hat 新聞 
• 閱讀 Red Hat 部落格 
• 在 Red Hat Twitter / X 追蹤 Red Hat  
• 在 YouTube 觀看 Red Hat 影片 
• 在 LinkedIn 追蹤 Red Hat  

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

Red Hat 宣布收購 Neural Magic

借助 vLLM 領導地位強化 Red Hat AI

Red Hat AI 旨在透過強大的技術協助客戶降低 AI 成本及技能門檻，其中包含：

延伸閱讀

最近新增

最多人點閱