輕量級冠軍：NVIDIA 發表有著最先進精確度的小型語言模型 Mistral-NeMo-Minitron 8B 模型為日前發表的Mistral NeMo 12B 模型的縮小版，精確度高且具備在 GPU 加速的資料中心、雲端與工作站上運行模型的運算效率

ITMan!資訊新聞 ITMan!資訊經理人 PCDIY!業界新聞

輕量級冠軍：NVIDIA 發表有著最先進精確度的小型語言模型 Mistral-NeMo-Minitron 8B 模型為日前發表的Mistral NeMo 12B 模型的縮小版，精確度高且具備在 GPU 加速的資料中心、雲端與工作站上運行模型的運算效率

文．圖／陳信榮 2024-08-22 14:56:45

生成式人工智慧（AI）的開發者通常得面臨要取捨模型大小還是精確度的難題。不過 NVIDIA 發表的全新語言模型倒是兼具兩者之長，這個模型體積小巧，又有著最先進的精確度。

Mistral-NeMo-Minitron 8B 是Mistral AI 與 NVIDIA 在上個月共同發表開放式 Mistral NeMo 12B 模型的縮小版。Mistral-NeMo-Minitron 8B小到可以在 NVIDIA RTX 驅動的工作站上運行，同時在由 AI 支援的聊天機器人、虛擬助理、內容產生器和教育工具的多項基準測試中，表現依然十分出色。NVIDIA 使用開發客製化生成式 AI 的端對端平台 NVIDIA NeMo 蒸餾（distillation）出Minitron 模型。

NVIDIA 應用深度學習研究部門副總裁 Bryan Catanzaro 表示：「我們將兩種最佳化AI的方法加在一起。這包括以剪枝的方式將 Mistral NeMo 的 120 億個參數縮減為 80 億個，並且採用蒸餾方式提高精確度。這麼一來便能降低 Mistral-NeMo-Minitron 8B 的運算成本，又可以提供媲美原始模型的精確度。」

小型語言模型可以即時在工作站和筆記型電腦上執行，這一點跟大型語言模型不同。此舉使得資源有限的組織更容易在基礎設施中部署生成式 AI 功能，又能取得最佳的成本、運作效率和能源使用程度。由於無需從邊緣裝置將資料傳送到伺服器，在邊緣裝置上以本機端的方式運行語言模型另外有著安全性方面的優勢。

開發人員可以透過包裝成有著標準應用程式介面（API）的 NVIDIA NIM 微服務使用Mistral-NeMo-Minitron 8B，或從 Hugging Face 下載模型。此NVIDIA NIM也即將開放下載，可以在數分鐘內部署在任何 GPU 加速系統上。

最先進的 80 億個參數

與類似大小的模型相比，Mistral-NeMo-Minitron 8B 模型在九個熱門的語言模型基準測試均處於領先地位。這些基準涵蓋各種任務，包括語言理解、常識推理、數學推理、總結、編碼以及產生真實答案的能力。

Mistral-NeMo-Minitron 8B 模型包裝成 NVIDIA NIM 微服務，並且最佳化至最佳狀態，有著低延遲的特色，能加快回應使用者的速度，並有高輸送量以降低生產環境的運算成本。

開發人員在某些情況下可能想要使用更小的模型，以便在智慧型手機或機器人等嵌入式裝置上運行。他們為此可以下載有著 80 億個參數的模型，並針對企業特定的應用程式使用 NVIDIA AI Foundry 剪枝和蒸餾出較小且最佳的神經網路。

AI Foundry 平台與服務為開發人員提供完整堆疊解決方案，協助他們客製化基礎模型，並且將其包裝成 NIM 微服務。AI Foundry 平台與服務提供熱門的基礎模型、NVIDIA NeMo 平台與 NVIDIA DGX Cloud 上的專用容量。使用 NVIDIA AI Foundry 的開發人員同樣能夠使用 NVIDIA AI Enterprise，這個提供安全性、穩定性及支援部署到生產環境的軟體平台。

由於原版的 Mistral-NeMo-Minitron 8B 模型一開始就有著最先進的精確度，因此使用 AI Foundry 瘦身後的版本依舊只要極少的訓練資料與運算基礎設施，就能達到高精確度的表現。

利用剪枝與蒸餾的優點

研究團隊用剪枝加上蒸餾的方法，讓較小的模型達到高精確度表現。剪枝會去除掉對精確度影響最小的模型權重（weight），以縮小神經網路的規模。研究團隊在蒸餾模型時，會在一個小資料集上重新訓練這個修剪過的模型，以大幅提升在修剪過程中降低的精確度。

這麼一來可以得到一個更小又更有效率的模型，其預測精確度可媲美較大的模型。

這項技術代表只要使用原始資料集的一小部分，就能訓練一系列相關模型裡每個額外的模型，這跟從頭訓練一個較小的模型相比，剪枝和蒸餾一個較大的模型可以省下高達 40 倍的運算成本。

更多詳情請閱讀NVIDIA技術部落格與技術報告。

NVIDIA 在本週還發表了另一個小型語言模型 Nemotron-Mini-4B-Instruct，這個模型針對NVIDIA GeForce RTX AI PC 與筆記型電腦上低記憶體使用率與更快回應時間最佳化。這個模型以 NVIDIA NIM 微服務形式提供，讓開發人員可以部署到雲端與裝置上。而它也是 NVIDIA ACE 的一部分，NVIDIA ACE 是一套製作數位人類的技術，提供由生成式 AI 支援的語音、智慧與動畫。

透過瀏覽器或 ai.nvidia.com 上的 API，體驗這兩個包裝成 NIM 微服務的模型。

請參閱軟體產品資訊的通知事項

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

輕量級冠軍：NVIDIA 發表有著最先進精確度的小型語言模型 Mistral-NeMo-Minitron 8B 模型為日前發表的Mistral NeMo 12B 模型的縮小版，精確度高且具備在 GPU 加速的資料中心、雲端與工作站上運行模型的運算效率

最先進的 80 億個參數

利用剪枝與蒸餾的優點

延伸閱讀

最近新增

最多人點閱