AMD Ryzen AI 300系列處理器釋放消費級大型語言模型的巔峰效能

ITMan!資訊新聞 PCDIY!業界新聞

AMD Ryzen AI 300系列處理器釋放消費級大型語言模型的巔峰效能

文．圖／陳信榮 2024-11-07 20:45:50

語言模型自GPT-2以來已取得大幅進步，使用者現在可以藉由LM Studio等消費級應用程式快速且輕鬆地部署高度複雜的大型語言模型（LLM）。透過與AMD合作，這些工具讓每個人都能使用人工智慧（AI），且無需任何編碼或技術知識。

llama.cpp和LM Studio概述

LM Studio基於llama.cpp項目，是一個廣受歡迎的框架，用於快速且輕鬆地部署語言模型。LM Studio沒有相依性（dependencies），僅使用CPU即可進行加速，亦支援GPU加速功能。LM Studio使用AVX2指令集來加速基於x86 CPU的現代LLM。

效能對比：吞吐量和延遲

AMD Ryzen AI為這些最先進的工作負載進行加速，在x86筆電上運行LM Studio等基於llama.cpp的應用程式提供領先業界的效能註1。值得注意的是，LLM通常對記憶體速度非常敏感。

在我們的對比測試中，Intel筆電的RAM實際上速度較快，達到8533 MT/s，而AMD筆電的RAM為7500 MT/s。儘管如此，AMD Ryzen AI 9 HX 375處理器的每秒token生成速度（tokens per second）比競爭對手快出高達27%。參考資料顯示tokens per second (tk/s)是測量LLM輸出token速度的指標，大約對應於每秒在螢幕上顯示的字數。

AMD Ryzen AI 9 HX 375處理器在Meta Llama 3.2 1b Instruct（4-bit量化）中可實現每秒高達50.7個token的效能。

對大型語言模型進行基準測試的另一個指標是「輸出首個token的時間（time to first token）」，測量從提交提示（prompt）至模型開始生成token之間的延遲時間。在較大模型中，基於AMD “Zen 5”架構的Ryzen AI HX 375處理器的速度相較競爭對手的同級處理器快出高達3.5倍註1。

在Windows中使用可變顯示記憶體（VGM）來提高模型吞吐量

AMD Ryzen AI CPU中的三個加速器各自擁有特定的工作負載專業化和擅長的情境。基於AMD XDNA 2架構的NPU在執行Copilot+工作負載時為持續的AI功能提供卓越的功耗效率，CPU為工具和框架提供廣泛的覆蓋範圍和相容性，而內顯（iGPU）通常根據需求處理AI任務。

LM Studio提供llama.cpp的連接埠（port），可使用與供應商無關（vendor-agnostic）的Vulkan API來加速框架。此加速通常取決於硬體功能和Vulkan API的驅動程式最佳化的組合。與僅使用CPU模式相比，在LM Studio中開啟GPU offload後Meta Llama 3.2 1b Instruct的效能平均提升31%。Mistral Nemo 2407 12b Instruct等較大模型在token生成階段由於受到頻寬限制，平均效能提升5.1%。

我們觀察到在LM Studio中使用基於Vulkan的llama.cpp版本並開啟GPU offload時，與僅使用CPU的模式相比，競爭對手處理器除了其中一個模型外，其餘測試模型的平均效能皆明顯較低。因此，為了保持對比測試的公平性，我們沒有將Intel Core Ultra 7 258v在LM Studio中使用基於Vulkan之Llama.cpp的GPU-offload效能納入比較。

AMD Ryzen AI 300系列處理器還包括一項名為可變顯示記憶體（VGM）的功能。通常程式會利用為iGPU分配的512 MB專用記憶區塊，以及位於系統RAM「共享」部分的第二個記憶區塊。VGM讓使用者將512 MB的「專用」分配擴展到高達75%的可用系統RAM容量。這種連續記憶體的分配顯著提升了對記憶體敏感應用程式的吞吐量。

在開啟VGM（16GB）後，Meta Llama 3.2 1b Instruct的效能平均提升22%，與使用iGPU加速並結合VGM的CPU模式相比，平均速度共提升60%。Mistral Nemo 2407 12b Instruct等更大模型相較僅使用CPU的模式，帶來高達17%的效能提升。

同步比較：Mistral 7b Instruct 0.3

儘管競爭對手的筆電在LM Studio中使用基於Vulkan的Llama.cpp版本沒有提供加速，我們仍使用Intel AI Playground應用程式（基於IPEX-LLM和LangChain）來比較iGPU效能，力求在最佳的消費級LLM體驗之間進行公平的比較。

我們使用Intel AI Playground提供的模型，即Mistral 7b Instruct v0.3和Microsoft Phi 3.1 Mini Instruct。在LM Studio中使用可比較的量化後，我們發現AMD Ryzen AI 9 HX 375在Phi 3.1的速度比競爭對手快8.7%，在Mistral 7b Instruct 0.3的速度則快13%。

AMD致力於推進AI技術的發展，讓每個人皆能使用AI。若最新的AI進展被設置在高門檻的技術或編碼技能，這目標將無法實現，這就是為何LM Studio等應用如此重要。除了能夠快速且輕鬆地在本地部署LLM外，這些應用程式讓使用者在llama.cpp項目支援該架構的情況下，第一時間體驗最先進的模型。

AMD Ryzen AI加速器提供卓越效能，開啟VGM等功能可為AI使用案例提供更好的效能。所有因素結合起來後，為x86筆電上的語言模型提供了令人驚豔的使用者體驗。

欲親自體驗LM Studio，請參閱此連結。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點