共綻光芒：經最佳化調整後的 Google Gemma 模型可在 NVIDIA GPU 上運行

焦點

ITMan!資訊新聞 ITMan!資訊經理人 PCDIY!業界新聞

共綻光芒：經最佳化調整後的 Google Gemma 模型可在 NVIDIA GPU 上運行

文．圖／張國華 2024-02-23 14:02:39

Google 新推出的開放式語言模型在 TensorRT-LLM 的加速下，可在包括本地端 RTX AI PC 等 NVIDIA AI 平台上高速運行

NVIDIA 與 Google 合作本週推出了在所有NVIDIA AI 平台上適用於Gemma 模型的最佳化功能。Gemma 是 Google 最先進的新款輕量級開放式語言模型，擁有 20 億個和 70 億個參數，並可在任何地方運行，不僅可以降低成本，也能加快在特定領域使用場景上的創新。

NVIDIA 與 Google 雙方團隊進行密切合作，透過適用於最佳化大型語言模型推論作業的開源函式庫NVIDIA TensorRT-LLM，在資料中心或雲端環境運行的NVIDIA GPU，以及搭載 NVIDIA RTX GPU 的 PC 上，加速了 Gemma 的運行效能。值得一提的是，Gemma 使用與開發 Gemini 模型相同的研究成果和技術。

如此一來，開發者便能鎖定全球高效能 AI PC 上可用的超過一億顆 NVIDIA RTX GPU的安裝基礎進行開發。

開發者還能以雲端環境裡的 NVIDIA GPU 運行 Gemma 模型，包括在搭載 H100 Tensor 核心 GPU的 Google Cloud A3實體上運行，以及Google未來將引入的NVIDIA H200 Tensor 核心 GPU，該GPU擁有 141GB HBM3e 記憶體，每秒執行速度為 4.8 TB。

企業開發人員也可以運用NVIDIA 豐富的工具生態系統來微調 Gemma，包括配備 NeMo 框架和 TensorRT-LLM 的 NVIDIA AI Enterprise，並且在其生產應用程式中部署經過最佳化調整的模型。

深入了解 TensorRT-LLM 如何加快 Gemma 的推論速度，以及更多提供給開發人員的資訊。這包括 Gemma 的多個模型檢查點及模型的 FP8 量化版本，全都使用 TensorRT-LLM 完成最佳化調整。

敬請使用網頁瀏覽器開啟 NVIDIA AI Playground，便能直接體驗 Gemma 2B 及 Gemma 7B 的強大威力。

Chat With RTX 即將支援 Gemma

Chat with RTX是一項使用檢索增強生成和 NVIDIA TensorRT-LLM 軟體的NVIDIA 技術展示內容，讓用戶在自己本地端有搭載 RTX 支援的 Windows PC 上就可以使用生成式人工智慧（AI）功能。這項工具也將加入支援 Gemma。

Chat with RTX 讓用戶可以輕鬆將 PC 上的本機端檔案連接到大型語言模型，使用自己的資料打造個人專屬的聊天機器人。

由於模型以本機端的方式運行，可以快速提供運行結果，並能夠讓使用者資料留在裝置上。Chat with RTX 與依賴雲端環境的 LLM 服務不同，讓用戶可以在本地端的 PC 上處理敏感資料，無需將資料分享給第三方或是連接到網路。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

共綻光芒：經最佳化調整後的 Google Gemma 模型可在 NVIDIA GPU 上運行

如此一來，開發者便能鎖定全球高效能 AI PC 上可用的超過一億顆 NVIDIA RTX GPU的安裝基礎進行開發。

Chat With RTX 即將支援 Gemma

延伸閱讀

最近新增

最多人點閱