NVIDIA 在日本與台灣推出用於生成式 AI 的 NIM 微服務四款全新微服務有助於加速部署提供先進文化與語言熟練度的主權 AI 應用

焦點

ITMan!資訊新聞 ITMan!資訊經理人 PCDIY!業界新聞

NVIDIA 在日本與台灣推出用於生成式 AI 的 NIM 微服務四款全新微服務有助於加速部署提供先進文化與語言熟練度的主權 AI 應用

文．圖／張國華 2024-08-27 11:14:47

世界各國都在追求發展主權 AI，利用自己的運算基礎設施、資料、勞動力及商業網路來發展人工智慧（AI），以確保 AI 系統符合當地的價值觀、法律與利益。

NVIDIA為了支持這些努力，今日宣布推出四款全新 NVIDIA NIM 微服務，讓開發人員能夠更輕鬆地建置與部署高效能的生成式 AI 應用。

這些微服務支援社群常用的各種模型，並且針對地區需求量身打造。這些微服務可以按照當地語言和文化傳統，透過準確理解和改善的回應，強化與使用者的互動。

根據 ABI Research 的資料顯示，光是在亞太地區，預計到 2030 年時，生成式 AI 軟體的營收將從今年的 50 億美元成長到 480 億美元。

使用日文資料訓練出的Llama-3-Swallow-70B，以及用國語資料訓練出的Llama-3-Taiwan-70B，都屬於區域語言模型，可以更深入瞭解當地法律、法規和其他習俗。

建立在 Mistral-7B 模型上的 RakutenAI 7B 系列模型，投入英文和日文資料集進行訓練，並且可以當成用於對談（Chat）和指令（Instruct）的兩種不同的NIM 微服務提供給外界使用。樂天（Rakuten）的基礎和和指令模型在開放的日文大型語言模型中取得亮眼成績，在 2024 年 1 月至 3 月進行的 LM Evaluation Harness 基準中，平均分數名列前茅。

使用一個地區的語言訓練大型語言模型（LLM），能夠更好地理解和反映文化與語言上的微妙之處，有助於確保進行更加精準細緻的溝通，創造出更有效果的輸出內容。

與 Llama 3 等基礎 LLM 相比，這些模型在理解日語和國語、處理當地法律任務、回答問題，以及語言翻譯和總結方面的表現相當優異。

從新加坡、阿拉伯聯合大公國、韓國和瑞典，再到法國、義大利和印度，世界各國均投注心力發展主權 AI 基礎設施。

全新 NIM 微服務讓企業、政府機構和大學可以在自己的環境中託管原生 LLM，使得開發人員能夠開發先進的 AI 輔助功能（copilots）、聊天機器人和 AI 助理。

使用主權 AI NIM 微服務開發應用程式

開發人員可以輕鬆把包裝為 NIM 微服務的主權 AI 模型部署到生產環境，同時獲得更優異的效能表現。

NVIDIA AI Enterprise 提供的微服務，為利用 NVIDIA TensorRT-LLM 開源函式庫推論最佳化。

適用於 Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量，而Llama 3 70B 正是全新 Llama-3-Swallow-70B 與 Llama-3-Taiwan-70B NIM 微服務的基礎模型。這麼一來可以降低在生產環境中運行模型的總成本，又能減少延遲，讓使用者享受更好的操作體驗。
現在可以經由託管式應用程式介面（API）使用全新的 NIM 微服務。

利用 NVIDIA NIM 更快讓生成式 AI 產生出更精準的結果

NIM 微服務能夠加速部署、提升整體效能，且為全球各產業的組織提供必要的安全性，這些產業包括醫療保健、金融、製造業、教育與法律。

東京工業大學使用日文資料微調Llama-3-Swallow 70B。
東京工業大學全球科學資訊與運算中心（Global Scientific Information and Computing Center）教授橫田理夫表示：「LLM 並不是為每一個人帶來同樣好處的機械式工具。它們是與人類文化和創意相互激盪所產出的智慧工具。這種影響是相互的，不僅我們投入的訓練資料會影響到模型，我們的文化和所產生的資料也會受到 LLM 的影響。開發出符合自身文化習俗的主權 AI 模型因此極度重要。Llama-3-Swallow 作為 NVIDIA NIM 微服務提供給外界使用，將能夠讓開發人員輕鬆存取和部署這個模型，用於日本各產業的應用。」

舉例來說，日本的AI公司Preferred Networks使用Llama-3-Swallow模型開發出一個專門用於醫療保健領域的模型，並且使用日本獨有的醫療資料語料庫來訓練它。這個名為Llama3-Preferred-MedSwallow-70B的模型在日本國家醫師考試中拿下高分。

台灣領先醫療體系之一的長庚紀念醫院目前正在建置該院專屬的AI推論服務（AIIS），以集中管理醫院體系內的所有 LLM 應用。長庚醫院使用 Llama 3-Taiwan 70B，提供患者能夠理解更細膩的醫療語言，提高第一線醫護人員的工作效率。

長庚紀念醫院醫療人工智能核心實驗室主任郭昶甫醫師表示：「即時提供適合情境的指導，以當地語言 LLM 建立的 AI 應用能夠簡化工作流程，並且當成持續學習的工具，作為支持員工發展與提昇病患照護品質。而NVIDIA NIM 的工具簡化了這些應用程序的開發，用最少的工程專業知識，輕鬆存取與部署以當地語言訓練的模型。」

台灣的電子設備製造商和碩聯合科技將採用 Llama 3-Taiwan 70B NIM 微服務來開發供內部及外部使用的應用。該公司已將這款微服務與旗下的PEGAAi Agentic AI系統進行整合，以達到流程自動化，提升製造與營運效率。

全球石化產品製造商長春集團、全球領先的印刷電路板公司欣興電子、科技媒體公司科技報橘、線上合約服務公司律果科技，以及生成式 AI 新創APMIC 同樣正在使用Llama-3-Taiwan 70B NIM。這些公司也在開放模型上進行合作。

利用 NVIDIA AI Foundry 為企業量身打造模型

雖然區域性 AI 模型可以提供文化上的細微差異與在地化的回應內容，企業還是要針對其業務流程與領域專業知識進行微調。

NVIDIA AI Foundry是一個平台與服務，其中包括各式常用的基礎模型、用於微調的 NVIDIA NeMo，以及 NVIDIA DGX Cloud 上的專用容量，為開發人員提供完整堆疊解決方案，以建立包裝為 NIM 微服務的客製化基礎模型。

除此之外，使用 NVIDIA AI Foundry 的開發人員同樣可以使用 NVIDIA AI Enterprise 軟體平台，為生產環境部署作業提供安全性、穩定性與支援。

NVIDIA AI Foundry 為開發人員提供必要工具，幫助他們更便捷地建置與部署自身的客製化區域語言 NIM 微服務，以支援各種 AI 應用，確保為使用者提供符合各地文化與語言使用習慣的結果。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點