AWS 上的 NVIDIA NIM 微服務大幅增強 AI 推論能力

ITMan!資訊新聞 PCDIY!業界新聞

AWS 上的 NVIDIA NIM 微服務大幅增強 AI 推論能力

文．圖／張國華 2024-12-05 12:15:09

生成式人工智慧（AI）正在快速改變各產業的發展樣貌，帶動對安全且高效能推論解決方案的需求，以有效率又具備成本效益的方式擴充日益複雜的模型。

擴大與 NVIDIA 的合作範圍，Amazon Web Services（AWS）今日在 AWS re:Invent 年度大會上宣布已經將NVIDIA NIM 微服務擴展至主要的 AWS AI 服務，以支援更快速的 AI 推論，以及減少生成式 AI 應用的延遲時間。

NVIDIA NIM 微服務現在可以直接在 AWS Marketplace、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 取得，讓開發人員可以更輕鬆為常用模型大規模部署經過 NVIDIA 最佳化的推論功能。

NVIDIA NIM 是 AWS Marketplace 提供的 NVIDIA AI Enterprise 軟體平台一部分，為開發人員提供一套簡單易用的微服務，專為在跨雲端、資料中心和工作站安全可靠地部署高效能、企業級 AI 模型推論而設計。

這些預先建置的容器建置在強大的推論引擎上，例如 NVIDIA Triton 推論伺服器、NVIDIA TensorRT、NVIDIA TensorRT-LLM 與 PyTorch，並支援廣泛的 AI 模型，從開源社群模型到 NVIDIA AI Foundation 模型與客製化模型。

NIM 微服務可以部署於各種 AWS 服務，包括 Amazon Elastic Compute Cloud（EC2）、Amazon Elastic Kubernetes Service（EKS）、Amazon Machine Image（AMI）及 Amazon SageMaker。

開發人員可以在NVIDIA API 目錄上預覽超過 100 個由常用模型與模型系列所建立起的 NIM 微服務，包括 Meta 的 Llama 3、Mistral AI 的 Mistral 與 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等。最常用的模型都可自行託管部署在 AWS 服務上，並且經過最佳化，能夠在 AWS 上的 NVIDIA 加速運算執行個體上運行。

現在可直接在 AWS 上取得的 NIM 微服務包含：

● NVIDIA Nemotron-4 可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 上取得。這是一款尖端的大型語言模型，專門用於產生近似真實世界資料的多樣化合成資料，可增強多個領域客製化大型語言模型的效能與穩健性。
● Llama 3.1 8B-Instruct 開放在 AWS Marketplace 上取得。這個有著 80 億個參數的多語言大型語言模型已針對語言理解、推理和文字產生使用個案進行預先訓練及指令調校。
● Llama 3.1 70B-Instruct 可以在 AWS Marketplace 上取得。這個有著 700 億個參數，且完成預先訓練、指令調校的模型已針對多語言對話進行最佳化。
● Mixtral 8x7B Instruct v0.1 能夠在 AWS Marketplace 上使用。這個權重開源的高品質稀疏混合專家模型可以遵循指令、完成請求與產生創意的文字格式。

AWS 上適用於每個人的 NIM

各產業的客戶及合作夥伴都在利用 AWS 上的 NIM 來加快上市速度、維持生成式 AI 應用與資料的安全性及控制力，並降低成本。

IT 諮詢與數位服務供應商 SoftServe 已開發出六個完全部署在 AWS 上，且由 NVIDIA NIM 與 AWS 服務加速的生成式 AI 解決方案。這些解決方案在 AWS Marketplace 上提供，包括 SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。

這些解決方案均以 NVIDIA AI Blueprints 為基礎，這套全面性的參考工作流程能夠加快開發和部署 AI 應用，並且具備 NVIDIA 加速函式庫、軟體開發套件及 NIM 微服務，適用於 AI 代理、數位孿生等方面。

立即開始使用 AWS 上的 NIM

開發人員可以按照自己的獨特需求與要求，在 AWS 上部署 NVIDIA NIM 微服務。如此一來，開發人員和企業就能藉由各種 AWS 服務，利用經過 NVIDIA 最佳化的推論容器發展出高效能 AI。

歡迎造訪 NVIDIA API 目錄試用超過 100 種不同的 NIM 最佳化模型，並且申請開發人員授權或 90 天的 NVIDIA AI Enterprise 試用授權，即可開始在 AWS 服務上部署微服務。開發人員也可以在 AWS Marketplace、Amazon Bedrock Marketplace 或 Amazon SageMaker JumpStart 探索 NIM 微服務。

請參閱有關軟體產品資訊的通知。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點