AWS強大雲端運算力，突破生成式AI發展瓶頸

IT資訊新聞 ITMan!資訊經理人 PCDIY!業界新聞

AWS強大雲端運算力，突破生成式AI發展瓶頸

文．圖／陳信榮 2023-03-14 11:03:46

Amazon Web Services（AWS）長期深耕生成式人工智慧（Generative Artificial Intelligence）領域，擁有成熟的生成式AI創新技術與專屬的產業解決方案，不僅提供經廣泛驗證且易於部署的先進AI預先訓練模型，並藉由豐富且高性價比的雲端資源以優化成本，大力協助遊戲、電商、媒體、影視、廣告、傳媒等產業快速建構生成式AI應用，進一步打造AI時代的領先生產力。AWS將於3月16日舉辦AI/ML人工智慧及機器學習解決方案日，由AWS技術專家群共同分享與展示最熱門的AI/ML關鍵技術，如生成式AI、大語言模型（LLM）、Low Code/No Code等創新趨勢，助力台灣企業抓住機遇，再創業務高峰。　

AWS台灣暨香港產品部總監翁宇強表示，「從AI技術發展來看，生成式AI開啟了一次典範轉移（ Paradigm Shift ）。大模型、多模態、高產能和海量資料將主導新一輪科技典範的發展，為內容、行銷、遊戲等行業帶來顛覆性創新。AWS廣泛而深入的生成式AI專屬解決方案，以最先進的效能、更優異的性價比和全面的服務應用賦能各行各業，助力各種規模的企業擁抱生成式AI的浪潮。」

降低成本，讓生成式AI觸手可及

目前生成式AI模型除了大眾熟知的文本和圖片生成，亦包含音訊和影片內容生成，未來將出現越來越多不同種類的生成內容。對企業而言，針對特定場景所建置的模型在成本和準確度都更具優勢，也是目前企業主要採用的模型。晶片效能和高品質訓練是生成式AI爆發的基礎，也是實現大規模發展的瓶頸。以往模型的參數量級可能僅是千級或百萬級，但現今擁有十億百億級參數的模型比比皆是，下一代模型甚至很有可能會朝著萬億級參數級別去發展。因此，降低大規模模型的成本便顯得至關重要。

然而，即使機器學習的晶片約每兩年就會有一倍或數倍的提升，仍然不足以跟上日趨複雜的訓練模型。替代的解決辦法就是利用分散式多處理器，透過一個網路進行協同運算、協同訓練。AWS專門為雲端中高效能模型訓練而搭建的Amazon EC2 Trn1執行個體，最多可以搭載16顆專門用於機器學習訓練的Trainium晶片，512GB加速器記憶體和800GBps的網路頻寬。

Trn1是擁有高性價比的深度學習執行個體，與基於GPU的類似執行個體相比，訓練成本大幅降低了50%。以一個具備萬億級參數的大模型進行兩周訓練為例，GPU伺服器P3dn需要600個執行個體，最新一代GPU執行個體P4d需要128個執行個體，但Trn1僅僅只需使用96個執行個體便能達成。

2022 AWS re:Invent全球大會推出了一款基於Trn1的網路優化型執行個體Trn1n，進一步把網路頻寬增加一倍，從800GBps躍升到1600GBps，其強大的網路傳輸能力能夠將超過1萬個Trainium晶片建構在一個超大規模叢集裡，並在叢集中進行模型的並行訓練。

除了訓練外，大模型也需要超高的推論能力。因此，AWS建構了Inf1執行個體，用自研的推論晶片Inferentia提供支援，實現低延遲、低成本的推論。Inf1執行個體和GPU的執行個體相比，每次推論成本可以大幅降低70%。

去年底AWS re:Invent全球大會還推出了下一代自研推論晶片Inferentia2，以及基於此的Inf2執行個體，這是唯一一個專門為大型Transformer模型分散式推論建立的執行個體。與Inf1執行個體相比，它提供高達4倍的輸送量，降低多達10倍的延遲。與基於GPU的執行個體相比，每瓦效能提升高達45%，同時也支援諸如GPT類型的大型複雜模型，並且可以用單執行個體實現1750億參數模型的推論。

AWS日前也宣佈與AI技術公司Hugging Face進一步合作，以加速對大語言模型和視覺模型的訓練、微調和部署，使用者能更輕鬆優化效能並降低成本，從而更快地將生成式AI應用投入到生產環境。欲瞭解更多AWS生成式AI相關資訊，請至此連結。

助力產業先行者快速實踐業務可能性

設計和開發體驗管理軟體公司Qualtrics核心機器學習負責人Aaron Colak表示，「Qualtrics的重點是借助技術創新縮小體驗差距。為了實現這一目標，我們正在開發複雜的多工、多模態的深度學習模型，包括文本分類、序列標記、論述分析、關鍵短語擷取、主題擷取、聚類以及端到端對話理解等。隨著我們在更多應用程式中使用這些複雜的模型，以及非結構化資料量不斷增長，為了提供客戶最佳體驗，我們需要效能更高的推理優化解決方案，如Inf2執行個體來滿足我們的需求。我們很高興看到新一代Inf2執行個體的推出，它不僅讓我們實現更高的輸送量，同時也顯著降低延遲，而且還引入了分散式推理和支援增強的動態形狀輸入等功能。隨著我們部署更大、更複雜的模型，這都將能進一步滿足我們對任何部署的更高要求。」

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

AWS強大雲端運算力，突破生成式AI發展瓶頸

降低成本，讓生成式AI觸手可及

助力產業先行者快速實踐業務可能性

延伸閱讀

最近新增

最多人點閱