Meta 推出目前最強大的開放式大型語言模型 Meta Llama 3

IT資訊新聞 ITMan!資訊經理人 PCDIY!業界新聞

Meta 推出目前最強大的開放式大型語言模型 Meta Llama 3

文．圖／陳仁智 2024-04-19 14:54:46

● Meta 宣布推出新一代先進開源大型語言模型 Meta Llama 3
● Llama 3 模型預計將可於 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake 等平台上使用，並由 AMD、AWS、Dell、Intel、NVIDIA 和 Qualcomm 等硬體平台支援運作
● Meta 致力以負責任的原則開發 Llama 3，也將提供多種資源來協助大家以負責任的方式使用，包括導入 Llama Guard 2、Code Shield 和 CyberSec Eval 2 等新的信任和安全工具

Meta 今日宣布新一代 Llama 3 初始的兩個模型已可廣泛使用。此版本包含預訓練和指令微調的語言模型，其中的 8B (80 億) 和 70B (700 億) 參數，可支援更多元的使用情境。新一代 Llama 在多項產業指標上展現了卓越的成效，並提供許多新的功能，包括更精準的推理能力，是目前同業中最佳的開源模型。此外，延續 Meta 長期以來的開放創新模式，Llama 3 將釋出供社群運用。Meta 將全面引領新的 AI 技術創新浪潮，從應用程式、開發人員工具、評估，再到優化推理能力等，並鼓勵開發者開始建立專屬的內容，給予更多回饋與建議。

Llama 3 的目標

Meta 希望透過建立與目前專有模型並駕齊驅的最佳開放模型 Llama 3 ，回應開發人員的回饋，並提高 Llama 3 的整體實用性，同時持續領導負責任地使用並部署大型語言模型。Meta 秉持及早釋出與頻繁更新的開源精神，讓社群搶先試驗這些仍在開發階段的模型。今日所推出的以文字為基礎的模型為 Llama 3 系列的第一波模型。Meta 期待讓 Llama 3 在近日具備多語言和多模態、有更長的上下文語境，並繼續提升推理和編寫程式碼等核心大型語言模型能力的整體表現。

Llama 3 卓越的效能
Llama 3 中全新 8B 和 70B 參數的模型，相較於 Llama 2 有大幅的進步，並為此規模的大型語言模型立下新標準。得益於預訓練與後訓練技術的進展，Meta 的預訓練和指令微調模型是目前 8B 及 70B 參數規模的最佳模型。Meta 在後訓練程序流程的改進大幅降低錯誤拒絕率（False Rejection Rate, FRR），改善一致性，並提升模型反應的多樣性。同時，在推理、程式碼生成和指令遵循等功能亦有顯著提升，讓 Llama 3 更易於操控。

*請見評估細節，以了解進行評估時所使用的設定與參數

在 Llama 3 的開發過程中，Meta 不僅研究模型在基準測試中的表現，並嘗試為真實的情境優化效能。為此，Meta 全新開發優質的人類評估集（human evaluation set），包含 1,800 個提示，涵蓋 12 個關鍵使用情境，例如尋求建議、腦力激盪、分類、封閉式問答、編寫程式碼、創意寫作、擷取訊息、扮演角色 / 人物、開放式問答、推理、改寫與總結。為了防止模型在此評估集上不小心過度擬合（Overfitting），Meta 更限制內部模型建立團隊對模型的存取。

系

統性地負責任開發

Meta 設計的 Llama 3 確保採用領先業界的方法，採用全新的架構以系統性的方式負責任地部署模型。在不同的開發者依其終極目標而設計的系統中，Meta 的 Llama 系統中的基礎模型，由開發者駕馭整體系統，全面地掌握並消弭風險。

在確保模型安全性上，指令微調也同等重要，因此 Meta 進行內部與外部的紅隊測試（red-teamed tested），以確保其安全性。Meta 的紅隊測試方式運用人類專家及自動化方式，產生對抗性提示，試圖引導出有問題的回應。例如，大家對化學、生物、網路安全等風險領域相關的誤用風險，進行全面的測試。這些測試都將不斷迭代更新，並用於為即將發布的模型進行安全微調，提供資訊。更多詳情請參考 Meta 的模型卡。

隨著生成式 AI 領域迅速的發展，Meta 相信開放的方式，是整合生態系並減輕潛在危害的重要途徑之一。身為生態系的一員，Meta 正在更新其負責任使用指南（Responsible Use Guide, RUG），提供負責任地開發大型語言模型的全面性指南。如同 RUG 中所概述，Meta 建議根據應用程式的內容指南，檢示並過濾所有輸入與輸出內容。此外，Meta 亦鼓勵開發人員考慮使用許多雲端服務供應商提供內容檢核的 API，以及其他用於負責任部署的工具。

立即試用 Meta Llama 3
歡迎前往 Llama 3 網站下載模型並參考新手指南，以取得所有可用平台的清單。Meta 期待大家分享使用 Meta Llama 3 打造出令人驚豔的產品和體驗。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

Meta 推出目前最強大的開放式大型語言模型 Meta Llama 3

Llama 3 的目標

*請見評估細節，以了解進行評估時所使用的設定與參數

統性地負責任開發

延伸閱讀

最近新增

最多人點閱