人多力量大：NVIDIA 和生成式紅隊挑戰賽於DEF CON 安全會議派出數千人來審查 AI 安全

人多力量大：NVIDIA 和生成式紅隊挑戰賽於DEF CON 安全會議派出數千人來審查 AI 安全

文．圖／陳信榮 2023-08-11 12:40:52

這週在拉斯維加斯，數千個駭客將會微調、扭轉和探索最新的生成式人工智慧平台，這是為了建立更值得信賴且具有包容性的人工智慧。NVIDIA正與駭客社群合作，建立測試下一代人工智慧的最佳實踐方法，包括對 NVIDIA NeMo 和 NeMo Guardrails 等領先業界的大型語言模型解決方案進行首次的測試。

由 AI Village、SeedAI和Humane Intelligence主持的生成式紅隊挑戰賽 (Generative Red Team Challenge) 將是 NVIDIA 領導者們在拉斯維加斯舉行的 Black Hat 和 DEF CON 安全會議上舉辦的一系列研討會、培訓課程和露面活動之一。

這項挑戰為駭客提供了許多可利用的漏洞，是實際檢驗新興人工智慧技術的首次機會。

SeedAI創辦人暨生成式紅隊挑戰賽主辦者Austin Carson說：「人工智慧使個人能夠創造和建構以前不可能實現的事物，但若沒有一個龐大且多元的社群來測試和評估這項技術，人工智慧將只是反映其創造者，而將大部分社會拋在身後。」

與駭客社群的合作，正值全球積極推動人工智慧安全且為新聞熱議話題之際。上個月，美國拜登-賀錦麗政府（Biden-Harris Administration）已成功取得發展尖端生成式模型的領先人工智慧公司的自願性承諾。

AI Village創辦人暨生成式紅隊挑戰賽的合辦者Sven Cattell表示：「AI Village聚集了關心人工智慧系統影響的社群，關注針對惡意使用和對社會造成的影響。在DEFCON 29上，我們與Rumman Chowdhury在Twitter時的團隊合作，舉辦了第一次演算法偏見賞金獵人活動，這是首次有一家公司允許公眾對其模型進行審查。」

本週的挑戰是人工智慧發展進程中關鍵的一步，這要歸功於秉持懷疑精神、獨立性和透明度的駭客群體在建立和實測新興安全標準方面所扮演的領導角色。

NVIDIA的技術對於人工智慧至關重要，而且NVIDIA在生成式人工智慧革命初期即已參與其中。在2016年，NVIDIA的創辦人暨執行長黃仁勳親自遞交第一台NVIDIA DGX AI超級電腦給OpenAI—該電腦是支持 ChatGPT 大型語言模型突破的引擎。

NVIDIA DGX系統最初被用作AI研究工具，現在正在世界各地企業中全天候運行，以精煉資料和處理AI。

管理顧問公司麥肯錫估計，生成式AI每年可以在全球63個使用情形中為全球經濟增加相當於2.6兆美元到4.4兆美元。這使得安全性和信任成為整個產業共同關注的問題。

正因此，NVIDIA員工參與了上週匯集安全專家的Black Hat會議以及本週的DEF CON聚會，與兩會的參加者進行交流。

在Black Hat會議上，NVIDIA舉辦了為期兩天的機器學習培訓課程，並就網絡規模訓練資料集中毒的風險進行簡介。同時，還贊助一場探討人工智慧對安全領域有潛在好處的座談會。

在DEF CON，NVIDIA贊助了一場關於侵入基板管理控制器風險的演講。這些專用的服務處理器監控電腦、網路伺服器或其他硬體裝置的物理狀態。

並透過AI Village快速檢測研討會(AI Village Prompt Detective)中的生成式紅隊挑戰賽 (Generative Red Team Challenge)，數千名DEF CON參與者將能演示快速注入、嘗試引發不道德行為並測試其他技術以獲得不適當的回應。

Anthropic、Cohere、Google、Hugging Face、Meta、NVIDIA、OpenAI 和 Stability 構建的模型以及 Microsoft 的參與，將在 Scale AI 開發的評估平台上進行測試。

結果，所有人都變得更聰明。

AI Village 領導團隊成員亦是負責設計這些挑戰的非營利組織 Humane Intelligence 共同創辦人Rumman Chowdhury說：「我們促進思想和資訊交流，同時處理風險和機會。駭客社群接觸到不同的想法，社群合作夥伴獲得新的技能，為他們的未來打下基礎。」

NVIDIA於四月份以開源軟體的形式發布了NeMo Guardrails，這可以幫助開發人員引導生成式人工智慧應用程式創造令人印象深刻、保持在正軌上的文字回應，確保智慧的、大型語言模型驅動的應用程式是準確的、適當的、與主題相關且安全的。

為確保透明度並使這項技術能夠在各種環境中發揮作用，經過數年研究的NeMo Guardrails是開源的，而且大部分的NeMo對話式人工智慧框架已經以開源程式碼的形式在GitHub上提供，這為開發者社群在AI安全方面的巨大能量和開發工作做出了貢獻。

與DEF CON社群的互動進一步擴展了這一點，使NVIDIA能夠分享它在NeMo Guardrails方面所學到的知識，同時也從社群中學習。

這項活動的主辦單位包括SeedAI、Humane Intelligence和AI Village，他們將分析這些資料和發表他們的研究成果，包括過程和學習，以幫助其他組織進行類似的練習。

上週，主辦單位亦號召徵集研究提案，並在24 小時內就收到了數份來自領先研究人員的提案。
Chowdhury說：「由於這是首個大規模生成式人工智慧系統上的實時駭客事件，我們將一同學習。能夠複製這個練習，將AI測試交到數千人手中，這是其成功的關鍵。」

DEF CON 31於8月10日至13日在拉斯維加斯凱撒論壇舉行，生成式紅隊挑戰將於DEF CON 31中的AI Village進行。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點

人多力量大：NVIDIA 和生成式紅隊挑戰賽於DEF CON 安全會議派出數千人來審查 AI 安全

延伸閱讀

最近新增

最多人點閱