NVIDIA 將生成式 AI 工具、模擬和感知工作流程帶入 ROS 開發者生態系在 ROSCon 上宣布的更新旨在加速 AI 驅動機械手臂和自主移動機器人的開發

ITMan!資訊新聞 PCDIY!業界新聞

NVIDIA 將生成式 AI 工具、模擬和感知工作流程帶入 ROS 開發者生態系在 ROSCon 上宣布的更新旨在加速 AI 驅動機械手臂和自主移動機器人的開發

文．圖／陳仁智 2024-10-23 12:46:08

在歐登塞（Odense） — 丹麥最古老的城市之一、也是自動化據點 — 舉行的 ROSCon 大會上，NVIDIA 與其機器人生態系合作夥伴宣布發表生成式人工智慧（AI）工具、模擬和感知 AI 工作流程，以促進機器人操作系統（Robot Operating System，ROS）開發者社群的發展。

發布的內容包括 NVIDIA Isaac ROS 和 NVIDIA Isaac Sim 技術與開發者指南，其中包含新的生成式 AI 節點和工作流程，供 ROS 開發人員部署到 NVIDIA Jetson 平台以實現邊緣 AI 和機器人技術。Isaac Sim 中基於物理的模擬技術可幫助 ROS 開發者在部署之前模擬和驗證 AI 模型。生成式 AI 使機器人能夠感知和理解周圍環境的情境，自然地與人類交流，並自主做出適應性決策。

生成式 AI 進入 ROS 社群

基於 ROS 2 架構的 ReMEmbR 利用生成式 AI 增強了機器人的推理與行動能力。它結合了大型語言模型（LLM）、視覺語言模型（VLM）以及檢索增強生成技術，使機器人能夠構建和查詢長期語義記憶，提升其在環境中的導航和互動能力。

語音識別功能由 WhisperTRT ROS 2 節點驅動。該節點使用 NVIDIA TensorRT 最佳化 OpenAI 的 Whisper 模型，實現 Jetson 上的低延遲推論，從而實現回應靈敏的人機互動。

具有語音控制功能的 ROS 2 機器人專案使用 NVIDIA Riva ASR-TTS 服務，使機器人能夠理解並回應語音指令。美國太空總署（NASA）噴射推進實驗室（Jet Propulsion Laboratory，JPL）獨立展示了 ROSA，這是一種用於ROS的AI驅動代理，在 Isaac Sim 的 Nebula-SPOT 機器人上運作。

在 ROSCon 上，Canonical 展示了 NanoOWL，這是在 Jetson Orin Nano 模組系統上運行的零樣本目標偵測模型。它使機器人能夠在不依賴預先定義分類的情況下，即時識別各種物體。

開發人員現在就可以開始使用 ROS 2 Nodes for Generative AI，它帶來了由 NVIDIA Jetson 最佳化的大型語言模型與視覺語言模型，以增強機器人的能力。

以「模擬優先」方法增強 ROS 工作流程

模擬對於在部署前安全測試和驗證 AI 驅動的機器人至關重要。Isaac Sim 是一款基於 OpenUSD 和 RTX 的機器人模擬參考應用，為 ROS 開發者提供了一個虛擬環境，可以透過輕鬆連接到他們的 ROS 套件來測試機器人。全新的《使用 Isaac Sim 的 ROS 2 工作流程初學者指南》現已推出，該指南說明了機器人模擬和測試的端到端工作流程。

Foxglove 作為 NVIDIA Inception 新創計畫的成員，展示了一項整合功能，可幫助開發人員透過使用基於 Isaac Sim 構建的 Foxglove 客製化擴展，即時檢視模擬數據並進行除錯。

Isaac ROS 3.2 的新功能

Isaac ROS 建立在開源 ROS 2 軟體架構上，是一套用於機器人開發的加速運算套件和 AI 模型。即將發布的 3.2 版本增強了機器人感知、操作和環境映射能力。

Isaac Manipulator 的主要升級包括整合 FoundationPose 和 cuMotion 的全新參考工作流程，以加速機器人技術中拾取與放置和物件追蹤管道的開發。

另一個升級則是 Isaac Perceptor，它具有新的視覺 SLAM 參考工作流程、增強的多攝影機偵測和 3D 重建功能，以提高自主移動機器人（AMR）在倉庫等動態環境中的環境感知能力和效能。

採用 NVIDIA Isaac 的合作夥伴

機器人公司正在將 Isaac ROS 加速函式庫和AI模型整合到他們的平台中。

● Teradyne Robotics 旗下公司 Universal Robots 推出了新的 AI 加速器工具套件，以支援 AI 驅動的協作機器人（cobot）應用的開發。
● Miso Robotics 正在使用 Isaac ROS來加速其AI驅動的薯條製作機器人Flippy Fry Station，並推動食品服務自動化的效率和準確性提升。
● Wheel.me 正在與 RGo Robotics 和 NVIDIA 合作，使用 Isaac Perceptor 建立生產就緒的 AMR。
● Main Street Autonomy 正在使用Isaac Perceptor 來簡化感測器校準。
● Orbbec 發布了 Perceptor Developer Kit，為適用於 Isaac Perceptor 的開箱即用 AMR 解決方案。
● LIPS Corporation 推出了多攝影機感知開發套件，以改善 AMR 導航。
● Canonical 強調為 ROS 開發人員提供經過全面認證的 Ubuntu 環境，提供開箱即擁有的長期支援。

在 ROSCon 與合作夥伴交流

ROS 社群成員和合作夥伴，包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、Siemens 和 Teradyne Robotics，將在丹麥舉辦工作坊、講座、攤位展示和會議。活動亮點包括：

● 來自 Open Navigation LLC 的 Steve Macenski 主持的「Nav2 User Meetup」討論聚會
● 由 BMW AG 的 Michael Gentner 和 Siemens AG 的 Carsten Braunroth 主持的「ROS in Large-Scale Factory Automation」
● NVIDIA 的「Integrating AI in Robot Manipulation Workflows」討論聚會
● NVIDIA 的「Accelerating Robot Learning at Scale in Simulation」討論聚會
● Open Navigation 的 Macenski 的「On Use of Nav2 Docking」

此外，Teradyne Robotics 和 NVIDIA 將於 10 月 22 日（星期二）在丹麥歐登塞共同舉辦午餐會和晚間接待會。

ROSCon 由開源機器人基金會（Open Source Robotics Foundation，OSRF）主辦。NVIDIA 是開源機器人（Open Robotics）的白金級支持者，該組織是 OSRF 及其所有計畫的聯合組織。

欲了解 ROSCon 的最新消息，請至 ROSCon 網頁。

→更多的【PCDIY!業界新聞】：請見

→更多的【PCDIY!賣場情報】：請見

→更多的【PCDIY!科技情報】：請見

→更多的【IT資訊新聞】：請見

→更多的【ITMan!資訊經理人】：請見

→更多的【PCDIY!八卦】：請見

延伸閱讀

資料很貴的！叫你備份不聽！你知道硬碟故障資料救援：「救個資料，報價『3萬8』嗎？」

「黑心電源供應器」大爆發！大家可要小心一點阿！太恐怖了啦!!!

什麼！硬碟大廠Seagate，最新的行銷活動廣告，裡面居然出現：「我也不想當『死雞』隊友啊.................」

電腦展的話，不少人是醉翁之意不在酒，不是去看電腦展，而是去看妹展的！到底看妹，是要怎麼看呢？

磁碟陣列要選RAID 5還是RAID 6？有需要再用Hot spare嗎？這是一個好問題！

硬碟世界最「狂」記錄：「威騰WD RE 3TB硬碟驚爆鬧機瘟，48顆就壞25顆，死亡率高達52.08%...................」

什麼終身保固？網友說：「覺得被騙了！」終身保固≠終身換新≠終生免費，你覺得呢？

淘寶網帶來的跨境電商價格戰，對光華商場來說，是新危機？還是新轉機？

珍惜生命，遠離(成為)工具人

這邊有批8核心16執行緒CPU好便宜啊!!!

硬碟故障資料救援，等了一年八個月...

隨著香港電訊、日本So-net寬頻上網業者，陸續提供10G光纖上網，讓玩家與專業用戶享受高速上網的極速快感。反觀我們台灣，中華電信HiNet還在供裝光世代500M/250M與光世代1G/600M，可以說：「人家都上太空，我們還在殺豬公!!!」

高雄建國電腦商場，周圍稱為建國電腦商圈、建國3C商圈，爆發了倒店潮。網友議論紛紛，有的玩家認為跟原價屋有關，認為原價屋是殺手，真的是這樣嗎？

這個店家，讓各地店員嗆不爽去台北買這句話，從此走入歷史！

批踢踢實業坊PTT，這幾天有個網友PO文：「[請益] 約200T的貯存方案(預算10W～20W)」

高科技竹筷來啦！

SSD熱賣，玩家的最終看法：「用過，就回不去了！」

DDR4記憶體金手指歪掉惹..................

中國來的「360安全衛士防毒軟體」，「360安全卫士」這次獲得教授認證了！教授認證的「神防毒軟體」，這到底是「教授級防毒軟體」，還是防毒軟體是「會叫的野獸？」

電腦機殼破萬，是在搞什麼東西呢？

硬碟容量那麼大，玩家與專業用戶都在存什麼東西呢？原來答案是：「硬碟就是要裝謎片阿不然要幹嘛！」

什麼？Windows XP作業系統，還有老玩家在用呀！沒錯，真的是令人驚呆了！而且，這些玩家，宣稱：「打死不退、寧死不屈」，堅信：「再戰十年」

更多焦點

發表您的看法: 請勿張貼任何涉及冒名、人身攻擊、情緒謾罵、或內容涉及非法的言論。; 請勿張貼任何帶有商業或宣傳、廣告用途的垃圾內容及連結。; 請勿侵犯個人隱私權，將他人資料公開張貼在留言版內。; 請勿重複留言（包括跨版重複留言）或發表與各文章主題無關的文章。; 請勿張貼涉及未經證實或明顯傷害個人名譽或企業形象聲譽的文章。; 您在留言版發表的內容需自負言論之法律責任，所有言論不代表PCDIY!雜誌立場，違反上述規定之留言，PCDIY!雜誌有權逕行刪除您的留言。

焦點