Articles

NVIDIA 推出 Isaac GR00T N1.5 和 GR00T-Dreams,加速人形机器人智能和仿真
- 全新 NVIDIA Isaac GR00T 人形开放模型即将在 Hugging Face 上下载
- GR00T-Dreams 蓝图生成数据来训练人形机器人推理和推理行为
- NVIDIA RTX PRO 6000 Blackwell 工作站和 RTX PRO 服务器加速机器人模拟和训练
- Agility Robotics、Boston Dynamics、Foxconn、Lightwheel、NEURA Robotics 和 XPENG Robotics 等众多采用 NVIDIA Isaac 的机器人制造商
NVIDIA 宣布NVIDIA Isaac GR00T N1.5,NVIDIA 开放、通用、完全可定制的类人推理和技能基础模型的首次更新; NVIDIA Isaac GR00T-Dreams,生成合成运动数据的蓝图;和 NVIDIA Blackwell 系统,加速人形机器人开发。
人形机器人和机器人开发商 Agility Robotics、Boston Dynamics、Fourier、Foxlink、Galbot、Mentee Robotics、NEURA Robotics、General Robotics、Skild AI 和小鹏机器人正在采用 NVIDIA Isaac™ 平台技术来推进人形机器人的开发和部署。
“物理人工智能和机器人技术将带来下一次工业革命,”NVIDIA 创始人兼首席执行官黄仁勋表示。 “从用于机器人的 AI 大脑到模拟世界,再到用于训练基础模型的 AI 超级计算机,NVIDIA 为机器人开发之旅的每个阶段提供了构建模块。”
全新 Isaac GR00T 数据生成蓝图缩小了数据差距
在黄仁勋的 COMPUTEX 主题演讲中展示的 NVIDIA Isaac GR00T-Dreams 是一个有助于生成大量合成运动数据的蓝图 —又名神经轨迹 - 物理 AI 开发人员可以用来教机器人新行为,包括如何适应不断变化的环境。
开发人员用户可以首先为其机器人进行 Cosmos Predict 世界基础模型 (WFM) 的后训练。然后,GR00T-Dreams 使用单个图像作为输入,生成机器人在新环境中执行新任务的视频。然后,该蓝图提取动作令牌(压缩的、可消化的数据片段),用于教导机器人如何执行这些新任务。
GR00T-Dreams 蓝图补充了 3 月份在 NVIDIA GTC 会议上发布的 Isaac GR00T-Mimic 蓝图。 GR00T-Mimic 使用 NVIDIA Omniverse™ 和 NVIDIA Cosmos™ 平台来增强现有数据,而 GR00T-Dreams 使用 Cosmos 生成全新数据。
新 Isaac GR00T 模型推进人形机器人开发
NVIDIA 研究使用 GR00T-Dreams 蓝图来生成用于开发 GR00T N1.5 的综合训练数据 - GR 的更新00T N1 - 只需 36 小时,而人工数据收集需要近三个月的时间。
GR00T N1.5 可以更好地适应新的环境和工作空间配置,并通过用户指令识别物体。此次更新显着提高了模型执行常见物料搬运和制造任务(例如分类或存放物体)的成功率。
GR00T N 模型的早期采用者包括 AeiRobot、Foxlink、Lightwheel 和 NEURA Robotics。 AeiRobot 利用这些模型使 ALICE4 能够理解自然语言指令并在工业环境中执行复杂的拾放工作流程。 Foxlink Group 正在利用它们来提高工业机器人操纵器的灵活性和效率,而 Lightwheel 则利用它们来验证合成数据,以便在工厂中更快地部署人形机器人。 NEURA Robotics 正在评估这些模型,以加速其家庭机器人的开发自动化系统。
新的机器人模拟和数据生成框架加速训练流程
开发高技能的人形机器人需要大量不同的数据,而捕获和处理这些数据的成本很高。机器人需要在物理世界中进行测试,这可能会带来成本和风险。
为了帮助缩小数据和测试差距,NVIDIA 推出了以下模拟技术:
- NVIDIA Cosmos Reason,这是一种新的 WFM,使用思维链推理来帮助为物理 AI 提供准确、更高质量的合成数据模型el训练,现已在Hugging Face上提供。
- Cosmos Predict 2(GR00T-Dreams 中使用的)即将在 Hugging Face 上推出,其特点是性能增强,可实现高质量的世界生成并减少幻觉。
- NVIDIA Isaac GR00T-Mimic,生成蓝图只需几次人类演示,即可为机器人操纵提供指数级的大量合成运动轨迹。
- 开源物理 AI 数据集,目前包含 24,000 个用于开发 GR00T N 模型的高质量人形机器人运动轨迹。
- NVIDIA Isaac Sim™ 5.0,一种模拟和合成数据生成工具框架即将在 GitHub 上公开发布。
- NVIDIA Isaac Lab 2.2,这是一个开源机器人学习框架,它将支持新的评估环境,帮助开发人员测试 GR00T N 模型。
富士康和 Foxlink 正在使用 GR00T-Mimic 蓝图来生成合成运动操纵,以加速其机器人训练流程。 Agility Robotics、Boston Dynamics、Fourier、Mentee Robotics、NEURA Robotics 和 XPENG Robotics 正在使用 NVIDIA Isaac Sim 和 Isaac Lab 模拟和训练他们的人形机器人。斯基尔德AI 正在使用仿真框架来开发通用机器人智能,而 General Robotics 正在将其集成到其机器人智能平台中。
面向机器人开发人员的通用 Blackwell 系统
全球系统制造商正在构建 NVIDIA RTX PRO™ 6000 工作站和服务器,提供单一架构,可轻松运行训练、合成数据生成、机器人学习和仿真中的每个机器人开发工作负载。
思科、戴尔技术公司、 Hewlett Packard Enterprise、联想和 Supermicro 宣布推出支持 NVIDIA RTX PRO 的服务器,戴尔科技集团、HPI 和联想宣布推出支持 NVIDIA RTX PRO 6000 Blackwell 的工作站。
当需要更多计算来运行大规模训练或数据生成工作负载时,开发人员可以利用 GB200 NVL72 等 NVIDIA Blackwell 系统 — 可通过领先云提供商的NVIDIA DGX™ Cloud获得和NVIDIA 云合作伙伴 - 将数据处理性能提高高达 18 倍。
开发人员可以将其机器人基础模型部署到即将推出的 NVIDIA Jetson Thor 平台,从而加速机器人推理和运行时性能。