• 全新 NVIDIA Omniverse NuRec 3D 高斯分布库支持大规模世界重建
• 全新 NVIDIA Cosmos 模型支持世界生成和空间重建推理
• 全新 NVIDIA RTX PRO Blackwell 服务器和 NVIDIA DGX 云让开发人员能够随时随地运行要求最严苛的模拟
• 物理 AI 领导者 Amazon Devices & Services、Boston Dynamics、Figure AI 和 Hexagon 拥抱模拟和合成数据生成

NVIDIA 宣布推出新的 NVIDIA Omniverse™ 库和 NVIDIA Cosmos™ 世界基础模型 (WFM)，可加速机器人解决方案的开发和部署。

在新的 NVIDIA RTX PRO™ 服务器和 NVIDIA DGX™ 云的支持下，这些库和模型可让世界各地的开发人员开发物理精确的数字机器人双胞胎，在模拟中捕获和重建现实世界，生成合成数据用于训练物理人工智能模型并构建理解物理世界的人工智能代理。

“计算机图形和人工智能正在融合，从根本上改变机器人技术，”NVIDIA Omniverse 和模拟技术副总裁 Rev Lebaredian 说道。 “通过将人工智能推理与可扩展、物理精确的模拟相结合，我们使开发人员能够构建未来的机器人和自动驾驶汽车，这些机器人和自动驾驶汽车将改变数万亿美元的行业。”

新的 NVIDIA Omniverse 库推进世界构成应用
新的NVIDIA Omniverse 软件开发套件 (SDK) 和库现已推出，用于构建和构建部署工业人工智能和机器人模拟应用。

• 新的 Omniverse SDK引入了 MuJoCo (MJCF) 和通用场景描述 (OpenUSD) 之间的数据互操作性，使超过 250,000 个 MJCF 机器人学习开发人员能够跨平台无缝模拟机器人。
• 新的 Omniverse NuRec库和人工智能模型引入了 Omniverse RTX 光线追踪3D 高斯喷射，这是一种渲染技术，可让开发人员使用传感器数据捕获、重建和模拟 3D 现实世界。
• NVIDIA Isaac Sim™ 5.0 和 NVIDIA Isaac Lab 2.2 开源机器人模拟和学习框架现已在 GitHub 上提供。 Isaac Sim 现在包括 NuRec 神经渲染以及基于 OpenUSD 的新机器人和传感器架构，可帮助机器人开发人员缩小模拟与现实之间的差距。

Omniverse NuRec rendering 现已集成到 CARLA 中，CARLA 是一款领先的开源模拟器，已被超过 150,000 名开发人员使用。 自动驾驶汽车 (AV) 工具链领导者Foretellix正在集成 NuRec、NVIDIA Omniverse Sensor RTX™ 和 Cosmos Transfer，以通过物理准确的场景增强其可扩展的合成数据生成。 Voxel51 用于视觉和多模式 AI 的数据引擎 FiftyOne 支持 NuRec，以简化重建的数据准备工作。福特和保时捷等客户都在使用 FiftyOne。

Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 库、Isaac Sim 和 Isaac Lab 来加速他们的 AI 机器人开发，而 Amazon Devices & Services 正在使用它们来支持新的制造解决方案。

Cosmos 推动世界一代的发展机器人
Cosmos WFM，下载量超过 200 万次，让我们一起开发用户使用文本、图像和视频提示生成用于大规模训练机器人的各种数据。

SIGGRAPH 上宣布的新模型在合成数据生成速度、准确性、语言支持和控制方面取得了重大进步：

• Cosmos Transfer-2，即将推出，可简化提示并加速从真实 3D 模拟场景或空间生成逼真的合成数据控制深度、分割、边缘和高清地图等输入。
• Cosmos Transfer 的精简版将 70 个步骤的蒸馏过程简化为一个步骤，以便开发者能够以前所未有的速度在 NVIDIA RTX PRO 服务器上运行模型。

Lightwheel、Moon Surgical 和 Skild AI 正在使用 Cosmos Transfer 通过模拟各种条件来加速物理 AI 训练

Cosmos Reason 突破世界认知
自从引入 OpenAI 的 CLIP 模型、视觉语言模型（VLM）已经改变了物体和模式识别等计算机视觉任务。然而，它们还无法解决多步骤任务，也无法处理模糊性或新颖的体验。

NVIDIA Cosmos Reason - 一种用于物理 AI 和机器人的全新开放式、可定制、70 亿参数推理 VLM，让机器人和视觉 AI 代理像人类一样进行推理，利用先验知识、物理理解和常识来理解现实世界并在现实世界中采取行动。 

Cosmos Reason 可用于机器人和物理人工智能应用，包括：

• 数据管理和注释，使开发人员能够自动对海量、多样化的训练数据集进行高质量管理和注释。
• 机器人规划和推理，充当大脑，在机器人视觉语言动作中进行深思熟虑、有条不紊的决策（VLA）模式l。 Cosmos Reason 可以让机器人解释环境，并根据复杂的命令将其分解为任务，并使用常识执行这些任务，即使在不熟悉的环境中也是如此。
• 视频分析 AI 代理基于NVIDIA 视频搜索和摘要蓝图构建，可以提取有价值的见解并对大量视频数据执行根本原因分析。

NVIDIA 的机器人技术NVIDIA DRIVE™ 团队正在使用 Cosmos Reason 进行数据管理和过滤、注释和 VLA 后期训练。 Uber 正在使用它来注释和描述 AV 训练数据。

麦格纳正在与 Cosmos Reason 一起开发，作为其城市交付平台的一部分，这是一个完全自主、低成本的即时交付解决方案，以帮助车辆更快地适应新城市。 Cosmos Reason 为车辆的长期轨迹规划增添了对世界的理解。 VAST 数据、里程碑系统和 Linker Vision 正在采用 Cosmos Reason 来自动化交通监控、提高安全性并增强城市和工业环境中的视觉检查。

全新 NVIDIA AI 基础设施为随时随地的机器人工作负载提供支持
为了使开发人员能够充分利用这些先进技术和软件库，NVIDIA 宣布了专为最苛刻的工作负载而设计的 AI 基础设施。

• NVIDIA RTX PRO Blackwell服务器为训练、合成数据生成、机器人学习和模拟中的每个机器人开发工作负载提供单一架构。
• NVIDIA DGX Cloud（可在Microsoft Azure Marketplace上获取）现在为 Omniverse 开发人员提供了一个完全托管的平台，以简化 OpenUSD 和 NVIDIA 流式传输来自云端的基于 RTX™ 的大规模应用程序，最大限度地减少基础设施编排和管理。埃森哲和 Hexagon 是首批采用该平台的行业领导者之一。

加速开发者生态系统
为了帮助机器人和物理 AI 开发者推进 3D 和模拟技术的采用，NVIDIA 还宣布：

• OpenUSD 课程和认证，在 AOUSD 成员 Adobe、Amazon 的支持下，满足对美元专业知识的需求Robotics、Ansys — Synopsys、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 的一部分，以及 Hexagon 等行业领导者。
• 与 Lightwheel 进行开源合作，将机器人策略训练和评估框架集成到 NVIDIA Isaac Lab 中，提供用于机器人操纵和运动的并行强化学习训练功能、基准测试和模拟就绪资产。