• NVIDIA Cosmos 3 是一款领先排行榜的全新开放物理 AI 基础模型，建立在突破性的变形金刚混合架构之上，用于物理 AI 推理、世界模拟和动作生成。
• Cosmos 3 是世界上第一个完全开放的全模型，具有原生视觉推理和跨文本、图像、视频、环境声音和动作的多模态生成功能，可实现最先进的合成数据生成和物理 AI 策略模型开发。
• NVIDIA 与领先的 AI 实验室和机器人领导者（包括 Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI）共同发起 NVIDIA Cosmos 联盟，以推进下一代开放世界模型。

NVIDIA 推出NVIDIA Cosmos™ 3，物理 AI 的开放世界基础模型，建立在突破性的变形金刚混合架构之上，结合了视觉和视觉技术推理、世界生成和动作预测在单一系统中进行。

Cosmos 3 是世界上第一个完全开放的全模型，能够以领先的物理精度以原生方式理解和生成文本、图像、视频、环境声音和动作，将物理 AI 训练和评估周期从几个月缩短到几天。

NVIDIA 还推出了 NVIDIA Cosmos 联盟，这是世界模型构建者和 AI 开发者之间的全球合作——包括Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI — 携手推进下一代世界模型。

“由于多模态推理语言、视觉和世界模型方面的突破，物理 AI 的大爆炸即将来临，”NVIDIA 创始人兼首席执行官黄仁勋 (Jensen Huang) 表示。 “Cosmos 3 系列开放、前沿的全模型为开发人员提供了一代人的飞跃，让他们能够构建机器人、自动驾驶汽车和视觉人工智能，这些机器人、自动驾驶汽车和视觉人工智能能够感知、识别和识别。

物理人工智能的新架构
Cosmos 3 解决了物理人工智能的基本挑战：使机器人、自动驾驶车辆 (AV) 或视觉代理能够利用有限的训练数据和分散的模拟堆栈在现实世界中进行泛化。

该模型的混合变压器架构将推理变压器与专家生成变压器配对，使 Cosmos 3 能够理解对象在生成视频和动作轨迹之前，先对交互、运动和时空关系进行分析。

在最大的多模式物理 AI 数据集之一（包括文本、图像、视频、声音和动作轨迹的数十亿个样本）上进行训练，该模型为开发人员提供了强大的预训练基础，以更少的数据和更低的训练成本构建物理 AI 系统。

开发人员可以将 Cosmos 3 用作：

• A 视觉语言模组el，可以跨模态理解和推理。
• 世界模型或视频基础模型，用于模拟物理环境并预测未来世界状态，以进行训练和评估。
• 世界行动模型的支柱世界行动模型，帮助训练机器人执行特定任务。

Cosmos 3 模型在物理 AI 基准测试中提供领先的结果。在开放模型中，它在世界生成精度的Artificial Analysis、Physics-IQ、PAI-Bench和R-Bench中排名第一，在行动政策的RoboLab和RoboArena中排名第一，在视觉方面的VANTAGE-Bench和TAR排行榜上排名第一

Cosmos 3 系列为开发人员提供了物理 AI 开发不同阶段的选择：

• Cosmos 3 Super，适用于需要最高物理精度和生成质量的训练后机器人和 AV 模型。
• Cosmos 3 Nano，可在几分之一秒内实现高质量视频和动作推理。
• Cosmos 3 Edge，即将推出，用于边缘实时推理。

Cosmos 联盟加速开放世界模型开发
Cosmos 联盟是世界模型构建者、AI 开发者和物理 AI 领导者之间的全球合作，旨在推进开放世界跨行业的世界模型，使成员能够贡献模型、研究和评估技术，同时使用 Cosmos 3 技术、培训工具和 NVIDIA DGX™ Cloud 基础设施进行大规模培训。

创始联盟成员包括 Agile Robots、Black Forest Labs、Generalist、LTX、Runway 和 Skild AI。通过在共享生态系统中进行开放和贡献，该联盟旨在实现更快的创新、更广泛的互操作性以及物理人工智能更快速的进步。

开发人员在 Cosmos 上构建
Cosmos 平台form 为 NVIDIA 的物理 AI 堆栈提供支持，以加速跨行业的培训和评估工作流程。该平台现在包括用于机器人、物理、人体运动、自动驾驶、仓库安全和空间推理的新数据集，以及用于神经场景重建、缺陷图像生成和视频增强的新物理人工智能代理技能。

物理人工智能开发人员正在跨行业的 Cosmos 平台上进行构建 - Agile Robots、斗山机器人、LG 电子、三星电子和机器人领域的 Skild AI、自动驾驶领域的 Li Auto 以及自动驾驶领域的 Centific、Fogsphere、 Linker Vision、Milestone Systems 和 Yuan 用于视觉人工智能代理，为工业人工智能和智能空间应用提供支持。