• NVIDIA 发布了物理 AI 代理技能和工具的主要开源集合，涵盖 NVIDIA Omniverse、Cosmos、Alpamayo 和 Metropolis，适用于机器人、自动驾驶车辆、视觉 AI 和工业数字化
• 新的物理 AI 技能将复杂的物理 AI 训练、评估和部署工作流程转变为可重复、优化且代理可执行的指令。
• Agile Robots、Cadence、达索系统、台达电子、富士康、和硕、PTC、西门子、新思科技和台积电等行业领导者正在使用 NVIDIA 物理 AI 工具来加速物理 AI 开发。

NVIDIA 宣布推出一系列主要开源项目物理人工智能技能和工具可帮助开发人员将复杂的机器人、自动驾驶汽车 (AV)、视觉人工智能和工业数字孪生工作流程转变为代理可执行的任务 - 降低成本，蒂姆大规模构建物理人工智能工作流程的复杂性和复杂性。

随着人工智能代理从编写代码转向编排整个开发任务，物理人工智能是下一个前沿。 NVIDIA 物理 AI 技能作为 NVIDIA Agent Toolkit 的一部分提供，可让代理使用 NVIDIA 库、模型和框架来加速机器人、自动驾驶汽车、工厂和实验室背后的数据生成、模拟、训练、评估和部署流程。

“AI 代理正在彻底改变软件开发，而这种转变现在正在物理 AI 领域发生，并扩展到将改变运输、制造、医疗保健和机器人技术的系统，”NVIDIA 创始人兼首席执行官黄仁勋 (Jensen Huang) 表示。 “当代理可以直接使用 NVIDIA 库、模型和框架时，物理 AI 开发将会加快，使开发人员能够以令人难以置信的速度构建未来的机器人、自动驾驶汽车和工业系统。”

代理就绪工具和技能物理 AI 开发
NVIDIA 正在通过将库、模型和框架转变为代理可调用的工具来优化代理的整个物理 AI 堆栈。其中包括用于物理世界推理和生成的 NVIDIA Cosmos™ 世界基础模型、用于模拟和数字孪生的 NVIDIA Omniverse™ 库、用于机器人仿真和机器人学习的 NVIDIA Isaac™、用于视觉 AI 的 NVIDIA Metropolis、用于自动驾驶的 NVIDIA Alpamayo 以及用于边缘 AI 的 NVIDIA Jetson™ 平台

为了帮助开发人员应用这些工具，NVIDIA 正在推出新技能，作为 NVIDIA Agent Toolkit 的一部分，将物理 AI 开发过程转变为编码代理可以遵循的可重复指令。这包括调用哪些工具、生成哪些输出以及开发人员如何验证结果。

开发人员还可以使用这些技能与NVIDIA NemoClaw™ 蓝图和 NVIDIA OpenShell™ 运行时，可在本地或云硬件上提供基于策略的安全和隐私治理。

NVIDIA 物理 AI 技能和工具正在加速以下领域的代理开发：

• 机器人和边缘 AI：机器人开发人员可以使用技能来加速整个机器人开发流程，从生成感知和移动训练数据到模拟、自动化导航训练、推进机器人学习和调整基于 Jetson 的边缘系统以进行部署。
• 自动驾驶车辆：对于 AV 开发人员来说，技能可以指导代理将车队捕获的数据重建到模拟环境中，大规模生成逼真的驾驶场景，并运行闭环强化学习以扩大培训和评估范围。
• 实时视觉 AI 代理：对于自动检查和视频智能，代理技能有助于团队生成合成训练数据、微调模型、自动标记并构建视频 AI 代理，以搜索、总结和分析实时或录制的视频。
• 工业 AI：工业软件开发人员可以使用这些技能将工程数据转换为计算机辅助设计 (CAD) 资产以进行数字孪生仿真，以更少的手动设置优化大型 OpenUSD 场景。
• 医疗保健：在临床环境中部署自动化之前，医疗保健团队可以指导通过医院环境数字孪生创建、模拟真实数据生成和软件在环策略测试来帮助代理。

这些技能可以组合并集成到更大的代理系统中，使开发人员能够编排和自动化复杂的工作流程，例如数据生成、模拟、优化、推理调整、持续评估等。

行业领导者利用 NVIDIA 物理 AI 技术构建
行业文件制造、自动驾驶汽车、医疗保健和工业软件领域的广告商正在使用 NVIDIA 物理 AI 库来推进自主系统和工业 AI 的开发。

随着这些库为代理做好准备，开发人员可以使用 NVIDIA 技能来帮助代理在复杂的物理 AI 工作流程中实现自动设置、执行和迭代。

在电子制造领域，台积电和和硕正在微调视觉检测模型。和硕利用缺陷图像生成技能生成的合成数据，将模型训练和部署时间缩短了 67%。

台达电子生成了合成缺陷数据，并使用该技能捕捉金属母排上的多余焊接，将检测率提高了 17%。英业达通过集成缺陷图像生成技术开发了 Observation Agent 视觉检测管道，将笔记本电脑机箱制造的缺陷数据收集工作减少了 30%。富士康与 DeepHow 合作，利用该技能改进制造通过及早发现错误来提高效率，将首次通过率提高约 3%。

对于自动驾驶汽车，理想汽车、Afari 和 DeepRoute.ai 使用 NVIDIA Omniverse NuRec 模型进行神经场景重建和渲染，每天生成 1,000 多个重建以及超过 300,000 次渲染和模拟。此外，他们还利用新的代理技能存储库来加速和增强更安全、更强大的自动驾驶系统的开发。

在工业人工智能领域，Cadence、达索系统、西门子和Synopsys正在使用 NVIDIA Omniverse 库和技能来进行工程数据检查、模拟和交互式数字孪生。 PTC、MetAI 和 Lightwheel 正在利用 NVIDIA Isaac Sim™ 框架和基于 OpenUSD 的工作流程，将 CAD 数据转换为模拟就绪的资产和环境。作为其 Autonomous Fab 2030 路线图的一部分，SK hynix 正在使用 NVIDIA Omni 实施半导体工厂数字孪生verse，并与 NVIDIA 和 SK Telecom 合作，验证适用于制造业特定物理 AI 的 NVIDIA Agent Toolkit。

1x、Agile Robots、Agility、FieldAI、Hexagon Robotics、NEURA Robotics、Skild AI 和 Universal Robots 等机器人领导者使用 NVIDIA 的代理就绪物理 AI 堆栈来加速从数据生成到部署的机器人开发。

富士康和仁宝正在使用 NVIDIA Isaac医疗保健加速医院机器人技术。富士康正在多家医院和长期护理环境中扩展 Nurabot，将人工智能驱动的机器人技术引入患者护理领域，并推出新型擦洗护士协作机器人以帮助优化手术室工作流程。仁宝正在推进其 PolyMedX 机器人的开发进程，打造一个全医院范围的编排平台，将模拟、人工智能和现实操作相结合。

可用性
NVIDIA 物理 AI 代理工具和技能现已通过GitHub 和 skills.sh 可与任何编码代理一起使用。 

用于合成数据生成的代理技能和工具 - 神经重建、视频增强、缺陷图像生成 - 也可以在 NVIDIA Brev 上立即尝试，作为物理 AI Launchables，这是捆绑代理技能和工具以加快合成数据生成和评估速度的预配置环境。

Microsoft、CoreWeave 和Nebius 正在将这些代理技能和工具与其云服务集成，使开发人员能够简化和扩展合成数据的生成和部署。