在德国慕尼黑举行的机器人学习会议 (CoRL) 上，Hugging Face 和 NVIDIA 宣布合作，通过汇集开源机器人社区来加速机器人研究和开发。

Hugging Face 的 LeRobot 开放 AI 平台与 NVIDIA AI、Omniverse 相结合和 Isaac 机器人技术将使研究人员和开发人员能够推动制造、医疗保健和物流等多个行业的进步。

物理 AI 时代的开源机器人

物理 AI 时代（机器人理解环境的物理属性）已经到来，它正在迅速改变世界各行各业。

为了推动和维持这一快速创新，机器人技术研究人员和开发人员需要访问开源、可扩展的框架涵盖机器人训练、模拟和推理的开发过程。通过在共享框架下发布的模型、数据集和工作流程，可以随时使用最新的进展，无需重新创建代码。

Hugging Face 领先的开放式 AI 平台为超过 500 万机器学习研究人员和开发人员提供服务，提供简化 AI 开发的工具和资源。 Hugging Face 用户可以访问和微调最新的预训练模型，并在通用 API 上构建 AI 管道，在 Hugging Face Hub 上可免费访问超过 150 万个模型、数据集和应用程序。

由 Hugging Face 开发的 LeRobot 将成功范例从 Transformers 和 Diffusers 库扩展到机器人领域。乐机器人提供了一套全面的工具，用于共享数据收集、模型训练和模拟环境，以及低成本机械手套件的设计。

NVIDIA 的 AI 技术、模拟和仿真NVIDIA Isaac Lab 等开源机器人学习模块化框架可以加速乐机器人的数据收集、训练和验证工作流程。研究人员和开发人员可以共享他们使用 LeRobot 和 Isaac Lab 构建的模型和数据集，为机器人社区创建数据飞轮。

通过模拟扩展机器人开发

开发物理 AI 具有挑战性。与使用大量互联网文本数据的语言模型不同，基于物理的机器人依赖于物理交互数据和视觉传感器，而这些数据很难大规模收集。收集真实世界的机器人数据，以便在大量任务和环境中进行灵巧操作，既耗时又费力。

为了让这一切变得更容易，基于 NVIDIA Isaac Sim 构建的 Isaac Lab 可以使用高保真渲染和物理原理，通过演示或模拟试错来进行机器人训练模拟创建真实的合成环境和数据。通过将 GPU 加速的物理模拟和并行环境执行相结合，Isaac Lab 能够通过一次演示生成大量训练数据（相当于数千个真实世界的体验）。

生成的运动数据随后用于通过模仿学习来训练策略。在模拟中成功训练和验证后，这些策略将被部署在真实的机器人上，并在其中进行进一步的测试和调整，以实现最佳性能。

这个迭代过程利用了现实世界数据的准确性和模拟合成数据的可扩展性，确保机器人系统稳健可靠。

通过在 Hugging Face 上共享这些数据集、策略和模型，创建了一个机器人数据飞轮，使开发人员和研究人员能够在彼此的工作基础上进行构建，加速机器人系统的进展。领域。

“机器人社区蓬勃发展佐治亚理工学院助理教授 Animesh Garg 表示，“通过采用 Hugging Face 的 LeRobot 和 NVIDIA Isaac Lab 等开源框架，我们加快了人工智能驱动的机器人技术的研究和创新步伐。”

促进协作和社区参与

计划的协作工作流程包括通过远程操作和模拟收集数据。 Isaac Lab 以标准 LeRobotDataset 格式存储使用 GR00T-Mimic 生成的数据，然后用于通过模仿学习来训练机器人策略，随后在模拟中进行评估。最后，将经过验证的策略部署在具有 NVIDIA Jetson 的现实机器人上以进行实时推理。

此次合作的初步步骤已经完成，展示了在 NVIDIA Jetson Orin Nano 上运行的 LeRobot 软件的物理拾取设置，并提供了功能强大、结构紧凑的 c

乐机器人首席研究科学家 Remi Cadene 表示：“将 Hugging Face 开源社区与 NVIDIA 硬件和 Isaac Lab 模拟相结合，有望加速机器人 AI 创新。

这项工作建立在 NVIDIA 在边缘生成式 AI 社区贡献的基础上，支持最新的开放模型和库，例如 Hugging Face Transformers，优化大型语言模型的推理。 (LLM)、小语言模型 (SLM) 和多模态视觉语言模型 (VLM)，以及 VLM 基于动作的视觉语言动作模型 (VLA) 变体、扩散政策和语音模型 - 所有这些都得到社区驱动的强大支持。

Hugging Face 和 NVIDIA 共同致力于加速机器人研究人员和开发人员的全球生态系统的工作，推动从运输到制造和物流等行业的转型。