Articles

Agility Robotics 采用 NVIDIA Jetson Thor 推进人形机器人的实时 AI
在 Agility Robotics,我们不断突破机器人在现实世界中感知、决定和执行的界限。这意味着我们的硬件并不是唯一不断发展的东西——我们的计算需求也在快速增长。这就是为什么我们很高兴开始开发新的 NVIDIA Jetson Thor。
像 Digit 这样的机器人依靠深度学习来实现广泛的功能:
- 全身控制可以流畅地适应不可预测的地形,并且对环境的不确定性和碰撞具有鲁棒性
- 精确、熟练且能够执行有意义的操作任务
- 感知,建立对环境的连贯理解,为推理和决策提供信息
其中每一项都需要大量的机载计算。随着机器人承担更多的责任随着耗时、安全关键的任务的出现,对直接在机器人上运行的实时 AI 的需求不断增长,模型的规模和复杂性也随之增加。
我们使用 NVIDIA Isaac Lab 的模拟优先工作流程来进行强化学习和模拟到模拟验证。我们还在探索 NVIDIA Nvblox 来推进导航和避障——这些管道最终依赖于更强大的机载计算才能大规模运行。
这就是 Jetson Thor 的用武之地。Thor 将使我们能够在本地、客户设施和部署中的机器人上运行更大、更强大、更智能的策略和推理模型。我们看到两个特别令人兴奋的探索领域:
端到端操纵
数字与人类环境中的物体交互的能力取决于对上下文、接触和控制的推理。运行更大的端到端 mani船上的计算策略将使 Digit 能够更快地做出反应并处理更复杂的任务,从货架备货到协助物流,并将提高对新环境的泛化能力。
高级场景理解
对于在人类周围工作的机器人来说,意识就是一切。通过 Thor,我们将探索更丰富的机上语义感知。同样,通过深度学习,边缘规模就是一切 - 因此我们将能够测试更大、更强大的模型,这些模型可以更好地处理我们的机器人必须应对的多变环境和问题。
探索 Jetson Thor 不仅仅是原始性能基准,它还为未来机器人的设计提供信息,其中计算与执行器和传感器一样重要。 将智能直接扩展到机器人的能力为构建更灵活、更有用的机器人打开了大门通用机器人。