近两年来，人形机器人成为了市场关注的热点，特别是大模型出现后，将人形机器人与大模型相结合，让人形机器人更具想象空间了。如今，NVIDIA也开始下场做人形机器人了，在近期的GTC 2024大会上，他们推出了人形机器人通用基础模型Project GR00T（Generalist Robot00 Technology，通用机器人技术00），该模型可以接收语言、视频和人类演示作为输入，并将其与过去的经验结合起来生成下一步的动作。

在GTC 2024 大会上，黄仁勋展示了多台基于GR00T的机器人如何完成各种复杂任务。这些机器人不仅能够在各种环境中自如行动，还能够与人类进行自然交互。它具备强大的自然语言理解能力，能够通过观察人类行为来模仿动作，实现快速学习协调、灵活性和其他技能。在导航、适应现实世界并与人类互动等方面，GR00T展现出了潜力。

专为人形机器人打造

GR00T 驱动的机器人（代表通用机器人 00 技术）将能够理解自然语言，并通过观察人类行为来模仿动作——快速学习协调、灵活性和其它技能，以便导航、适应现实世界并与之互动。在 GTC 大会的主题演讲中，NVIDIA 创始人兼首席执行官黄仁勋展示了数台这样的机器人是如何完成各种任务的。

为了提供更大的算力支持，NVIDIA 还发布了一款基于 NVIDIA Thor 系统级芯片（SoC）的新型人形机器人计算机 Jetson Thor，Jetson Thor 是一个全新的计算平台，能够执行复杂的任务并安全、自然地与人和机器交互，具有针对性能、功耗和尺寸优化的模块化架构。

该 SoC 包括一个带有 transformer engine 的下一代 GPU，其采用 NVIDIA Blackwell 架构，可提供每秒 800 万亿次8位浮点运算 AI 性能，以运行 GR00T 等多模态生成式 AI 模型。凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽，大大简化了设计和集成工作。

此外，NVIDIA还对NVIDIA Isaac™ 机器人平台进行了重大升级，包括生成式 AI 基础模型和仿真工具，以及 AI 工作流基础设施。

升级Isaac机器人平台

数据收集是机器人开发的最大难点之一，目前机器人训练有三条途径：分别是现实世界的训练，数字模拟的训练，观看人类在现实世界的视频。训练具身智能模型需要海量的真实数据和合成数据。新的 Isaac Lab 是一个 GPU 加速、性能优化的轻量级应用，基于 Isaac Sim 而构建，专门用于运行数千个用于机器人学习的并行仿真。

为了扩展异构计算的机器人开发工作负载，OSMO 在分布式环境中协调数据生成、模型训练和软硬件在环工作流。

NVIDIA 还发布了 Isaac Manipulator 和 Isaac Perceptor 等一系列机器人预训练模型、库和参考硬件。

Isaac Manipulator 为机械臂提供了卓越的灵活性和模块化 AI 功能，并提供了一系列强大的基础模型和 GPU 加速库。它提供了高达 80 倍的路径规划加速，零样本感知提高了效率和吞吐量，使开发者能够实现更多新的机器人任务的自动化。早期生态系统合作伙伴包括安川电机、泰瑞达旗下子公司优傲、PickNik Robotics、Solomon、READY Robotics 和 Franka Robotics。

Isaac Perceptor 提供了多摄像头和 3D 环绕视觉功能，这些功能正越来越多地被制造业和物流业中的自主移动机器人所采用，以提高效率和更好地保护工人，同时降低错误率和成本。早期采用者包括 ArcBest、比亚迪和凯傲集团等，它们的目标是为物料搬运等操作带来新的自主化水平。

结语

目前，在人形机器人合作方面，NVIDIA已经开始与1X Technologies、Agility Robotics、Apptronik、波士顿动力公司、Figure AI、傅利叶智能、Sanctuary AI、宇树科技和小鹏鹏行等在进行合作了。而Figure是目前已知的唯一公开用了大模型的厂商，目前基本处于行业第一的水平。相信不久的将来会有越来越多的人形机器人公司将AI大模型引入，从而让人形机器人更加智能。