NVIDIA 于 CoRL 大会上发表了 23 篇论文和举办 9 场工作坊,探讨机器人视觉语言模型、长期任务规划与技能学习等突破性技术,展示了未来机器人技术的多元应用前景。NVIDIA 发布了最新的 Isaac Lab 机器人学习框架,该平台基于 NVIDIA Omniverse 开发,并支援 OpenUSD 应用。Isaac Lab 为开发者提供一个开放的学习框架,适用于各种机器人,包括人形机器人、四足机器人和协作机器人,以应对复杂的动作需求。
GR00T 专案是 NVIDIA 针对人形机器人开发的一项计划,提供加速函式库、基础模型和资料管道。GR00T 内含六个专业工作流程,包含生成式 AI、机器人运动、灵巧操控等,为人形机器人开发者提供了实现高难度功能的蓝图。
NVIDIA 新推出的 Cosmos Tokenizer 工具能够将影像和影片分解为高压缩、高品质的标记,运行速度比现有工具快 12 倍。此技术为开发者提供了更优质的视觉标记功能,为人形机器人的影像资料管理提供高效解决方案。
NeMo Curator 增添了影片处理管道功能,能够提升世界模型的资料准确性与处理速度。透过多节点 GPU 系统的线性扩展,NeMo Curator 支援超过100PB的资料处理,有效解决大规模影片资料的管理难题。
随著 Cosmos Tokenizer 的运用,机器人开发者能以更高效率建构世界模型。此工具提供高效能的影像和影片重建技术,实现高达 12 倍的快速视觉重建,提升生成式应用的扩展性。
NVIDIA 实体 AI 资深研究经理 Jim Fan 表示,NVIDIA 与开发者生态系正携手合作,加速人形机器人技术进步。GR00T 专案提供的基础模型,助力企业如波士顿动力、小鹏机器人等发展更智能的机器人技术。
最新版本的 NVIDIA Isaac Lab 1.2 现已开源于 GitHub,而 Cosmos Tokenizer 已在 GitHub 和 Hugging Face 提供,NeMo Curator 的影片处理管道功能将于11月底正式上线。