视觉AI工具IsaacIsaac提供多摄像头、3D环绕视觉功能

aixo 2024-05-17 01:39:56
算力 2024-05-17 01:39:56

▍视觉 AI 工具 Isaac

Isaac 提供多摄像头、3D 环绕视觉功能,将综合提升机器人的感知力和空间层次感。

这是由于 Isaac 提供的多摄像头 360 度视觉功能,可以为机器人企业带来先进的视觉 AI 支撑,帮助其加快产品部署。目前随着视觉传感器的使用,基于视觉的功能正越来越多地用于制造和履行操作中采用的自主移动机器人和人形机器人,以提高效率和工人安全,并降低错误率和成本。据悉,Isaac 早期采用者包括 、比亚迪和凯傲集团,目前 正计划扩大其适用范围。

▍虚拟仿真工具 Isaac Lab

训练具身智能模型需要海量的真实数据和合成数据。新的 Isaac Lab 是一个 GPU 加速、性能优化的轻量级应用,基于 Isaac Sim 而构建,专门用于运行数千个用于机器人学习的并行仿真,可用于模拟机器人学习技能,支持数千个机器人同步训练模拟。Isaac Lab 受益于 此前发布的 技术,能用于基于物理信息、逼真且基于感知的强化学习任务。

据悉,国内人形机器人厂商傅利叶、小鹏等也参与该平台合作,并展出了机器人图像,在移动机器人领域,Isaac 和 Isaac 将共同降低 3D 感知成本,多传感器栈的每个 AMR 会处理来自六个传感器的视觉信息,而所有信息都会在数字孪生中进行仿真,保证最终动作执行的可靠性。

▍技术体系情况梳理

综合来看,目前 已经在机器人的四个方面有着持续布局。

在机器人多模态基础模型(通用大模型)领域, 成立 GEAR 实验室,聚焦具身智能大模型研究,基于大规模互联网数据源训练的 LLMs 用于规划与推理、视觉-语言模型,以及专家模型,旨在打通不同模态信息间的壁垒,提升智能机器人感知、认知、交互能力,加速指令式机器人向拥有超自主决断能力的自主机器过渡;

在机器人数据集获取领域, 则提出了新的方案。真实世界数据是机器人迈向场景应用的基础,利用 模拟器可模拟与合成数据,从而有望将真实世界数据集扩大 100 倍,构建大规模学习所需的仿真基础设施及合成数据流水线,配合 Isaac Lab,能为智能体的学习过程提供有力支持,大大减少昂贵的人工演示工作,加快机器人 AI 化进程;

在机器人硬件和 AI 开发平台上, 所提供的 Isaac Lab、 Thor 计算平台,结合 Isaac ,能够适应复杂环境,帮助用户搭建稳健移动与灵巧操作的机器人模型与系统,以提升其在各类实际场景下的普适性与效能,并借助生成式 AI 来文持大规模训练、开发和部署 AI 机器人,降低机器人开发门槛与开发成本。

在生态合作方面,目前 已经在为 1X 、 、、 、 AI、 、 AI、 和 XPENG 等领先的人形机器人公司构建全面的 AI 平台。同时, 在机器人领域还与追觅科技、、禾赛科技、九号公司、奥比中光、QT 、宇树科技等生态伙伴有着合作,拓展在机器人领域的布局。

在架构上,这些产品能够进行有机组合,从整体运行逻辑来看,其中 GR00T 模型负责训练机器人,GR00T 模型在 Isaac Sim 上仿真,Isaac Lab 平台负责模拟多种应用场景,并将模拟数据输入模型,由 Thor 驱动运转,过程中通过 OSMO 实现跨平台拓展,形成循环迭代。由于搭载全新 GPU 算力的芯片能为运行 GR00T 模型和 Isaac Lab 平台保驾护航,形成模型+软件(平台)+硬件(算力)一体化系统,全新 AI 解决方案也使人形机器人能在万亿参数的大语言模型上更好构建和运行实时生成式 AI。

整体而言, 入局机器人产业的核心逻辑是通过建立开发平台、通用模型来树立行业标准。有分析机构认为,当前机器人及人工智能相关产业仍处于第一阶段,即需要基本的算力和模型的突破,也已出现初代机器人相关产品, 机器人体系或将推动机器人产业快速进入载体快速发展阶段的第二阶段,促进国内及全球的机器人进入百家争鸣、百花齐放的新时期。

▍结语与未来

从产品、研发、投资多方面可以看出, 在机器人领域的布局综合且全面,包括工业、移动、人形机器人,并推出系列软件赋能整机厂商,包括多模态基础模型、加入动作生成的机器人模型与系统,为机器人训练构建了底层基础设施,一方面降低了机器人主机厂模型开发难度,提升机器人大脑的训练效率,另一方面也印证并加快了具身智能的产业进程,使其 AIGPU 产品在高成长性的机器人市场也能维持高占有率。

作为生成式 AI 浪潮中的领航者,将有望借此在保持统一且领先的算力基座上向行业应用渗透,未来基于 软硬件生态的各行业应用,将在单位算力成本下降的促进下全面开花,推动 继续成为新时代的领航者。

这恰恰正如 创始人兼首席执行官黄仁勋所言:“开发通用人形机器人基础模型是当今 AI 领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术,致力于在人工通用机器人领域实现突破。”