最新发布 | NVIDIA Isaac ROS为ROS开发者提供AI感知功能

自主机器人所面临的关键挑战之一是感知和理解周围的世界。

在 ROS World 2021 上，NVIDIA 发布了向 ROS 开发者社区提供高性能感知技术的最新项目。这些项目将加速产品开发、提高产品性能，并最终简化为将先进计算机视觉和 AI/ML 功能整合到基于 ROS 的机器人应用程序中的任务。

公告要点

• 性能最强的实时立体测距解决方案以 ROS 包的形式提供

• NGC 上的所有 NVIDIA 推理 DNN 均可以 ROS 组件的形式提供，并带有图像分割和姿态估计实例

• Isaac Sim 中的新合成数据生成（SDG）工作流程，可为视觉 AI 训练创建大规模生产级数据集

• Omniverse 上的 NVIDIA Isaac Sim GA 版本提供 ROS 开箱即用支持，是迄今为止对开发者最友好的版本

NVIDIA Isaac ROS GEM – 经过优化的性能

图1. NVIDIA Isaac ROS GEM 软件框架图

Isaac ROS GEM 提供图像处理和计算机视觉等组件，其中有针对 NVIDIA GPU 和 Jetson 进行高度优化的 DNN 算法。

重点GEM

立体视觉测距 – 超高的精度和经过优化的性能

当自主机器在环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像机与其起点的相对位置来解决这个问题。Isaac ROS GEM for stereo visual odometry 为 ROS 开发者提供这项强大的功能。

该 GEM 为实时立体摄像机视觉测距解决方案提供最佳精度。除了高精度之外，这个 GPU 加速组件的运行速度也非常快。现在已可以在 NVIDIA Jetson Xavier AGX 上以高清分辨率（1280×720）实时（>60fps）运行 SLAM。

重点 GEM DNN 推理现已向 ROS 开发者

开放所有 NGC DNN 推理模型

您可以使用 NVIDIA 在 NGC 上提供的众多推理模型中的任何一种，甚至可以使用 DNN 推理 GEM（一套ROS2软件包）提供自己的 DNN 推理模型。开发者可以使用 NVIDIA TAO 工具套件对预训练模型进一步调整或者对自定义模型进行优化。

经过优化后，这些组件由 NVIDIA 推理服务器 TensorRT 或 Triton 部署。凭借使用 TensorRT（NVIDIA高性能推理SDK）的节点，可实现最佳推理性能。如果 TensorRT 不支持所需的 DNN 模型，则应使用 Triton 来部署该模型。

GEM 包含对 U-Net 和 DOPE 的原生支持。基于 TensorRT 的 U-Net 组件可用于从图像中生成语义分割掩码。而 DOPE 组件可用于对所有检测到的物体进行三维姿态估计。

该工具是在 ROS 应用中加入高性能 AI 推理的最快方式。

图2. 来自3个Isaac ROS GEM的合成图像 - DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）

NVIDIA Isaac SIM GA 版本

Isaac Sim 的 GA 版本将于 2021 年 11 月发布，这将是迄今为止对开发者最友好的版本。其用户界面、性能和实用构建模块经过了大量改进，使用户可以更快构建更强大的模拟。此外，经过改进的 ROS 桥和更多 ROS 样本将提高 ROS 开发者的开发体验。

该版本的更新内容

（2021.2版本计划于2021年11月发布）

• 提升了性能，减少了内存用量和启动时间

• 经过改进的占位图生成，URDF 导入器

• 新的环境：大型仓库、办公室、医院

• 用于与机器人、物体、环境对接的新 Python 构建模块

• 经过改进的 ROS/ROS2 桥、深度点云和激光雷达点云性能

• 样本更新

  Multi-robot navigation with ROS2

  使用 ROS2 实现多机器人导航

  SDG with Domain Randomization in Jupyter

  Jupyter 中带有域随机化的 SDG