Nvidia s'est associé à Open Robotics pour piloter de nouvelles capacités d'intelligence artificielle dans le système d'exploitation robot (ROS).
L'accord non exclusif verra Open Robotics étendre ROS 2, la dernière version du framework robotique open source, pour mieux prendre en charge le matériel Nvidia – et en particulier sa gamme Jetson, des pièces basse consommation qui combinent les cœurs Arm avec le propre GPU de l'entreprise. et des cœurs d’accélérateurs d’apprentissage en profondeur pour piloter des applications d’intelligence artificielle de pointe et intégrées.
"Nos utilisateurs construisent et simulent des robots avec du matériel Nvidia depuis des années, et nous voulons nous assurer que ROS 2 et Ignition fonctionnent bien sur ces plates-formes", a déclaré Brian Gerkey, directeur général d'Open Robotics. Le registre.
« Deux choses nous passionnent le plus : les robots et l’open source. Ce partenariat a les deux. Nous travaillons avec Nvidia pour améliorer l'expérience des développeurs de la communauté robotique mondiale en étendant les logiciels open source sur lesquels s'appuient les roboticiens. Nous sommes ravis de travailler directement avec Nvidia et de bénéficier de leur soutien pour étendre nos logiciels afin de tirer le meilleur parti de leur matériel.
L’équipe verra Open Robotics travailler sur ROS pour améliorer le flux de données entre les différents processeurs – CPU, GPU, NVDLA et Tensor Cores – sur le matériel Jetson de Nvidia afin d’améliorer le traitement des données à large bande passante.
Dans ce cadre, les environnements de simulation Ignition d'Open Robotics et Isaac Sim de Nvidia doivent gagner en interopérabilité, ce qui signifie que les modèles de robots et d'environnement peuvent être déplacés de l'un à l'autre, au moins lorsque le logiciel sera terminé au début de l'année prochaine.
Quant aux raisons pour lesquelles le portefeuille de calcul accéléré de Nvidia, et en particulier sa famille de produits intégrés Jetson, devrait plaire aux fabricants de robots, Gerkey a déclaré : « Nvidia a investi massivement dans du matériel informatique adapté aux charges de travail de robotique et d’IA modernes. Les robots ingèrent et traitent de gros volumes de données provenant de capteurs tels que des caméras et des lasers. L’architecture de Nvidia permet à ce flux de données de se produire de manière incroyablement efficace.
Murali Gopalakrishna, responsable de la gestion des produits pour les machines intelligentes chez Nvidia, a déclaré à propos de cette connexion : "La plate-forme informatique accélérée par GPU de Nvidia est au cœur de nombreuses applications de robots IA et beaucoup d'entre elles sont développées à l'aide de ROS, il est donc logique que nous travaillions en étroite collaboration avec la robotique ouverte pour faire progresser le domaine de la robotique.
Le travail apporte également de nouveaux Isaac GEM, des packages à accélération matérielle pour ROS conçus pour remplacer le code qui autrement s'exécuterait sur le CPU. Les derniers GEM incluent des packages pour la gestion de l'imagerie stéréo et des données de nuages de points, la conversion de l'espace colorimétrique, la correction de la distorsion de l'objectif, ainsi que la détection et le traitement des AprilTags – des balises de repère 2D de style QR Code développées à l'Université du Michigan.
Le partenariat ne signifie pas pour autant que les deux vont se stabiliser. "Nous sommes impatients d'étendre ROS 2 de la même manière sur d'autres matériels accélérés", nous a dit Gerkey à propos du support prévu pour d'autres appareils comme Myriad X d'Intel et les TPU de Google – sans parler du matériel GPU du rival de Nvidia, AMD.
« En fait, nous prévoyons que le travail que nous effectuons avec Nvidia jettera les bases d’extensions supplémentaires pour des architectures supplémentaires. Aux autres fabricants de matériel : contactez-nous pour discuter des extensions pour votre plateforme ! »
Les derniers Isaac GEM sont disponibles sur le site de Nvidia GitHub référentiel maintenant; les environnements de simulation interopérables, quant à eux, ne devraient pas être lancés avant le printemps (hémisphère nord) 2022.
Gopalakrishna de Nvidia a déclaré qu'il était possible pour les développeurs ROS de commencer à expérimenter avant la date de sortie. « Le simulateur dispose déjà d'un pont ROS 1 et ROS 2 et propose des exemples d'utilisation de nombreux packages ROS populaires pour la navigation (nav2) et la manipulation (MoveIT). Beaucoup de ces développeurs utilisent également Isaac Sim pour générer des données synthétiques afin d'entraîner la pile de perception de leurs robots. Notre version de printemps apportera des fonctionnalités supplémentaires telles que l'interopérabilité entre Gazebo Ignition et Isaac Sim.
Lorsque nous avons demandé quelle amélioration de performances les utilisateurs pouvaient attendre des nouveaux Isaac GEM par rapport aux packages uniquement CPU, on nous a répondu : « Le gain de performances variera en fonction du degré de parallélisme inhérent à une charge de travail donnée. Mais nous pouvons dire que nous constatons une augmentation d’un ordre de grandeur des performances pour les charges de travail liées à la perception et à l’IA. En utilisant le processeur approprié pour accélérer les différentes tâches, nous constatons des performances accrues et une meilleure efficacité énergétique.
En ce qui concerne les fonctionnalités supplémentaires en préparation, Gopalakrishna a déclaré : « Nvidia travaille avec Open Robotics pour rationaliser le cadre ROS pour l'accélération matérielle et nous continuerons également à publier plusieurs nouveaux Isaac GEM, nos progiciels à accélération matérielle pour ROS.
« Certains d’entre eux seront des DNN couramment utilisés dans les piles de perception robotique. Du côté du simulateur, nous travaillons à ajouter la prise en charge d’un plus grand nombre de capteurs et de robots et à publier davantage d’échantillons pertinents pour la communauté ROS. ®
Source : https://go.theregister.com/feed/www.theregister.com/2021/09/22/nvidia_open_robotics/
