Nvidia heeft zich aangesloten bij Open Robotics om nieuwe mogelijkheden voor kunstmatige intelligentie in het Robot Operating System (ROS) te stimuleren.
Door de niet-exclusieve overeenkomst zal Open Robotics ROS 2, de nieuwste versie van het open-source robotica-framework, uitbreiden om Nvidia-hardware beter te ondersteunen – en in het bijzonder de Jetson-reeks, onderdelen met laag vermogen die Arm-cores combineren met de eigen GPU van het bedrijf en deep-learning acceleratorkernen om edge- en ingebedde kunstmatige-intelligentietoepassingen aan te sturen.
“Onze gebruikers bouwen en simuleren al jaren robots met Nvidia-hardware, en we willen ervoor zorgen dat ROS 2 en Ignition goed werken op die platforms”, vertelde Brian Gerkey, hoofddirecteur van Open Robotics. Het register.
“We worden het meest enthousiast door twee dingen: robots en open source. Dit partnerschap heeft beide. We werken samen met Nvidia om de ontwikkelaarservaring voor de wereldwijde roboticagemeenschap te verbeteren door de open source-software uit te breiden waarop robotici vertrouwen. We zijn verheugd om rechtstreeks met Nvidia samen te werken en hun steun te krijgen terwijl we onze software uitbreiden om maximaal voordeel te halen uit hun hardware.”
Het team zal Open Robotics aan ROS zien werken om de gegevensstroom tussen de verschillende processors – CPU, GPU, NVDLA en Tensor Cores – op Nvidia's Jetson-hardware te verbeteren als een middel om de verwerking van gegevens met hoge bandbreedte te stimuleren.
Als onderdeel daarvan zullen Open Robotics' Ignition en Nvidia's Isaac Sim-simulatieomgevingen interoperabiliteit krijgen - wat betekent dat robot- en omgevingsmodellen van de een naar de ander kunnen worden verplaatst, tenminste als de software ergens begin volgend jaar klaar is.
Over de reden waarom Nvidia's versnelde computerportfolio, en in het bijzonder de ingebedde Jetson-productfamilie, robotmakers zou moeten aanspreken, zei Gerkey: “Nvidia heeft zwaar geïnvesteerd in computerhardware die relevant is voor moderne robotica en AI-workloads. Robots nemen en verwerken grote datavolumes van sensoren zoals camera's en lasers. De architectuur van Nvidia zorgt ervoor dat de datastroom ongelooflijk efficiënt verloopt.”
Murali Gopalakrishna, hoofd productmanagement, Intelligent Machines, bij Nvidia zei over de aansluiting: “Nvidia’s GPU-versnelde computerplatform vormt de kern van veel AI-robottoepassingen en veel daarvan zijn ontwikkeld met behulp van ROS, dus het is logisch dat we werken nauw samen te werken met open robotica om het vakgebied van de robotica vooruit te helpen.
Het werk brengt ook enkele nieuwe Isaac GEM's met zich mee, hardware-versnelde pakketten voor ROS die zijn ontworpen om code te vervangen die anders op de CPU zou draaien. De nieuwste GEM's omvatten pakketten voor het verwerken van stereobeeld- en puntenwolkgegevens, kleurruimteconversie, correctie van lensvervorming en de detectie en verwerking van AprilTags - 2D-fiducial-tags in QR-codestijl, ontwikkeld aan de Universiteit van Michigan.
Het partnerschap betekent echter niet dat de twee stabiel zijn. “We willen ROS 2 graag op vergelijkbare manieren uitbreiden op andere versnelde hardware”, vertelde Gerkey ons over geplande ondersteuning voor andere apparaten zoals Intels Myriad X en Google's TPU – om maar te zwijgen van GPU-hardware van Nvidia-rivaal AMD.
“In feite plannen we het werk dat we samen met Nvidia doen om de basis te leggen voor aanvullende uitbreidingen voor aanvullende architecturen. Aan andere hardwarefabrikanten: neem gerust contact met ons op om over uitbreidingen voor jouw platform te praten!”
De nieuwste Isaac GEM's zijn beschikbaar op Nvidia's GitHub-repository nu; De interoperabele simulatieomgevingen zullen naar verwachting pas in de lente van 2022 (op het noordelijk halfrond) verschijnen.
Nvidia's Gopalakrishna zei dat het voor ROS-ontwikkelaars mogelijk was om vóór de releasedatum te beginnen met experimenteren. “De simulator heeft al een ROS 1- en ROS 2-bridge en bevat voorbeelden van het gebruik van veel van de populaire ROS-pakketten voor navigatie (nav2) en manipulatie (MoveIT). Veel van deze ontwikkelaars maken ook gebruik van Isaac Sim om synthetische gegevens te genereren om de perceptiestapel in hun robots te trainen. Onze voorjaarsrelease zal extra functionaliteit bieden, zoals interoperabiliteit tussen Gazebo Ignition en Isaac Sim.”
Toen we vroegen welke prestatieverbeteringen gebruikers konden verwachten van de nieuwe Isaac GEM's vergeleken met pakketten die alleen CPU's bevatten, kregen we te horen: “De hoeveelheid prestatiewinst zal variëren afhankelijk van hoeveel inherent parallellisme er bestaat in een bepaalde werklast. Maar we kunnen wel zeggen dat we een orde van grootte toename zien in de prestaties op het gebied van perceptie en AI-gerelateerde werklast. Door de juiste processor te gebruiken om de verschillende taken te versnellen, zien we betere prestaties en een betere energie-efficiëntie.”
Wat betreft extra functies in de pijplijn zei Gopalakrishna: “Nvidia werkt samen met Open Robotics om het ROS-framework meer gestroomlijnd te maken voor hardwareversnelling en we zullen ook doorgaan met het uitbrengen van meerdere nieuwe Isaac GEM’s, onze hardwareversnelde softwarepakketten voor ROS.
“Sommige hiervan zullen DNN’s zijn die vaak worden gebruikt in robotica-perceptiestapels. Aan de simulatorzijde werken we aan het toevoegen van ondersteuning voor meer sensoren en robots en het vrijgeven van meer monsters die relevant zijn voor de ROS-gemeenschap.” ®
Bron: https://go.theregister.com/feed/www.theregister.com/2021/09/22/nvidia_open_robotics/
