Nvidia har länkat till Open Robotics för att driva nya artificiell intelligensfunktioner i Robot Operating System (ROS).
Det icke-exklusiva avtalet kommer att innebära att Open Robotics utökar ROS 2, den senaste versionen av robotar med öppen källkod, för att bättre stödja Nvidia-hårdvara – och i synnerhet dess Jetson-sortiment, lågeffektsdelar som kombinerar armkärnor med företagets egen GPU och djupinlärningsacceleratorkärnor för att driva edge och inbäddade artificiell intelligensapplikationer.
"Våra användare har byggt och simulerat robotar med Nvidia-hårdvara i flera år, och vi vill se till att ROS 2 och Ignition fungerar bra på dessa plattformar," sa Brian Gerkey, chefschef för Open Robotics, till Registret.
"Vi blir mest upphetsade av två saker: robotar och öppen källkod. Detta partnerskap har båda. Vi arbetar tillsammans med Nvidia för att förbättra utvecklarupplevelsen för det globala robotsamhället genom att utöka programvaran med öppen källkod som robotiker förlitar sig på. Vi är glada över att arbeta direkt med Nvidia och få deras support när vi utökar vår programvara för att dra maximal nytta av deras hårdvara.”
Team-upen kommer att se Open Robotics arbeta med ROS för att förbättra dataflödet mellan de olika processorerna – CPU, GPU, NVDLA och Tensor Cores – på Nvidias Jetson-hårdvara som ett sätt att öka bearbetningen av data med hög bandbredd.
Som en del av det ska Open Robotics Ignition och Nvidias Isaac Sim-simuleringsmiljöer få interoperabilitet – vilket innebär att robot- och miljömodeller kan flyttas från den ena till den andra, åtminstone när programvaran är färdig någon gång i början av nästa år.
När det gäller varför Nvidias accelererade datorportfölj, och i synnerhet dess inbäddade Jetson-produktfamilj, borde tilltala robottillverkare, sa Gerkey: "Nvidia har investerat mycket i datorhårdvara som är relevant för modern robotik och AI-arbetsbelastningar. Robotar tar in och bearbetar stora datamängder från sensorer som kameror och lasrar. Nvidias arkitektur gör att dataflödet kan ske otroligt effektivt.”
Murali Gopalakrishna, chef för produkthantering, Intelligent Machines, på Nvidia sa om kopplingen: "Nvidias GPU-accelererade datorplattform är kärnan i många AI-robotapplikationer och många av dem är utvecklade med ROS, så det är logiskt att vi arbetar nära med öppen robotik för att främja robotteknikområdet.
Arbetet för också med sig några nya Isaac GEMs, hårdvaruaccelererade paket för ROS designade för att ersätta kod som annars skulle köras på processorn. De senaste GEM:erna inkluderar paket för hantering av stereobilder och punktmolndata, färgrymdskonvertering, linsförvrängningskorrigering och detektering och bearbetning av AprilTags – QR-kodliknande 2D-fiducial-taggar utvecklade vid University of Michigan.
Partnerskapet betyder dock inte att de två går stadigt. "Vi är angelägna om att utöka ROS 2 på liknande sätt på annan accelererad hårdvara," berättade Gerkey om planerat stöd för andra enheter som Intels Myriad X och Googles TPU – för att inte säga något om GPU-hårdvara från Nvidia-konkurrenten AMD.
"Vi planerar faktiskt för det arbete vi gör tillsammans med Nvidia att lägga grunden för ytterligare utbyggnader för ytterligare arkitekturer. Till andra hårdvarutillverkare: kontakta oss för att prata om tillägg för din plattform!”
De senaste Isaac GEM:erna finns tillgängliga på Nvidias GitHub repository nu; de interoperabla simuleringsmiljöerna förväntas under tiden inte släppas förrän på (norra halvklotet) våren 2022.
Nvidias Gopalakrishna sa att det var möjligt för ROS-utvecklare att börja experimentera innan releasedatumet. "Simulatorn har redan en ROS 1- och ROS 2-brygga och har exempel på att använda många av de populära ROS-paketen för navigering (nav2) och manipulation (MoveIT). Många av dessa utvecklare utnyttjar också Isaac Sim för att generera syntetisk data för att träna uppfattningsstacken i sina robotar. Vår vårversion kommer att ge ytterligare funktionalitet som interoperabilitet mellan Gazebo Ignition och Isaac Sim."
När vi frågade vilken prestandahöjning användare kunde förvänta sig av de nya Isaac GEMs jämfört med CPU-paket, fick vi höra: "Mängden prestandavinst kommer att variera beroende på hur mycket inneboende parallellism som finns i en given arbetsbelastning. Men vi kan säga att vi ser en ökning av prestanda för perception och AI-relaterade arbetsbelastningar. Genom att använda rätt processor för att accelerera de olika uppgifterna ser vi ökad prestanda och bättre energieffektivitet.”
När det gäller ytterligare funktioner i pipelinen sa Gopalakrishna: "Nvidia arbetar med Open Robotics för att göra ROS-ramverket mer strömlinjeformat för hårdvaruacceleration och vi kommer också att fortsätta att släppa flera nya Isaac GEMs, våra hårdvaruaccelererade mjukvarupaket för ROS.
"Några av dessa kommer att vara DNN:er som ofta används i robotuppfattningsstackar. På simulatorsidan arbetar vi med att lägga till stöd för fler sensorer och robotar och släppa fler prover som är relevanta för ROS-gemenskapen.” ®
Källa: https://go.theregister.com/feed/www.theregister.com/2021/09/22/nvidia_open_robotics/
