Nvidia объединилась с Open Robotics для реализации новых возможностей искусственного интеллекта в операционной системе роботов (ROS).
Неэксклюзивное соглашение предусматривает, что Open Robotics расширит ROS 2, последнюю версию платформы робототехники с открытым исходным кодом, для лучшей поддержки оборудования Nvidia – и, в частности, линейки Jetson, маломощных деталей, которые сочетают ядра Arm с собственным графическим процессором компании. и ядра ускорителей глубокого обучения для управления передовыми и встроенными приложениями искусственного интеллекта.
«Наши пользователи уже много лет создают и моделируют роботов с помощью оборудования Nvidia, и мы хотим быть уверены, что ROS 2 и Ignition хорошо работают на этих платформах», — сказал Брайан Герки, исполнительный директор Open Robotics. Регистр.
«Нас больше всего волнуют две вещи: роботы и открытый исходный код. В этом партнерстве есть и то, и другое. Мы работаем вместе с Nvidia, чтобы улучшить опыт разработчиков для мирового сообщества робототехники, расширяя программное обеспечение с открытым исходным кодом, на которое полагаются робототехники. Мы рады работать напрямую с Nvidia и получать их поддержку, поскольку мы расширяем наше программное обеспечение, чтобы максимально использовать преимущества их оборудования».
Команда увидит, как Open Robotics работает над ROS для улучшения потока данных между различными процессорами — CPU, GPU, NVDLA и тензорными ядрами — на оборудовании Nvidia Jetson в качестве средства ускорения обработки данных с высокой пропускной способностью.
В рамках этого среды моделирования Ignition от Open Robotics и Isaac Sim от Nvidia должны получить функциональную совместимость – это означает, что модели роботов и окружающей среды можно будет перемещать из одной в другую, по крайней мере, когда программное обеспечение будет завершено где-то в начале следующего года.
Что касается того, почему портфолио ускоренных вычислений Nvidia и, в частности, семейство встроенных продуктов Jetson должно понравиться производителям роботов, Герки сказал: «Nvidia вложила значительные средства в вычислительное оборудование, подходящее для современной робототехники и рабочих нагрузок искусственного интеллекта. Роботы поглощают и обрабатывают большие объемы данных с датчиков, таких как камеры и лазеры. Архитектура Nvidia позволяет этому потоку данных происходить невероятно эффективно».
Мурали Гопалакришна, руководитель отдела управления продуктами Intelligent Machines в Nvidia, сказал об этом подключении: «Вычислительная платформа Nvidia с графическим ускорением лежит в основе многих приложений для роботов с искусственным интеллектом, и многие из них разрабатываются с использованием ROS, поэтому логично, что мы работаем тесно сотрудничать с открытой робототехникой для развития области робототехники.
Эта работа также принесет с собой несколько новых Isaac GEM — пакетов с аппаратным ускорением для ROS, предназначенных для замены кода, который в противном случае выполнялся бы на ЦП. Новейшие GEM включают в себя пакеты для обработки стереоизображений и данных облаков точек, преобразования цветового пространства, коррекции искажений объектива, а также обнаружения и обработки AprilTags — двухмерных реперных меток в стиле QR-кода, разработанных в Мичиганском университете.
Однако партнерство не означает, что у этих двоих дела идут стабильно. «Мы стремимся расширить ROS 2 аналогичным образом на другом ускоренном оборудовании», — сообщил нам Герки о запланированной поддержке других устройств, таких как Мириады X от Intel и Google TPU – не говоря уже о графическом процессоре от конкурента Nvidia – AMD.
«Фактически, мы планируем работу, которую мы проводим вместе с Nvidia, чтобы заложить основу для дополнительных расширений для дополнительных архитектур. Другим производителям оборудования: свяжитесь с нами, чтобы обсудить расширения для вашей платформы!»
Последние версии Isaac GEM доступны на Nvidia. Репозиторий GitHub сейчас; Между тем, ожидается, что совместимые среды моделирования не будут выпущены до весны (в северном полушарии) 2022 года.
Гопалакришна из Nvidia заявил, что разработчики ROS могут начать экспериментировать до даты выпуска. «В симуляторе уже есть мост ROS 1 и ROS 2, а также примеры использования многих популярных пакетов ROS для навигации (nav2) и манипуляций (MoveIT). Многие из этих разработчиков также используют Исаака Сима для генерации синтетических данных для тренировки стека восприятия в своих роботах. Наш весенний релиз принесет дополнительные функции, такие как совместимость между Gazebo Ignition и Isaac Sim».
Когда мы спросили, какой прирост производительности могут ожидать пользователи от новых пакетов Isaac GEM по сравнению с пакетами, ориентированными только на ЦП, нам ответили: «Величина прироста производительности будет варьироваться в зависимости от того, насколько присущ параллелизм в конкретной рабочей нагрузке. Но мы можем сказать, что наблюдаем увеличение производительности восприятия и рабочих нагрузок, связанных с искусственным интеллектом, на порядок. Используя соответствующий процессор для ускорения различных задач, мы наблюдаем повышение производительности и энергоэффективности».
Что касается дополнительных функций, находящихся в разработке, Гопалакришна сказал: «Nvidia работает с Open Robotics, чтобы сделать структуру ROS более оптимизированной для аппаратного ускорения, и мы также продолжим выпускать несколько новых Isaac GEM, наших программных пакетов с аппаратным ускорением для ROS.
«Некоторые из них будут DNN, которые обычно используются в стеках восприятия робототехники. Что касается симуляторов, мы работаем над добавлением поддержки большего количества датчиков и роботов и выпуском большего количества образцов, которые будут актуальны для сообщества ROS». ®
Источник: https://go.theregister.com/feed/www.theregister.com/2021/09/22/nvidia_open_robotics/
