Achronix о выборе платформы для ИИ на периферии

Колин Александер (директор по маркетингу продуктов в Achronix) недавно провел вебинар на эту тему. Вебинар длится всего 20 минут, и его легко посмотреть, и он содержит полезную информацию о трафике данных и вариантах реализации. В загрузках по-прежнему преобладает видео (более 50% для Facebook), которое теперь сильно зависит от кэширования на границе или близко к ней. Что из этого применимо, зависит от вашего определения «преимущества». Мир IoT считает себя пограничным, мир облаков и инфраструктуры, по-видимому, рассматривает последний вычислительный узел в инфраструктуре перед этими конечными устройствами как пограничный. Картошка, картошка. В любом случае, периферийное представление инфраструктуры — это то место, где вы найдете кэширование видео для максимально эффективного и быстрого обслуживания наиболее популярных загрузок.

Варианты вычислений на периферии (и в облаке)

Колин сначала говорит о периферии инфраструктуры, где требуется некоторая мощность для вычислений и искусственного интеллекта. Он представлен стандартными вариантами: CPU, GPU, ASIC или FPGA. Решение на основе ЦП обладает наибольшей гибкостью, поскольку ваше решение будет полностью программным. По той же причине, как правило, это будет самый медленный, самый энергоемкий вариант с самой длинной задержкой (я полагаю, что для кругового пути к конечным узлам). Графические процессоры несколько лучше по производительности и мощности, но менее гибкие, чем процессоры. ASIC (нестандартное оборудование) будет самым быстрым, с наименьшим энергопотреблением и минимальной задержкой, хотя в концепции он будет наименее гибким (все умные устройства находятся в аппаратном обеспечении, которое нельзя изменить).

Он представляет FPGA (или встроенные FPGA/eFPGA) как хороший компромисс между этими крайностями. Лучше по производительности, мощности и задержке, чем ЦП или ГП, и где-то между ЦП и ГП по гибкости. В то время как гибкость намного лучше, чем у ASIC, потому что FPGA можно перепрограммировать. Все это имеет для меня смысл, хотя я думаю, что история должна была быть завершена добавлением DSP в линейку платформ. Они могут иметь аппаратные преимущества, характерные для ИИ (векторизация, массивы MAC-адресов и т. д.), которые улучшают производительность, мощность и задержку. При сохранении гибкости программного обеспечения. Другим важным соображением является стоимость. Конечно, это всегда деликатная тема, но процессоры, графические процессоры и устройства FPGA с поддержкой ИИ могут быть дорогими, что является проблемой для списка материалов граничного узла.

Аргумент Колина имеет для меня наибольшее значение в отношении eFPGA, встроенного в более крупную SoC. В облачном приложении ограничения другие. Интеллектуальная сетевая карта, вероятно, не так чувствительна к цене, и решение на основе FPGA может иметь преимущество в производительности по сравнению с программным решением.

Поддержка приложений ИИ на границе вычислений через eFPGA выглядит как вариант, заслуживающий дальнейшего изучения. Дальше к листовым узлам для меня нечетко. Логистический трекер или датчик влажности почвы, конечно, не будут содержать значительных вычислений, но как насчет голосового пульта от телевизора? Или умная микроволновка? Оба нуждаются в ИИ, но ни одному из них не нужно много лошадиных сил. Микроволновая печь имеет проводное питание, но пульт от телевизора или удаленная интеллектуальная колонка работают от батареек. Было бы интересно узнать о компромиссах eFPGA.

Возможности eFPGA для ИИ

Согласно техническому описанию, Speedster 7t предлагает полностью дробимые целочисленные MAC-адреса, гибкие операции с плавающей запятой, встроенную поддержку bfloat и эффективное умножение матриц. Я не смог найти никаких данных о TOPS или TOPS/Ватт. Я уверен, что это зависит от реализации, но примеры были бы полезны. Даже на периферии некоторые приложения очень чувствительны к производительности — например, интеллектуальное наблюдение и обнаружение объектов, направленных вперед в автомобилях. Было бы интересно узнать, где eFPGA может вписаться в такие приложения.

Вебинар для размышлений. Вы можете посмотреть это ВОТ.

Поделитесь этим постом через:

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://semiwiki.com/efpga/323785-achronix-on-platform-selection-for-ai-at-the-edge/