Achronix o wyborze platformy dla sztucznej inteligencji na krawędzi

Colin Alexander (dyrektor ds. marketingu produktów w firmie Achronix) niedawno udostępnił seminarium internetowe na ten temat. Trwające zaledwie 20 minut seminarium internetowe jest łatwe do obejrzenia i zawiera przydatne informacje na temat ruchu danych i opcji implementacji. Pliki do pobrania są nadal zdominowane przez wideo (ponad 50% w przypadku Facebooka), które obecnie w dużej mierze zależy od buforowania na krawędzi lub blisko krawędzi. To, które z nich ma zastosowanie, zależy od twojej definicji „przewagi”. Świat IoT postrzega siebie jako krawędź, świat chmury i infrastruktury najwyraźniej widzi ostatni węzeł obliczeniowy w infrastrukturze, przed tymi urządzeniami liściastymi, jako krawędź. Ziemniak, ziemniak. W każdym razie widok infrastruktury na krawędzi to miejsce, w którym znajdziesz buforowanie wideo, aby obsługiwać najpopularniejsze pobieranie tak wydajnie i tak szybko, jak to możliwe.

Opcje obliczeniowe na brzegu sieci (i w chmurze)

Colin początkowo mówi o brzegowej infrastrukturze, gdzie wymagana jest pewna moc obliczeniowa i sztuczna inteligencja. Przedstawia standardowe opcje: CPU, GPU, ASIC czy FPGA. Rozwiązanie oparte na procesorze zapewnia największą elastyczność, ponieważ Twoje rozwiązanie będzie całkowicie oparte na oprogramowaniu. Z tego samego powodu będzie to również generalnie najwolniejsza, najbardziej energochłonna i najdłuższa opcja opóźnienia (zakładam, że w obie strony do węzłów liścia). Procesory graficzne są nieco lepsze pod względem wydajności i mocy przy nieco mniejszej elastyczności niż procesory. ASIC (niestandardowy sprzęt) będzie najszybszy, o najniższej mocy i najniższym opóźnieniu, choć w koncepcji najmniej elastyczny (wszystkie inteligentne elementy są w sprzęcie, którego nie można zmienić).

Przedstawia FPGA (lub wbudowany FPGA/eFPGA) jako dobry kompromis między tymi skrajnościami. Lepszy pod względem wydajności, mocy i opóźnień niż procesor lub procesor graficzny, a pod względem elastyczności gdzieś pomiędzy procesorem a procesorem graficznym. Chociaż jest znacznie lepszy niż ASIC pod względem elastyczności, ponieważ układ FPGA można przeprogramować. To wszystko ma dla mnie sens, chociaż myślę, że historia powinna była zostać zakończona dodaniem DSP do zestawu platform. Mogą one mieć zalety sprzętowe specyficzne dla sztucznej inteligencji (wektoryzacja, macierze MAC itp.), które korzystnie wpływają na wydajność, moc i opóźnienia. Przy zachowaniu elastyczności oprogramowania. Drugim ważnym aspektem jest koszt. Oczywiście jest to zawsze drażliwy temat, ale procesory, procesory graficzne i układy FPGA obsługujące sztuczną inteligencję mogą być drogie, co stanowi problem dla zestawienia materiałów węzła brzegowego.

Argument Colina ma dla mnie największy sens na krawędzi eFPGA osadzonej w większym SoC. W aplikacji w chmurze ograniczenia są inne. Inteligentna karta sieciowa prawdopodobnie nie jest tak wrażliwa na cenę, a rozwiązanie oparte na FPGA może mieć przewagę wydajności w porównaniu z rozwiązaniem opartym na oprogramowaniu.

Obsługa aplikacji AI na krawędzi obliczeniowej za pośrednictwem eFPGA wygląda na opcję wartą dalszego zbadania. Dalej w kierunku węzłów liściowych jest dla mnie rozmyte. Lokalizator logistyczny lub czujnik wilgotności gleby z pewnością nie będą obsługiwać znacznych mocy obliczeniowych, ale co z pilotem do telewizora aktywowanym głosem? A może inteligentna kuchenka mikrofalowa? Oba potrzebują sztucznej inteligencji, ale żadne z nich nie potrzebuje dużej mocy. Kuchenka mikrofalowa ma zasilanie przewodowe, ale pilot do telewizora lub zdalny inteligentny głośnik działają na baterie. Interesujące byłoby poznanie kompromisów eFPGA tutaj.

Możliwości eFPGA dla sztucznej inteligencji

Zgodnie z arkuszem danych, Speedster 7t oferuje w pełni łamliwe całkowite MAC, elastyczne zmiennoprzecinkowe, natywną obsługę bfloat i wydajne mnożenie macierzy. Nie mogłem znaleźć żadnych danych na temat TOPS ani TOPS/Watt. Jestem pewien, że zależy to od implementacji, ale przykłady byłyby przydatne. Nawet na krawędzi niektóre aplikacje są bardzo wrażliwe na wydajność – na przykład inteligentny nadzór i wykrywanie obiektów skierowanych do przodu w samochodach. Byłoby interesujące wiedzieć, gdzie eFPGA może pasować do takich aplikacji.

Webinar dający do myślenia. Możesz to obejrzeć TUTAJ.

Udostępnij ten post przez:

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
• Źródło: https://semiwiki.com/efpga/323785-achronix-on-platform-selection-for-ai-at-the-edge/