Achronix på Platform Selection for AI på kanten

Achronix på Platform Selection for AI på kanten

Tidsstempel: 30. januar 2023 1:00
Kildeknude: 1931159

Colin Alexander (direktør for produktmarketing hos Achronix) udgav for nylig et webinar om dette emne. På kun 20 minutter er webinaret et nemt overblik og en nyttig opdatering om datatrafik og implementeringsmuligheder. Downloads domineres stadig af video (over 50 % for Facebook), som nu er stærkt afhængig af caching ved eller tæt på kanten. Hvilken af ​​disse gælder afhænger af din definition af "kant". IoT-verdenen ser sig selv som kanten, cloud- og infrastrukturverdenen ser tilsyneladende den sidste computerknude i infrastrukturen, før disse bladenheder, som kanten. Kartoffel, kartoffel. Under alle omstændigheder er infrastrukturudsigten over kanten, hvor du vil finde video-caching, for at betjene de mest populære downloads så effektivt og så hurtigt som muligt.

Achronix på Platform Selection for AI på kanten

Beregningsmuligheder ved kanten (og i skyen)

Colin taler indledningsvis om infrastrukturkanten, hvor der kræves nogle hestekræfter i computere og i AI. Han præsenterer standardmulighederne: CPU, GPU, ASIC eller FPGA. En CPU-baseret løsning har den største fleksibilitet, fordi din løsning vil være helt softwarebaseret. Af samme grund vil det også generelt være den langsomste, mest strømkrævende og længste latency-mulighed (for rundrejse til bladknuder, antager jeg). GPU'er er noget bedre på ydeevne og kraft med en smule mindre fleksibilitet end CPU'er. En ASIC (brugerdefineret hardware) vil være hurtigst, lavest effekt og laveste latency, men i konceptet mindst fleksibel (alt smart er i hardware, som ikke kan ændres).

Han præsenterer FPGA (eller indlejret FPGA/eFPGA) som et godt kompromis mellem disse yderpunkter. Bedre på ydeevne, strøm og latency end CPU eller GPU og et sted mellem en CPU og en GPU på fleksibilitet. Mens meget bedre end en ASIC på fleksibilitet, fordi en FPGA kan omprogrammeres. Hvilket alt sammen giver mening for mig, så vidt det går, selvom jeg mener, at historien burde have været fuldendt ved at tilføje DSP'er til platformen. Disse kan have AI-specifikke hardwarefordele (vektorisering, MAC-arrays osv.), som gavner ydeevne, kraft og latens. Samtidig med at softwarefleksibiliteten bevares. Den anden vigtige overvejelse er omkostningerne. Dette er selvfølgelig altid et følsomt emne, men AI-kompatible CPU'er, GPU'er og FPGA-enheder kan være dyre, og det er en bekymring for materialestykningen af ​​en kantknude.

Colins argument giver mest mening for mig på kanten for eFPGA indlejret i en større SoC. I en cloud-applikation er begrænsningerne anderledes. Et smart netværkskort er sandsynligvis ikke så prisfølsomt, og der kan være en ydelsesfordel i en FPGA-baseret løsning kontra en software-baseret løsning.

At understøtte AI-applikationer på computerkanten gennem en eFPGA ligner en mulighed, der er værd at undersøge nærmere. Længere ud mod bladknuder er uklar for mig. En logistiktracker eller en jordfugtighedssensor vil helt sikkert ikke være vært for væsentlig beregning, men hvad med en stemmeaktiveret fjernbetjening til fjernsynet? Eller en smart mikroovn? Begge har brug for AI, men ingen af ​​dem har brug for mange hestekræfter. Mikrobølgeovnen har kablet strøm, men en fjernbetjening til fjernsynet eller en smart-fjernhøjttaler kører på batterier. Det ville være interessant at kende eFPGA-afvejningen her.

eFPGA-funktioner til kunstig intelligens

Ifølge dataarket tilbyder Speedster 7t fuldt brudbare heltals-MAC'er, fleksibelt flydende komma, indbygget understøttelse af bfloat og effektive matrixmultiplikationer. Jeg kunne ikke finde nogen data om TOPS eller TOPS/Watt. Jeg er sikker på, at det afhænger af implementeringen, men eksempler ville være nyttige. Selv på kanten er nogle applikationer meget præstationsfølsomme – f.eks. smart overvågning og fremadvendt objektdetektering i biler. Det ville være interessant at vide, hvor eFPGA kan passe i sådanne applikationer.

Tankevækkende webinar. Du kan se den HER.

Del dette opslag via:

Tidsstempel:

Mere fra Semiwiki