Achronix on Platform Selection for AI at the Edge

Colin Alexander (direktør for produktmarkedsføring i Achronix) ga nylig ut et webinar om dette emnet. På bare 20 minutter er webinaret en enkel klokke og en nyttig oppdatering om datatrafikk og implementeringsalternativer. Nedlastinger domineres fortsatt av video (over 50 % for Facebook) som nå er sterkt avhengig av caching på eller nær kanten. Hvilken av disse som gjelder avhenger av din definisjon av "kant". IoT-verdenen ser seg selv som kanten, sky- og infrastrukturverdenen ser tilsynelatende den siste beregningsnoden i infrastrukturen, før disse bladenhetene, som kanten. Potet, potet. Uansett er infrastrukturvisningen av kanten der du finner videobufring, for å betjene de mest populære nedlastingene så effektivt og så raskt som mulig.

Beregningsalternativer på kanten (og i skyen)

Colin snakker innledningsvis om infrastrukturkant hvor det kreves noen hestekrefter i databehandling og i AI. Han presenterer standardalternativene: CPU, GPU, ASIC eller FPGA. En CPU-basert løsning har størst fleksibilitet fordi løsningen din vil være helt programvarebasert. Av samme grunn vil det også generelt være det tregeste, mest strømkrevende og lengste latensalternativet (for rundtur til bladnoder antar jeg). GPUer er noe bedre på ytelse og kraft med litt mindre fleksibilitet enn CPUer. En ASIC (tilpasset maskinvare) vil være raskest, lavest kraft og lavest ventetid, men i konseptet minst fleksibel (alt smart er i maskinvare som ikke kan endres).

Han presenterer FPGA (eller innebygd FPGA/eFPGA) som et godt kompromiss mellom disse ytterpunktene. Bedre på ytelse, kraft og ventetid enn CPU eller GPU og et sted mellom en CPU og en GPU på fleksibilitet. Mens mye bedre enn en ASIC på fleksibilitet fordi en FPGA kan omprogrammeres. Som alt gir mening for meg så langt det går, selv om jeg tror historien burde vært fullført ved å legge til DSP-er til plattformoppstillingen. Disse kan ha AI-spesifikke maskinvarefordeler (vektorisering, MAC-matriser, etc) som gagner ytelse, kraft og latens. Mens du beholder programvarefleksibiliteten. Den andre viktige faktoren er kostnadene. Dette er selvfølgelig alltid et sensitivt emne, men AI-kompatible CPUer, GPUer og FPGA-enheter kan være kostbare, noe som er en bekymring for materiallisten til en kantnode.

Colins argument gir mest mening for meg på kanten for eFPGA innebygd i en større SoC. I en skyapplikasjon er begrensningene forskjellige. Et smart nettverkskort er sannsynligvis ikke like prissensitivt og det kan være en ytelsesfordel i en FPGA-basert løsning kontra en programvarebasert løsning.

Å støtte AI-applikasjoner ved beregningskanten gjennom en eFPGA ser ut som et alternativ verdt å undersøke nærmere. Lenger ut mot bladnoder er uklar for meg. En logistikksporing eller en jordfuktighetssensor vil garantert ikke være vert for betydelig databehandling, men hva med en stemmeaktivert TV-fjernkontroll? Eller en smart mikrobølgeovn? Begge trenger AI, men ingen av dem trenger mye hestekrefter. Mikrobølgeovnen har kablet strøm, men en TV-fjernkontroll eller ekstern smarthøyttaler går på batterier. Det ville vært interessant å vite eFPGA-avveiningene her.

eFPGA-funksjoner for AI

I henhold til dataarket tilbyr Speedster 7t fullstendig bruddbare heltalls MAC-er, fleksibelt flytende punkt, innebygd støtte for bfloat og effektiv matrisemultiplikasjon. Jeg fant ingen data om TOPS eller TOPS/Watt. Jeg er sikker på at det avhenger av implementeringen, men eksempler vil være nyttige. Selv på kanten er noen applikasjoner svært ytelsessensitive – smart overvåking og forovervendt objektdeteksjon i biler for eksempel. Det ville vært interessant å vite hvor eFPGA kan passe inn i slike applikasjoner.

Tankevekkende webinar. Du kan se den HER.

Del dette innlegget via:

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
• kilde: https://semiwiki.com/efpga/323785-achronix-on-platform-selection-for-ai-at-the-edge/