Achronix på plattformsval för AI vid kanten

Colin Alexander (direktör för produktmarknadsföring på Achronix) släppte nyligen ett webbseminarium om detta ämne. På bara 20 minuter är webbinariet en enkel övervakning och en användbar uppdatering om datatrafik och implementeringsalternativ. Nedladdningar domineras fortfarande av video (över 50 % för Facebook) som nu är mycket beroende av cachning vid eller nära kanten. Vilket av dessa som gäller beror på din definition av "kant". IoT-världen ser sig själva som kanten, moln- och infrastrukturvärlden ser tydligen den sista beräkningsnoden i infrastrukturen, före dessa bladenheter, som kanten. Potatis, potatis. I vilket fall som helst är infrastrukturvyn av kanten där du hittar videocache, för att tjäna de mest populära nedladdningarna så effektivt och så snabbt som möjligt.

Beräkningsalternativ vid kanten (och i molnet)

Colin pratar inledningsvis om infrastrukturfördelar där det krävs en del hästkrafter i datorer och i AI. Han presenterar standardalternativen: CPU, GPU, ASIC eller FPGA. En CPU-baserad lösning har störst flexibilitet eftersom din lösning kommer att vara helt mjukvarubaserad. Av samma anledning kommer det också i allmänhet att vara det långsammaste, mest energikrävande och längsta latensalternativet (för tur och retur till lövnoder antar jag). GPU:er är något bättre på prestanda och kraft med lite mindre flexibilitet än processorer. En ASIC (anpassad hårdvara) kommer att vara snabbast, lägst effekt och lägsta latens, men i konceptet minst flexibel (allt smart finns i hårdvara som inte kan ändras).

Han presenterar FPGA (eller inbyggd FPGA/eFPGA) som en bra kompromiss mellan dessa ytterligheter. Bättre på prestanda, kraft och latens än CPU eller GPU och någonstans mellan en CPU och en GPU på flexibilitet. Även om det är mycket bättre än en ASIC när det gäller flexibilitet eftersom en FPGA kan omprogrammeras. Vilket allt är vettigt för mig så långt det går, även om jag tycker att historien borde ha fullbordats genom att lägga till DSP:er till plattformsuppställningen. Dessa kan ha AI-specifika hårdvarufördelar (vektorisering, MAC-matriser, etc) som gynnar prestanda, kraft och latens. Med bibehållen mjukvaruflexibilitet. Den andra viktiga faktorn är kostnaden. Detta är naturligtvis alltid ett känsligt ämne, men AI-kapabla CPU:er, GPU:er och FPGA-enheter kan vara dyra, ett bekymmer för materialförteckningen för en kantnod.

Colins argument är mest vettigt för mig vid kanten för eFPGA inbäddad i en större SoC. I en molnapplikation är begränsningarna annorlunda. Ett smart nätverkskort är förmodligen inte lika priskänsligt och det kan finnas en prestandafördel i en FPGA-baserad lösning kontra en mjukvarubaserad lösning.

Att stödja AI-applikationer vid beräkningskanten genom en eFPGA ser ut som ett alternativ värt att undersöka närmare. Längre ut mot lövnoder är flummigt för mig. En logistikspårare eller en jordfuktighetssensor kommer säkert inte att vara värd för betydande beräkningar, men hur är det med en röstaktiverad TV-fjärrkontroll? Eller en smart mikrovågsugn? Båda behöver AI men ingen av dem behöver många hästkrafter. Mikrovågsugnen har trådbunden ström, men en TV-fjärrkontroll eller fjärrstyrd smart högtalare drivs med batterier. Det skulle vara intressant att veta eFPGA-avvägningarna här.

eFPGA-funktioner för AI

Enligt databladet erbjuder Speedster 7t helt brytbara heltals-MAC:er, flexibel flyttal, inbyggt stöd för bfloat och effektiv matrismultiplikation. Jag kunde inte hitta någon data om TOPS eller TOPS/Watt. Jag är säker på att det beror på implementeringen men exempel skulle vara användbara. Även vid kanten är vissa applikationer mycket prestandakänsliga – smart övervakning och framåtriktad objektdetektering i till exempel bilar. Det skulle vara intressant att veta var eFPGA kan passa i sådana applikationer.

Tankeväckande webinar. Du kan titta på den HÄR.

Dela det här inlägget via:

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
• Källa: https://semiwiki.com/efpga/323785-achronix-on-platform-selection-for-ai-at-the-edge/