AI at the Edge ei enää tarkoita tylsistynyttä tekoälyä

Yksi tekoälyn viisauden näkökohta on ollut se, että kaikki innovaatiot alkavat pilven suurista koneoppimis-/koulutusmoottoreista. Osa tästä innovaatiosta saattaa lopulta siirtyä supistetussa / rajoitetussa muodossa reunaan. Osittain tämä heijasteli alan uutuutta. Ehkä se heijasti osittain myös valmiiksi pakattujen yksikokoisten ratkaisujen tarvetta IoT-widgeteille. Siellä suunnittelijat halusivat älykkyyttä tuotteissaan, mutta eivät olleet aivan valmiita ryhtymään ML-suunnittelun asiantuntijoiksi. Mutta nyt ne suunnittelijat ovat saavuttamassa. He lukevat samoja lehdistötiedotteita ja tutkimuksia, joita me kaikki teemme, samoin kuin heidän kilpailijansa. He haluavat hyödyntää samoja edistysaskeleita pitäen samalla kiinni valta- ja kustannusrajoitteista.

kasvojen tunnistus

Tekoälyn erilaistuminen reunassa

Kyse on eriyttämisestä hyväksyttävän kustannus/teho-verhokäyrän sisällä. Sitä on vaikea saada valmiiksi pakatuista ratkaisuista. Kilpailijoilla on loppujen lopuksi pääsy samoihin ratkaisuihin. Haluat todellakin joukon algoritmivaihtoehtoja, jotka on mallinnettu prosessorissa omistetuiksi kiihdyttimiksi, jotka ovat valmiita käytettäviksi ja joilla on mahdollisuus lisätä omaa ohjelmistopohjaista lisäarvoasi. Saatat ajatella, että täällä ei voi tehdä paljon muuta kuin järjestelmänvalvojan ja virityksen. Ajat ovat muuttuneet. CEVA esitteli äskettäin sulautetun NeuPro-M-AI-prosessorin, joka mahdollistaa optimoinnin käyttämällä viimeisimpiä ML-kehityksiä, syvälle algoritmien suunnitteluun.

OK, joten enemmän algoritmin hallintaa, mutta mihin tarkoitukseen? Haluat optimoida tehon wattia kohden, mutta vakiomittari – TOPS/W – on liian karkea. Kuvaussovellukset tulee mitata ruutua sekunnissa (fps) wattia kohden. Turvasovelluksissa, autojen turvallisuudessa tai drone-törmäysten välttämisessä tunnistusajat ruutua kohden ovat paljon tärkeämpiä kuin raakatoiminnot sekunnissa. Joten alusta, kuten NeuPro-M, joka voi tuottaa jopa tuhansia fps/W periaatteessa, käsittelee realistisia fps-nopeuksia 30-60 kuvaa sekunnissa erittäin pienellä teholla. Se on todellinen edistysaskel perinteisiin valmiiksi pakattuihin tekoälyratkaisuihin verrattuna.

Sen mahdollistaminen

Äärimmäiset algoritmit rakennetaan valitsemalla ominaisuudet, joista olet lukenut, alkaen laajasta valikoimasta kvantisointivaihtoehtoja. Sama koskee tietotyyppien vaihtelua aktivoinnissa ja painotuksia eri bittikokojen välillä. Neuraalinen kerroinyksikkö (NMU) tukee optimaalisesti useita bittileveysvaihtoehtoja aktivointia varten ja painotuksia, kuten 8 × 2 tai 16 × 4, ja tukee myös muunnelmia, kuten 8 × 10.

Prosessori tukee Winograd Transformsia tai tehokkaita konvoluutioita, jotka tarjoavat jopa 2X suorituskyvyn vahvistuksen ja pienemmän tehon rajoitetulla tarkkuuden heikkenemisellä. Lisää harvaan moottoriin malliin jopa 4X kiihtyvyys riippuen nolla-arvojen määrästä (joko tiedoissa tai painoissa). Tässä Neural Multiplier Unit tukee myös useita tietotyyppejä, kiinteät 2 × 2 - 16 × 16 ja liukuluku (ja Bfloat) 16 × 16 - 32 × 32.

Streaming-logiikka tarjoaa vaihtoehtoja kiinteän pisteen skaalaus-, aktivointi- ja poolaamiseen. Vektoriprosessorin avulla voit lisätä malliin omia mukautettuja tasoja. "Mitä sitten, kaikki tukevat sitä", saatat ajatella, mutta katso alta suorituskyvystä. Saatavilla on myös joukko seuraavan sukupolven tekoälyominaisuuksia, mukaan lukien näkömuuntajat, 3D-konvoluutio, RNN-tuki ja matriisin hajottaminen.

Paljon algoritmivaihtoehtoja, joita kaikkia tukee sulautetun ratkaisusi verkkooptimointi CDNN-kehyksen kautta, jotta voit hyödyntää täysin ML-algoritmiesi tehoa. CDNN on yhdistelmä verkkopäättelevä graafin kääntäjä ja omistettu PyTorch-lisätyökalu. Tämä työkalu karsii mallia, tukee valinnaisesti mallin pakkausta matriisin hajotuksen kautta ja lisää kvantisointitietoisen uudelleenkoulutuksen.

Suorituskyvyn optimointi

Useimmissa tekoälyjärjestelmissä jotkin näistä toiminnoista voidaan käsitellä erikoiskoneissa, mikä edellyttää tietojen purkamista ja muunnoksen lataamista takaisin, kun se on valmis. Se on paljon lisättyä latenssia (ja ehkä tehokompromissia), mikä heikentää täysin muuten vahvan mallisi suorituskykyä. NeuPro-M poistaa tämän ongelman yhdistämällä kaikki nämä kiihdykkeet suoraan jaettuun L1-välimuistiin. Kestää paljon suuremman kaistanleveyden kuin tavallisissa kiihdyttimissä.

Hämmästyttävänä esimerkkinä vektorikäsittely-yksikkö, jota tyypillisesti käytetään määrittämään mukautettuja kerroksia, on samalla tasolla muiden kiihdyttimien kanssa. VPU:ssa toteutetut algoritmit hyötyvät samasta kiihtyvyydestä kuin muu malli. Muokattujen tasojen nopeuttamiseksi ei jälleen tarvitse purkaa ja ladata uudelleen. Lisäksi sinulla voi olla jopa 8 näistä NPM-moottoreista (kaikki kiihdyttimet sekä NPM L1 -välimuisti). NeuPro-M tarjoaa myös merkittävän tason ohjelmistoohjattua kaistanleveyden optimointia L2-välimuistin ja L1-välimuistin välillä, mikä optimoi kehysten käsittelyn ja minimoi DDR-käyttöjen tarpeen.

Luonnollisesti NeuPro-M myös minimoi data- ja painoliikennettä. Dataa varten kiihdyttimet jakavat saman L1-välimuistin. Isäntäprosessori voi viestiä tietoja suoraan NeuPro-M L2:n kanssa, mikä taas vähentää DDR-siirtojen tarvetta. NeuPro-M pakkaa ja purkaa painot sirulla siirrettäessä DDR-muistilla. Se voi tehdä saman aktivointien kanssa.

Todiste fps/W-kiihtyvyydellä

CEVA suoritti standardeja vertailuarvoja käyttämällä kiihdyttimissä mallinnettujen algoritmien yhdistelmää alkuperäisestä Winogradiin, Winograd+Sparsityyn ja Winograd+Sparsity+4×4:ään. Molemmat vertailuarvot osoittivat suorituskyvyn parannuksia jopa 3X ja teho (fps/W) noin 5X ISP NN:ssä. NeuPro-M-ratkaisu tarjosi pienemmän alueen, 4X suorituskyvyn, 1/3 tehosta verrattuna aiempaan sukupolveen NeuPro-S.

Näen yleisemmin suuntauksen saada paras suorituskyky yhdistämällä useita algoritmeja. Tämän CEVA on nyt mahdollistanut tällä alustalla. Voit lukea lisää TÄÄLTÄ.

Jaa tämä viesti: Lähde: https://semiwiki.com/artificial-intelligence/306655-ai-at-the-edge-no-longer-means-dumbed-down-ai/