Pikaajaline teetõke elujõulise L4/L5 autonoomse sõidu ja generatiivse AI järelduseni äärel – Semiwiki

Taasavaldanud Platon

järgijaid: 0

Kaks hiljutist tarkvarapõhist algoritmitehnoloogiat – autonoomne juhtimine (ADAS/AD) ja generatiivne AI (GenAI) – hoiavad pooljuhtide inseneride kogukonda öösel üleval.

Kui ADAS 2. ja 3. tasemel on õigel teel, siis 4. ja 5. taseme AD on tegelikkusest kaugel, põhjustades riskikapitali entusiasmi ja raha vähenemist. Täna pälvib tähelepanu GenAI ja riskikapitaliettevõtted investeerivad innukalt miljardeid dollareid.

Mõlemad tehnoloogiad põhinevad kaasaegsetel keerukatel algoritmidel. Nende koolituse ja järelduste töötlemisel on mõned atribuudid, millest mõned on kriitilised, teised olulised, kuid mitte olulised: vt tabelit I.

Generatiivne AI järeldus äärel — Tabeli I pealkiri: Algoritmi koolitus ja järeldused jagavad mõningaid, kuid mitte kõiki olulisi atribuute. Allikas: VSORA

Nende tehnoloogiate märkimisväärset tarkvaraarengut ei ole siiani korranud algoritmilise riistvara edusammud, et kiirendada nende täitmist. Näiteks tipptasemel algoritmilised protsessorid ei suuda vastata ChatGPT-4 päringutele ühe või kahe sekundi jooksul hinnaga 2 ¢ päringu kohta, mis on Google'i otsinguga kehtestatud võrdlusalus, ega töödelda tohutuid andmeid. koguvad AD andurid vähem kui 20 millisekundiga.

Seda seni, kuni Prantsuse idufirma VSORA investeeris ajujõudu, et lahendada mäluseina nime all tuntud mälu kitsaskoht.

Mälu sein

Protsessori mäluseina kirjeldasid esmakordselt Wulf ja McKee 1994. aastal. Sellest ajast peale on mälu juurdepääsud muutunud arvuti jõudluse kitsaskohaks. Protsessori jõudluse edusammud ei ole kajastunud mälule juurdepääsu edenemises, mis sunnib protsessoreid ootama mälude edastatud andmeid üha kauem. Lõppkokkuvõttes langeb protsessori efektiivsus alla 100% kasutamise.

Probleemi lahendamiseks lõi pooljuhtide tööstus mitmetasandilise hierarhilise mälustruktuuri, mille vahemälu on protsessorile lähemal ja mis vähendab aeglasema põhi- ja välismäluga liiklust.

AD ja GenAI protsessorite jõudlus sõltub laiast mälu ribalaiusest rohkem kui muud tüüpi arvutiseadmed.

VSORA, mis asutati 2015. aastal 5G rakenduste sihtimiseks, leiutas patenteeritud arhitektuuri, mis koondab hierarhilise mälustruktuuri suure ribalaiusega tihedalt seotud mäluks (TCM), millele pääseb juurde ühe taktitsükli jooksul.

Protsessori tuumade vaatenurgast näeb TCM välja ja toimib nagu registrite meri MBites versus tegelike füüsiliste registrite kilobaitidega. Võimalus pääseda juurde TMC mis tahes mäluelemendile ühe tsükliga tagab suure täitmiskiiruse, madala latentsuse ja väikese energiatarbimise. See nõuab ka vähem ränipinda. Uute andmete laadimine välismälust TCM-i praeguste andmete töötlemise ajal ei mõjuta süsteemi läbilaskevõimet. Põhimõtteliselt võimaldab arhitektuur oma disaini kaudu töötlemisüksuste kasutamist 80+% ulatuses. Siiski on süsteemidisaineri soovil võimalus lisada vahemälu ja märkmikumälu. Vaata joonist 1.

Autonoomne juhtimine ja generatiivne AI järeldus serval — Joonis 1 pealkiri: Traditsiooniline hierarhiline mälustruktuur on tihe ja keeruline. VSORA lähenemine on voolujooneline ja hierarhiline.

Tänu registrilaadsele mälustruktuurile, mis on rakendatud peaaegu kõigis mäludes kõigis rakendustes, ei saa VSORA mälumeetodi eeliseid üle hinnata. Tavaliselt pakuvad tipptasemel GenAI protsessorid ühekohalise protsendi efektiivsust. Näiteks GenAI protsessor, mille nominaalne läbilaskevõime on üks Petaflops nominaalse jõudlusega, kuid vähem kui 5% efektiivsusega, tagab kasutatava jõudluse alla 50 teraflopsi. Selle asemel saavutab VSORA arhitektuur rohkem kui 10 korda suurema efektiivsuse.

VSORA algoritmilised kiirendid

VSORA tutvustas kahte algoritmiliste kiirendite klassi – Tyr perekonda AD rakenduste jaoks ja Jotunni perekonda GenAI kiirenduse jaoks. Mõlemad pakuvad suurepärast läbilaskevõimet, minimaalset latentsust ja madalat energiatarbimist väikese ränipinnaga.

Kuni kolme Petaflopsi nominaalse jõudlusega on nende tüüpiline juurutamise efektiivsus 50–80% sõltumata algoritmi tüübist ja maksimaalne energiatarve 30 vatti petaflopsi kohta. Need on täheomadused, millest ükski konkureeriv AI kiirendi pole veel teatanud.

Tyr ja Jotunn on täielikult programmeeritavad ning integreerivad tehisintellekti ja DSP-võimalusi, ehkki erinevas mahus, ning toetavad aritmeetika kiiret valikut 8-bitisest kuni 64-bitiseni kas täisarvu või ujukomapõhiselt. Nende programmeeritavus mahutab algoritmide universumi, muutes need algoritmi agnostiliseks. Toetatakse ka mitut erinevat tüüpi hõredust.

VSORA protsessorite omadused viivad nad konkurentsivõimelise algoritmilise töötlemise maastiku esirinnas.

VSORA tugitarkvara

VSORA kavandas unikaalse kompileerimis-/valideerimisplatvormi, mis on kohandatud selle riistvaraarhitektuurile, et tagada selle keeruliste suure jõudlusega SoC-seadmete rohke tarkvara tugi.

Algoritmilise disaineri kokpitti panemiseks mõeldud hierarhiliste kontrolli-/valideerimistasemete hulk – ESL, hübriid, RTL ja värav – annavad algoritmi insenerile vastuseks kosmoseuuringutele nupuvajutusega tagasisidet. See aitab tal valida parima kompromissi jõudluse, latentsuse, võimsuse ja pindala vahel. Kõrgel abstraktsioonitasemel kirjutatud programmeerimiskoodi saab kaardistada, suunates kasutajale läbipaistvalt erinevaid töötlemissüdamikke.

Tuumade vahelist liidest saab rakendada sama räni sees, samal PCB-l asuvate kiipide vahel või IP-ühenduse kaudu. Tuumade vahelist sünkroonimist hallatakse automaatselt kompileerimise ajal ja see ei nõua tarkvara reaalajas toiminguid.

Teetõke L4/L5 autonoomse juhtimise ja generatiivse tehisintellekti järelduse servas

Edukas lahendus peaks hõlmama ka põllusisest programmeeritavust. Algoritmid arenevad kiiresti uute ideede tõttu, mis eilse tehnika taseme üleöö aegunud. Märkimisväärne eelis on võimalus kohapealset algoritmi uuendada.

Kuigi suuremõõtmelised ettevõtted on täiustatud tarkvaraalgoritmide haldamiseks koondanud tohutuid arvutusfarme, kus on palju kõrgeima jõudlusega protsessoreid, on see lähenemisviis praktiline ainult koolituse jaoks, mitte järelduste tegemiseks.

Koolitus põhineb tavaliselt 32-bitisel või 64-bitisel ujukomaaritmeetikal, mis genereerib suuri andmemahtusid. See ei kehtesta ranget latentsusaega ja talub suurt energiatarbimist ja suuri kulusid.

Järeldused äärel tehakse tavaliselt 8-bitise ujukoma aritmeetika abil, mis genereerib mõnevõrra vähem andmemahtu, kuid nõuab kompromissitu latentsust, madalat energiatarbimist ja madalat kulu.

Energiatarbimise mõju latentsusele ja efektiivsusele

CMOS-i IC-de energiatarbimises domineerib andmete liikumine, mitte andmetöötlus.

Professor Mark Horowitzi juhitud Stanfordi ülikooli uuring näitas, et mälule juurdepääsu voolutarve kulutab suurusjärku rohkem energiat kui põhilised digitaalsed loogikaarvutused. Vaata tabelit II.

AD ja GenAI kiirendid on suurepärased näited seadmetest, milles domineerib andmete liikumine ja mis seab väljakutse energiatarbimise piiramiseks.

Järeldus

AD ja GenAI järeldused kujutavad endast mittetriviaalseid väljakutseid edukate juurutuste saavutamiseks. VSORA suudab pakkuda kõikehõlmavat riistvaralahendust ja tugitarkvara, et täita kõik kriitilised nõuded AD L4/L5 ja GenAI nagu GPT-4 kiirendusega toimetulekuks äriliselt tasuvate kuludega.

Lisateavet VSORA ning selle Tyri ja Jotunni kohta leiate aadressilt www.vsora.com.

Lauro Rizzatti kohta

Lauro Rizzatti on ettevõtte ärinõustaja VSORA, uuenduslik idufirma, mis pakub räni IP-lahendusi ja ränikiipe, ning tunnustatud kontrollikonsultant ja riistvara emuleerimise valdkonna ekspert. Varem töötas ta juhtkonna, tooteturunduse, tehnilise turunduse ja inseneritöö alal.