CiM-i integratsioon ML-i järelduste kiirendamiseks

Purdue ülikooli teadlased avaldasid tehnilise artikli pealkirjaga "WWW: mida, millal, kus arvutada mälus".

Abstraktne:

"Arvuti mälus (CiM) on kujunenud kaalukaks lahenduseks von Neumanni masinate kõrgete andmete liikumise kulude vähendamiseks. CiM suudab mälus sooritada massiliselt paralleelseid üldmaatrikskorrutamise (GEMM) toiminguid, mis on masinõppe (ML) järeldustes domineeriv arvutus. Mälu ümberkorraldamine arvutamiseks tekitab aga võtmeküsimusi selle kohta, 1) millist tüüpi CiM-i kasutada: Arvestades paljusid analoog- ja digitaalseid CiM-e, on vaja kindlaks määrata nende sobivus süsteemi vaatenurgast. 2) Millal CiM-i kasutada: ML-i järeldused hõlmavad töökoormust, millel on mitmesugused mälu- ja arvutusnõuded, mistõttu on raske kindlaks teha, millal on CiM tavalistest töötlemistuumadest kasulikum. 3) Kuhu CiM integreerida: igal mälutasemel on erinev ribalaius ja võimsus, mis mõjutab CiM-i integreerimise andmeliikumist ja asukoha eeliseid.
Selles artiklis uurime vastuseid neile küsimustele, mis puudutavad CiM-i integreerimist ML-i järelduste kiirendamiseks. Kasutame Timeloop-Accelergyt CiM-i prototüüpide, sealhulgas nii analoog- kui ka digitaalsete primitiivide varajaseks süsteemitasemel hindamiseks. Integreerime CiM-i erinevatele vahemälu tasemetele Nvidia A100-laadses baasarhitektuuris ja kohandame andmevoogu erinevate ML-i töökoormuste jaoks. Meie katsed näitavad, et CiM-arhitektuurid parandavad energiatõhusust, saavutades INT-0.12 täpsusega kuni 8 korda madalama energia kui kehtestatud lähtetaseme, ning kuni 4-kordset jõudluse kasvu kaalu põimimise ja dubleerimisega. Kavandatav töö annab ülevaate sellest, millist tüüpi CiM-i kasutada ning millal ja kuhu see GEMM-i kiirendamiseks vahemälu hierarhiasse optimaalselt integreerida.

Leia tehniline paber siin. Avaldatud detsember 2023 (eeltrükk).

Sharma, Tanvi, Mustafa Ali, Indranil Chakraborty ja Kaushik Roy. "WWW: mida, millal, kus mälus arvutada." arXiv eeltrükk arXiv:2312.15896 (2023).

Seotud lugemine
AI energiatõhususe suurendamine mälu arvutamise abil
Kuidas töödelda zettaskaalas töökoormust ja jääda kindlaksmääratud energiaeelarvesse.
Mälus arvutamise modelleerimine bioloogilise efektiivsusega
Generatiivne AI sunnib kiibitootjaid arvutusressursse intelligentsemalt kasutama.
SRAM AI-s: mälu tulevik
Miks peetakse SRAM-i uute ja traditsiooniliste arvutusarhitektuuride kriitiliseks elemendiks.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://semiengineering.com/cim-integration-for-ml-inference-acceleration/