Ali je kdo res presenečen, da Apple razvija AI v napravi?

Ali je kdo res presenečen, da Apple razvija AI v napravi?

Časovni žig: 24. januar 2024 8:30
Izvorno vozlišče: 3083594

komentar Applova prizadevanja za dodajanje generativne umetne inteligence svojim napravam iDevices ne bi smela nikogar presenetiti, vendar obstoječa uporaba tehnologije v Cupertinu in omejitve mobilne strojne opreme kažejo, da to v bližnji prihodnosti ne bo velika značilnost iOS-a.

Apple se ni pridružil nedavnemu valu generativnega pospeševanja umetne inteligence in se je v svojih nedavnih osrednjih predstavitvah celo na splošno izogibal izrazoma »AI« ali »umetna inteligenca« v primerjavi s številnimi podjetji. Vendar je bilo strojno učenje in je še naprej ključna zmogljivost za Apple – večinoma v ozadju v službi subtilnih izboljšav uporabniške izkušnje.

Applova uporaba AI za obdelavo slik je en primer tehnologije, ki deluje v ozadju. Ko iThings zajame fotografije, začnejo delati algoritmi strojnega učenja za prepoznavanje in označevanje subjektov, izvajanje optičnega prepoznavanja znakov in dodajanje povezav.

Leta 2024 takšna nevidna umetna inteligenca ne bo delovala. Appleovi tekmeci oglašujejo generativno umetno inteligenco kot bistveno zmogljivost za vsako napravo in aplikacijo. Glede na nedavno Financial Times poročilo, je Apple tiho kupoval podjetja za umetno inteligenco in razvijal lastne velike jezikovne modele, da bi zagotovil rezultate.

Applova strojna prednost

Nevronske procesne enote (NPU) v Applovem domačem siliciju skrbijo za obstoječe implementacije umetne inteligence. Apple uporablja pospeševalnike, ki jih imenuje "nevronski motorji", od prvenca sistema na čipu A2017 leta 11 in jih uporablja za obvladovanje manjših delovnih obremenitev strojnega učenja, da sprosti CPE in GPE naprave za druga opravila.

Applovi NPU-ji so še posebej zmogljivi. A17 Pro, najden v iPhone 15 Pro je sposoben potisniti 35 TOPS, dvakrat več kot njegov predhodnik, in približno dvakrat toliko nekaterih NPE-jev, ki jih Intel in AMD ponujata za uporabo v osebnih računalnikih.

Qualcommovi najnovejši čipi Snapdragon so po zmogljivosti NPU tik pred Applovimi. Tako kot Apple ima tudi Qualcomm leta izkušenj z NPU na področju mobilnih naprav. AMD in Intel sta razmeroma nova na tem področju.

Apple ni delil zmogljivosti s plavajočo vejico ali celim številom za grafično procesorsko enoto čipa, čeprav je hvalil svojo zmogljivost pri izvajanju iger, kot sta Resident Evil 4 Remake in Assassin's Creed Mirage. To nakazuje, da računalniška moč ni omejevalni dejavnik za izvajanje večjih modelov AI na platformi.

To dodatno podpira dejstvo, da se je Applov silicij serije M, ki se uporablja v njegovih linijah Mac in iPad, izkazal za posebej močnega za izvajanje delovnih obremenitev sklepanja z umetno inteligenco. Pri našem testiranju je ob ustreznem pomnilniku – naleteli smo na težave z manj kot 16 GB – zdaj tri leta star M1 Macbook Air več kot zmožen izvajati Llama 2 7B z 8-bitno natančnostjo in je bil še hitrejši s 4-bitno kvantizirana različica modela. Mimogrede, če želite to preizkusiti na svojem M1 Macu, Ollama.ai omogoča enostavno vožnjo z Llamo 2.

Kjer bo Apple morda prisiljen narediti strojne koncesije, je pomnilnik.

Na splošno modeli AI potrebujejo približno gigabajt pomnilnika za vsako milijardo parametrov, ko delujejo z 8-bitno natančnostjo. To je mogoče prepoloviti s padcem na nižjo natančnost, nekaj takega kot Int-4, ali z razvojem manjših, kvantiziranih modelov.

Llama 2 7B je postala pogosta referenčna točka za osebne računalnike in pametne telefone z umetno inteligenco zaradi relativno majhnega odtisa in računskih zahtev pri izvajanju majhnih serij. Z uporabo 4-bitne kvantizacije je mogoče zahteve modela zmanjšati na 3.5 GB.

Toda tudi z 8 GB RAM-a na iPhonu 15 Pro sumimo, da bo Applova naslednja generacija telefonov morda potrebovala več pomnilnika ali pa bodo morali biti modeli manjši in bolj ciljno usmerjeni. To je verjetno eden od razlogov, da se Apple odloči za razvoj lastnih modelov, namesto da bi sodeloval pri modelih, kot sta Stable Diffusion ali Llama 2, za delovanje pri Int-4, kot smo videli pri Qualcommu.

Obstaja tudi nekaj dokazov, ki kažejo, da je Apple morda našel način, kako rešiti težavo s pomnilnikom. Kot je opazil Financial Times, decembra so Applovi raziskovalci objavili [PDF] dokument, ki prikazuje zmožnost izvajanja LLM-jev na napravi z uporabo bliskovnega pomnilnika.

Pričakujte bolj konzervativen pristop k AI

Ko bo Apple predstavil funkcionalnost umetne inteligence na svojih namiznih in mobilnih platformah, pričakujemo, da bo ubral razmeroma konzervativen pristop.

Spreminjanje Siri v nekaj, za kar ljudje ne čutijo potrebe pogovarjanja kot s predšolskim otrokom, se zdi očiten začetek. To bi lahko pomenilo, da bi LLM dodelil nalogo razčlenjevanja vnosa v obliko, ki jo Siri lažje razume, tako da lahko bot zagotovi boljše odgovore.

Siri bi lahko postalo manj enostavno zmedeno, če bi poizvedbo ubesedili na zaokrožen način, kar ima za posledico učinkovitejše odgovore.

V teoriji bi to moralo imeti nekaj prednosti. Prvi je, da bi moral biti Apple sposoben pobegniti z uporabo veliko manjšega modela od nečesa, kot je Llama 2. Drugi, da bi se moral v veliki meri izogniti vprašanju LLM, ki ustvarja napačne odzive.

Lahko se motimo, vendar je Apple v preteklosti zamujal z uvedbo najnovejših tehnologij, nato pa dosegel uspeh tam, kjer drugim ni uspelo, saj si je vzel čas za izboljšanje in poliranje funkcij, dokler niso dejansko uporabne.

In kolikor je vredno, generativna umetna inteligenca še ni dokazala, da je uspešnica: Microsoftov veliki chatbot stavi, da bo vdahnil življenje nikomur najljubšemu iskalniku Bing ni prevedel v veliko povečanje tržnega deleža.

Apple je medtem prevzel krono leta 2024 vrhunski prodajalec pametnih telefonov medtem ko uporablja samo nevidno umetno inteligenco. ®

Časovni žig:

Več od Register