Este cineva surprins cu adevărat că Apple dezvoltă AI pe dispozitiv?

Comentariu Eforturile Apple de a adăuga AI generativă la dispozitivele sale nu ar trebui să surprindă pe nimeni, dar utilizările existente ale tehnologiei de către Cupertino și constrângerile hardware-ului mobil sugerează că nu va fi o caracteristică importantă a iOS în viitorul apropiat.

Apple nu s-a alăturat recentului val de stimulare generativă a inteligenței artificiale, chiar și evitând în general termenii „AI” sau „Inteligentă artificială” în prezentările sale principale, comparativ cu multe companii. Cu toate acestea, învățarea automată a fost și continuă să fie o capacitate cheie pentru Apple – mai ales în fundal, în serviciul îmbunătățirilor subtile ale experienței utilizatorului.

Utilizarea de către Apple a inteligenței artificiale pentru a gestiona imagini este un exemplu de tehnologie în lucru în fundal. Când iThings captează fotografii, algoritmii de învățare automată funcționează pentru a identifica și eticheta subiecții, rulează recunoașterea optică a caracterelor și adaugă linkuri .

În 2024, acest tip de IA invizibilă nu o reduce. Concurenții Apple promovează inteligența artificială generativă ca fiind o capacitate esențială pentru fiecare dispozitiv și aplicație. Potrivit unui recent Financial Times raportează, Apple a cumpărat în liniște companii de inteligență artificială și și-a dezvoltat propriile modele lingvistice mari pentru a se asigura că poate livra.

Avantajul hardware al Apple

Unitățile de procesare neuronală (NPU) din siliciul homebrew de la Apple se ocupă de implementările AI existente. Apple a folosit acceleratoarele, pe care le numește „motoare neuronale” încă de la debutul sistemului pe cip A2017 din 11 și le folosește pentru a gestiona sarcini de lucru mai mici de învățare automată pentru a elibera procesorul și GPU-ul unui dispozitiv pentru alte sarcini.

NPU-urile Apple sunt deosebit de puternice. A17 Pro găsit în iPhone 15 Pro este capabil să împingă 35 TOPS, dublu față de predecesorul său, și aproximativ de două ori dintre unele NPU-uri Intel și AMD oferă pentru utilizare în computere.

Cele mai recente cipuri Snapdragon de la Qualcomm sunt la nivelul celor de la Apple în ceea ce privește performanța NPU. La fel ca Apple, Qualcomm are, de asemenea, ani de experiență în NPU în dispozitive mobile. AMD și Intel sunt relativ noi în domeniu.

Apple nu a împărtășit performanța în virgulă mobilă sau în întregime pentru GPU-ul cipului, deși și-a prezentat priceperea în rularea jocurilor, cum ar fi Resident Evil 4 Remake și Assassin's Creed Mirage. Acest lucru sugerează că puterea de calcul nu este factorul limitativ pentru rularea modelelor AI mai mari pe platformă.

În plus, susține acest lucru și faptul că siliciul din seria M de la Apple, utilizat în liniile sale Mac și iPad, s-a dovedit deosebit de puternic pentru rularea sarcinilor de lucru de inferență AI. În testarea noastră, având în vedere o memorie adecvată - am avut probleme cu mai puțin de 16 GB - un Macbook Air M1 vechi de trei ani era mai mult decât capabil să ruleze Llama 2 7B la o precizie de 8 biți și a fost chiar mai rapid cu un pe 4 biți. versiunea cuantificată a modelului. Apropo, dacă doriți să încercați acest lucru pe Mac-ul dvs. M1, Ollama.ai face ca rularea Llama 2 să fie o briză.

Unde Apple ar putea fi forțat să facă concesii de hardware este cu memoria.

În general, modelele AI au nevoie de aproximativ un gigaoctet de memorie pentru fiecare miliard de parametri, atunci când rulează la o precizie de 8 biți. Acest lucru poate fi redus la jumătate fie prin scăderea la o precizie mai mică, ceva de genul Int-4, fie prin dezvoltarea unor modele mai mici, cuantificate.

Llama 2 7B a devenit un punct de referință comun pentru PC-urile și smartphone-urile AI datorită amprentei sale relativ mici și cerințelor de calcul atunci când rulează loturi mici. Folosind cuantizarea pe 4 biți, cerințele modelului pot fi reduse la 3.5 GB.

Dar chiar și cu 8 GB de RAM pe iPhone 15 Pro, bănuim că următoarea generație de telefoane Apple ar putea avea nevoie de mai multă memorie sau modelele vor trebui să fie mai mici și mai țintite. Acesta este probabil unul dintre motivele pentru care Apple optează pentru a-și dezvolta propriile modele, mai degrabă decât să coopteze modele precum Stable Diffusion sau Llama 2 pentru a rula la Int-4, așa cum am văzut de la Qualcomm.

Există, de asemenea, unele dovezi care sugerează că Apple ar fi găsit o soluție pentru problema memoriei. După cum a observat Financial Times, în decembrie, cercetătorii Apple au publicat [PDF] o lucrare care demonstrează capacitatea de a rula LLM-uri pe dispozitiv folosind memoria flash.

Așteptați-vă la o abordare mai conservatoare a AI

Când Apple introduce funcționalitatea AI pe platformele sale desktop și mobile, ne așteptăm să adopte o abordare relativ conservatoare.

Transformarea lui Siri în ceva ce oamenii nu simt că trebuie să i se vorbească ca un copil preșcolar pare un loc evident de început. A face acest lucru ar putea însemna acordarea unui LLM de sarcina de a analiza datele într-un formular pe care Siri îl poate înțelege mai ușor, astfel încât botul să poată oferi răspunsuri mai bune.

Siri ar putea deveni mai puțin ușor confuz dacă formulați o interogare într-un mod obișnuit, rezultând răspunsuri mai eficiente.

În teorie, acest lucru ar trebui să aibă câteva beneficii. Prima fiind Apple ar trebui să poată scăpa de un model mult mai mic decât ceva de genul Llama 2. Al doilea, este că ar trebui să evite în mare măsură problema ca LLM să producă răspunsuri eronate.

S-ar putea să greșim, dar Apple are un istoric de întârziere pentru a implementa cele mai noi tehnologii, dar apoi a găsit succes acolo unde alții au eșuat, făcându-și timp pentru a perfecționa și a șlefui caracteristicile până când acestea sunt cu adevărat utile.

Și pentru cât valorează, IA generativă încă nu a dovedit că este un succes: marele chatbot al Microsoft a pariat să dea viață motorului de căutare preferat al nimănui Bing nu a tradus într-o creștere majoră a cotei de piață.

Apple, între timp, a luat coroana ca a anului 2024 cel mai bun furnizor de smartphone-uri în timp ce desfășurați numai AI invizibilă. ®

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://go.theregister.com/feed/www.theregister.com/2024/01/25/apple_generative_ai/