Valaki tényleg meglepődött azon, hogy az Apple az eszközön lévő mesterséges intelligencia fejlesztésén?

Valaki tényleg meglepődött azon, hogy az Apple az eszközön lévő mesterséges intelligencia fejlesztésén?

Időbélyeg: 24. január 2024. 8:30
Forrás csomópont: 3083594

Megjegyzés Az Apple azon törekvése, hogy generatív mesterséges intelligencia adjon hozzá iDevice-eihez, senkit sem lep meg, de Cupertino jelenlegi technológiai felhasználása és a mobil hardver korlátai azt sugallják, hogy a közeljövőben nem lesz nagy jellemzője az iOS-nek.

Az Apple nem csatlakozott a generatív mesterséges intelligencia legutóbbi hullámához, és sok üzlethez képest általában elkerüli az „AI” vagy a „mesterséges intelligencia” kifejezéseket legutóbbi vitaindító előadásaiban. Ennek ellenére a gépi tanulás kulcsfontosságú képessége volt és továbbra is az Apple számára – többnyire a háttérben, a felhasználói élmény finom fejlesztéseinek szolgálatában.

A háttérben működő technológia egyik példája, hogy az Apple mesterséges intelligenciát használ a képek kezelésére. Amikor az iThings fényképeket készít, a gépi tanulási algoritmusok működnek az alanyok azonosításában és megcímkézésében, optikai karakterfelismerésben futnak, és linkeket adnak hozzá.

2024-ben ez a fajta láthatatlan mesterséges intelligencia nem vágja meg. Az Apple riválisai a generatív AI-t minden eszköz és alkalmazás nélkülözhetetlen képességeként hirdetik. Egy friss szerint Financial Times jelentést, az Apple csendben vásárol mesterséges intelligencia vállalatokat, és saját nagy nyelvi modelljeit fejleszti, hogy biztosítsa a teljesítményt.

Az Apple hardveres előnye

Az Apple homebrew szilíciumában található neurális feldolgozó egységek (NPU-k) kezelik az AI meglévő implementációit. Az Apple a 2017-es A11 system-on-chip debütálása óta alkalmazza az általa „Neural Engines”-nek nevezett gyorsítókat, és kisebb gépi tanulási terhelések kezelésére használja őket, hogy felszabadítsa az eszköz CPU-ját és GPU-ját egyéb feladatokra.

Az Apple NPU-i különösen erősek. Az A17 Pro megtalálható a iPhone 15 Pro 35 TOPS-t képes tolni, dupláját elődjének, és kb ennek kétszerese néhány NPU-t az Intel és az AMD kínál PC-kben való használatra.

A Qualcomm legújabb Snapdragon lapkái az NPU-teljesítmény tekintetében az Apple-nél jobbak. Az Apple-hez hasonlóan a Qualcomm is több éves NPU tapasztalattal rendelkezik a mobileszközök terén. Az AMD és az Intel viszonylag új a területen.

Az Apple nem osztotta meg a chip GPU-jának lebegőpontos vagy egészszámú teljesítményét, bár a játékokat, például a Resident Evil 4 Remake-et és az Assassin's Creed Mirage-t hirdette. Ez arra utal, hogy a számítási teljesítmény nem korlátozza a nagyobb AI modellek platformon való futtatását.

Ezt támasztja alá az a tény is, hogy az Apple M-sorozatú szilíciuma, amelyet a Mac és iPad termékcsaládjaiban használnak, különösen hatékonynak bizonyult az AI-következtetési munkaterhelések futtatására. Tesztelésünk során megfelelő memóriával – 16 GB-nál kevesebbel bajba kerültünk – egy most három éves M1 Macbook Air több mint képes volt 2 bites pontossággal futtatni a Llama 7 8B-t, 4 bittel pedig még ütősebb volt. a modell kvantált változata. Mellesleg, ha ki szeretné próbálni ezt az M1 Mac-en, Ollama.ai gyerekjáték a Llama 2 futtatása.

Ahol az Apple kénytelen lehet hardveres engedményeket tenni, az a memória.

Általánosságban elmondható, hogy az AI-modelleknek körülbelül egy gigabájt memóriára van szükségük minden milliárd paraméterhez, ha 8 bites pontossággal futnak. Ez felére csökkenthető alacsonyabb pontossággal, például az Int-4-gyel, vagy kisebb, kvantált modellek fejlesztésével.

A Llama 2 7B a mesterséges intelligencia PC-k és okostelefonok általános referenciapontjává vált, mivel viszonylag csekély a helyigénye és a számítási igénye kis tételek futtatásakor. A 4 bites kvantálás használatával a modell követelményei 3.5 GB-ra csökkenthetők.

De még az iPhone 8 Pro 15 GB RAM-jával is azt gyanítjuk, hogy az Apple következő generációjának több memóriára lesz szüksége, vagy a modelleknek kisebbnek és célzottabbnak kell lenniük. Valószínűleg ez az egyik oka annak, hogy az Apple saját modelljeit választja, nem pedig olyan modelleket, mint a Stable Diffusion vagy a Llama 2, hogy az Int-4-en futhassanak, ahogy azt a Qualcommtól láthattuk.

Néhány bizonyíték arra utal, hogy az Apple megtalálhatta a memóriaproblémát. Amint azt a Financial Times, még decemberben az Apple kutatói közzétették [PDF] egy papír, amely bemutatja az LLM-ek eszközön történő futtatását flash memória használatával.

A mesterséges intelligencia konzervatívabb megközelítésére számíthat

Amikor az Apple bevezeti a mesterséges intelligencia funkciót asztali és mobil platformjain, viszonylag konzervatív megközelítést várunk el.

A Siri olyasvalamivé alakítása, amiről az emberek úgy érzik, nem kell úgy beszélniük, mint egy óvodáskorú gyerekkel, kézenfekvő kiindulópontnak tűnik. Ez azt jelentheti, hogy egy LLM-nek adjuk meg azt a feladatot, hogy a bemenetet olyan űrlapba elemezze, amelyet a Siri könnyebben megért, így a bot jobb válaszokat tud adni.

A Siri kevésbé lehet összetéveszthető, ha körkörösen fogalmazza meg a lekérdezést, ami hatékonyabb válaszokat eredményez.

Elméletileg ennek van egy-két előnye. Az első, hogy az Apple megúszhatja egy sokkal kisebb modell használatát, mint a Llama 2. A második az, hogy nagyrészt el kell kerülnie, hogy az LLM hibás válaszokat adjon.

Lehet, hogy tévedünk, de az Apple tapasztalatai szerint késik a legújabb technológiák bevezetésével, de aztán sikereket ér el ott, ahol mások kudarcot vallottak, és időt szakítottak a funkciók finomítására és csiszolására, amíg valóban hasznosak lesznek.

És amennyit megér, a generatív mesterséges intelligencia még nem bizonyította sikerét: a Microsoft nagy chatbot-fogadása, hogy életet leheljen senki kedvenc keresőjébe, a Bingbe. nem fordította le jelentős piaci részesedés növekedésbe.

Eközben az Apple 2024-nek vette a koronát vezető okostelefon-gyártó miközben csak láthatatlan AI-t telepítenek. ®

Időbélyeg:

Még több A regisztráció