Er nogen virkelig overrasket over, at Apple udvikler AI på enheden?

Er nogen virkelig overrasket over, at Apple udvikler AI på enheden?

Tidsstempel: 24. januar 2024 8:30
Kildeknude: 3083594

Kommentar Apples bestræbelser på at tilføje generativ AI til sine iDevices burde ikke overraske nogen, men Cupertinos eksisterende brug af teknologien og begrænsningerne for mobil hardware tyder på, at det ikke vil være en stor funktion af iOS i den nærmeste fremtid.

Apple har ikke sluttet sig til den seneste bølge af generativ AI-boosterisme, selv generelt undgået udtrykkene "AI" eller "Artificial Intelligence" i sine seneste keynote-præsentationer sammenlignet med mange virksomheder. Alligevel har maskinlæring været og bliver ved med at være en nøglefunktion for Apple – mest i baggrunden til fordel for subtile forbedringer af brugeroplevelsen.

Apples brug af kunstig intelligens til at håndtere billeder er et eksempel på teknologien, der arbejder i baggrunden. Når iThings tager billeder, går maskinlæringsalgoritmer i gang med at identificere og tagge emner, køre optisk tegngenkendelse og tilføje links.

I 2024 skærer den slags usynlig AI det ikke. Apples rivaler udråber generativ kunstig intelligens som en vigtig egenskab for enhver enhed og applikation. Ifølge en nylig Financial Times indberette, har Apple stille og roligt købt AI-virksomheder og udviklet sine egne store sprogmodeller for at sikre, at de kan levere.

Apples hardwarefordel

Neurale processorenheder (NPU'er) i Apples hjemmebryggede silicium håndterer de eksisterende AI-implementeringer. Apple har brugt acceleratorerne, som det kalder "neurale motorer" siden debuten af ​​2017's A11-system-på-chip og bruger dem til at håndtere mindre maskinlærings-arbejdsbelastninger for at frigøre en enheds CPU og GPU til andre gøremål.

Apples NPU'er er særligt kraftfulde. A17 Pro fundet i iPhone 15 Pro er i stand til at skubbe 35 TOPS, det dobbelte af sin forgænger, og ca det dobbelte af nogle NPU'er Intel og AMD tilbyder til brug i pc'er.

Qualcomms seneste Snapdragon-chips er lige deroppe med Apples med hensyn til NPU-perf. Ligesom Apple har Qualcomm også mange års NPU-erfaring inden for mobile enheder. AMD og Intel er relativt nye på området.

Apple har ikke delt floating point eller heltals ydeevne for chippens GPU, selvom det har udråbt sin dygtighed til at køre spil, som Resident Evil 4 Remake og Assassin's Creed Mirage. Dette tyder på, at beregningskraft ikke er den begrænsende faktor for at køre større AI-modeller på platformen.

Yderligere understøttelse af dette er det faktum, at Apples M-serie silicium, brugt i dets Mac- og iPad-linjer, har vist sig at være særligt potent til at køre AI-inferens-arbejdsbelastninger. I vores test, givet tilstrækkelig hukommelse - vi løb ind i problemer med mindre end 16 GB - var en nu tre år gammel M1 Macbook Air mere end i stand til at køre Llama 2 7B med 8-bit præcision og var endnu mere smart med en 4-bit kvantiseret version af modellen. Forresten, hvis du vil prøve dette på din M1 Mac, Ollama.ai gør det til en leg at køre Llama 2.

Der, hvor Apple kan blive tvunget til at give hardwareindrømmelser, er med hukommelse.

Generelt har AI-modeller brug for omkring en gigabyte hukommelse for hver milliard parametre, når de kører med 8-bit præcision. Dette kan halveres enten ved at falde til lavere præcision, noget som Int-4, eller ved at udvikle mindre, kvantificerede modeller.

Llama 2 7B er blevet et almindeligt referencepunkt for AI-pc'er og smartphones på grund af dets relativt lille fodaftryk og beregningskrav, når de kører små batchstørrelser. Ved hjælp af 4-bit kvantisering kan modellens krav skæres ned til 3.5 GB.

Men selv med 8 GB RAM på iPhone 15 Pro formoder vi, at Apples næste generation af telefoner kan have brug for mere hukommelse, eller også skal modellerne være mindre og mere målrettede. Dette er sandsynligvis en af ​​grundene til, at Apple vælger at udvikle sine egne modeller i stedet for at vælge modeller som Stable Diffusion eller Llama 2 til at køre på Int-4, som vi har set fra Qualcomm.

Der er også nogle beviser, der tyder på, at Apple kan have fundet en vej rundt om hukommelsesproblemet. Som opdaget af Financial Timestilbage i december offentliggjorde Apple-forskere [PDF] et papir, der demonstrerer evnen til at køre LLM'er på enheden ved hjælp af flash-hukommelse.

Forvent en mere konservativ tilgang til kunstig intelligens

Når Apple introducerer AI-funktionalitet på sine desktop- og mobilplatforme, forventer vi, at det tager en relativt konservativ tilgang.

At forvandle Siri til noget, folk ikke føler, der skal tales til som et førskolebarn, virker som et oplagt sted at starte. At gøre det kunne betyde at give en LLM jobbet med at parse input til en form, som Siri lettere kan forstå, så botten kan levere bedre svar.

Siri kan blive mindre let forvirret, hvis du formulerer en forespørgsel på en omvej, hvilket resulterer i mere effektive svar.

I teorien burde dette have et par fordele. Den første er, at Apple burde kunne slippe af sted med at bruge en meget mindre model end noget som Llama 2. Det andet er, at det stort set skal undgå, at LLM'en producerer fejlagtige svar.

Vi kan tage fejl, men Apple har en track record med at være sent på at implementere de nyeste teknologier, men så finde succes, hvor andre har fejlet, ved at tage sig tid til at forfine og polere funktioner, indtil de faktisk er nyttige.

Og for hvad det er værd, har generativ AI endnu ikke bevist, at det er et hit: Microsofts store chatbot-satsning på at puste liv i ingens foretrukne søgemaskine Bing ikke har oversat til en stor markedsandelsforøgelse.

Apple tog i mellemtiden kronen som 2024's den største smartphone-leverandør mens du kun implementerer usynlig AI. ®

Tidsstempel:

Mere fra Registret