Er noen virkelig overrasket over at Apple utvikler AI på enheten?

Er noen virkelig overrasket over at Apple utvikler AI på enheten?

Tidsstempel: 24. januar 2024 8:30
Kilde node: 3083594

Kommentar Apples innsats for å legge til generativ AI til sine iDevices burde ikke overraske noen, men Cupertinos eksisterende bruk av teknologien, og begrensningene til mobil maskinvare, antyder at det ikke vil være en stor funksjon i iOS i nær fremtid.

Apple har ikke sluttet seg til den siste bølgen av generativ AI-boosterisme, selv generelt unngått begrepene "AI" eller "Artificial Intelligence" i sine nylige hovedpresentasjoner sammenlignet med mange bedrifter. Men maskinlæring har vært, og fortsetter å være, en nøkkelfunksjon for Apple – mest i bakgrunnen i tjenesten for subtile forbedringer av brukeropplevelsen.

Apples bruk av AI for å håndtere bilder er ett eksempel på teknologien som fungerer i bakgrunnen. Når iThings tar bilder, går maskinlæringsalgoritmer i gang for å identifisere og merke emner, kjøre optisk tegngjenkjenning og legge til lenker.

I 2024 skjærer ikke den slags usynlig AI det. Apples rivaler hevder generativ kunstig intelligens som en essensiell funksjon for hver enhet og applikasjon. Ifølge en nylig Financial Times rapporterer, har Apple i det stille kjøpt AI-selskaper og utviklet sine egne store språkmodeller for å sikre at de kan levere.

Apples maskinvarefordel

Nevrale prosesseringsenheter (NPUer) i Apples hjemmebryggede silisium håndterer eksisterende AI-implementeringer. Apple har brukt akseleratorene, som det kaller "nevrale motorer" siden debuten av 2017s A11-system-på-brikke og bruker dem til å håndtere mindre maskinlæringsarbeidsbelastninger for å frigjøre en enhets CPU og GPU for andre gjøremål.

Apples NPU-er er spesielt kraftige. A17 Pro funnet i iPhone 15 Pro er i stand til å skyve 35 TOPS, det dobbelte av forgjengeren, og ca det dobbelte av noen NPU-er Intel og AMD tilbyr for bruk i PC-er.

Qualcomms nyeste Snapdragon-brikker er rett der oppe med Apples når det gjelder NPU-perf. I likhet med Apple har Qualcomm også mange års NPU-erfaring innen mobile enheter. AMD og Intel er relativt nye på feltet.

Apple har ikke delt flytende punkt eller heltallsytelse for brikkens GPU, selv om den har fremhevet sin dyktighet som kjører spill, som Resident Evil 4 Remake og Assassin's Creed Mirage. Dette antyder at beregningskraft ikke er den begrensende faktoren for å kjøre større AI-modeller på plattformen.

Ytterligere støtte for dette er det faktum at Apples M-serie silisium, brukt i Mac- og iPad-seriene, har vist seg spesielt potent for å kjøre AI-inferensarbeidsbelastninger. I testingen vår, gitt tilstrekkelig minne – vi fikk problemer med mindre enn 16 GB – var en nå tre år gammel M1 Macbook Air mer enn i stand til å kjøre Llama 2 7B med 8-bits presisjon og var enda raskere med en 4-bits kvantisert versjon av modellen. Forresten, hvis du vil prøve dette på din M1 Mac, Ollama.ai gjør kjøring av Llama 2 til en lek.

Der Apple kan bli tvunget til å gjøre maskinvareinnrømmelser er med minne.

Generelt sett trenger AI-modeller omtrent en gigabyte minne for hver milliard parametere når de kjører med 8-bits presisjon. Dette kan halveres enten ved å slippe til lavere presisjon, noe som Int-4, eller ved å utvikle mindre, kvantiserte modeller.

Llama 2 7B har blitt et vanlig referansepunkt for AI-PCer og smarttelefoner på grunn av dets relativt små fotavtrykk og beregningskrav når de kjører små batchstørrelser. Ved å bruke 4-bits kvantisering kan modellens krav kuttes til 3.5 GB.

Men selv med 8 GB RAM på iPhone 15 Pro, mistenker vi at Apples neste generasjon telefoner kan trenge mer minne, eller modellene må være mindre og mer målrettede. Dette er sannsynligvis en av grunnene til at Apple velger å utvikle sine egne modeller i stedet for å samarbeide med modeller som Stable Diffusion eller Llama 2 for å kjøre på Int-4, som vi har sett fra Qualcomm.

Det er også noen bevis som tyder på at Apple kan ha funnet en vei rundt minneproblemet. Som oppdaget av Financial Times, tilbake i desember publiserte Apple-forskere [PDF] et papir som demonstrerer muligheten til å kjøre LLM-er på enheten ved hjelp av flash-minne.

Forvent en mer konservativ tilnærming til AI

Når Apple introduserer AI-funksjonalitet på sine stasjonære og mobile plattformer, forventer vi at den tar en relativt konservativ tilnærming.

Å gjøre Siri til noe folk ikke føler trenger å bli snakket til som et førskolebarn virker et opplagt sted å begynne. Å gjøre det kan bety å gi en LLM jobben med å analysere input til et skjema som Siri lettere kan forstå, slik at boten kan levere bedre svar.

Siri kan bli mindre lett forvirret hvis du formulerer et søk i en rundkjøring, noe som resulterer i mer effektive svar.

I teorien burde dette ha et par fordeler. Den første er at Apple burde kunne slippe unna med å bruke en mye mindre modell enn noe sånt som Llama 2. Den andre er at den i stor grad bør unngå problemet med at LLM produserer feilaktige svar.

Vi kan ta feil, men Apple har en track record med å være sent ute med å implementere de nyeste teknologiene, men så finne suksess der andre har mislyktes ved å ta seg tid til å finpusse og polere funksjoner til de faktisk er nyttige.

Og for hva det er verdt, har generativ AI ennå ikke bevist at den er en hit: Microsofts store chatbot-satsing for å blåse liv i ingens favorittsøkemotor Bing har ikke oversatt til en stor markedsandelsøkning.

Apple tok i mellomtiden kronen som 2024-tallet topp smarttelefonleverandør mens du bare distribuerer usynlig AI. ®

Tidstempel:

Mer fra Registeret