Är någon verkligen förvånad över att Apple utvecklar AI på enheten?

Är någon verkligen förvånad över att Apple utvecklar AI på enheten?

Tidsstämpel: 24 januari 2024 8:30
Källnod: 3083594

Kommentar Apples ansträngningar att lägga till generativ AI till sina iDevices borde inte överraska någon, men Cupertinos befintliga användning av tekniken, och begränsningarna för mobil hårdvara, tyder på att det inte kommer att vara en stor del av iOS inom en snar framtid.

Apple har inte anslutit sig till den senaste vågen av generativ AI-boosterism, och undviker till och med generellt termerna "AI" eller "Artificiell intelligens" i sina senaste keynote-presentationer jämfört med många företag. Ändå har maskininlärning varit, och fortsätter att vara, en nyckelfunktion för Apple – mestadels i bakgrunden i tjänsten för subtila förbättringar av användarupplevelsen.

Apples användning av AI för att hantera bilder är ett exempel på tekniken som fungerar i bakgrunden. När iThings tar bilder, börjar maskininlärningsalgoritmer att identifiera och tagga ämnen, köra optisk teckenigenkänning och lägga till länkar.

År 2024 klipper inte den typen av osynlig AI det. Apples rivaler framhåller generativ AI som en viktig egenskap för varje enhet och applikation. Enligt en färsk Financial Times rapport, Apple har i det tysta köpt AI-företag och utvecklat sina egna stora språkmodeller för att säkerställa att de kan leverera.

Apples hårdvarufördel

Neural processing units (NPU) i Apples hembryggda kisel hanterar dess befintliga AI-implementeringar. Apple har använt acceleratorerna, som de kallar "neurala motorer" sedan debuten av 2017 års A11-system-på-chip och använder dem för att hantera mindre maskininlärningsbelastningar för att frigöra en enhets CPU och GPU för andra sysslor.

Apples NPU:er är särskilt kraftfulla. A17 Pro finns i iPhone 15 Pro är kapabel att trycka 35 TOPS, dubbelt så mycket som sin föregångare, och ungefär dubbelt så mycket av vissa NPU:er Intel och AMD erbjuder för användning i datorer.

Qualcomms senaste Snapdragon-chips är precis där uppe med Apples när det gäller NPU-perf. Precis som Apple har Qualcomm också många års NPU-erfarenhet av mobila enheter. AMD och Intel är relativt nya på området.

Apple har inte delat flyttal eller heltalsprestanda för chipets GPU, även om det har framhållit sin skicklighet att köra spel, som Resident Evil 4 Remake och Assassin's Creed Mirage. Detta tyder på att beräkningskraft inte är den begränsande faktorn för att köra större AI-modeller på plattformen.

Ytterligare stöd för detta är det faktum att Apples kisel i M-serien, som används i sina Mac- och iPad-linjer, har visat sig vara särskilt potent för att köra AI-inferensarbetsbelastningar. I våra tester, med tillräckligt minne – vi stötte på problem med mindre än 16 GB – var en nu tre år gammal M1 Macbook Air mer än kapabel att köra Llama 2 7B med 8-bitars precision och var ännu snabbare med en 4-bitars kvantifierad version av modellen. Förresten, om du vill prova detta på din M1 Mac, Ollama.ai gör det enkelt att köra Llama 2.

Där Apple kan tvingas göra hårdvarueftergifter är med minne.

Generellt sett behöver AI-modeller ungefär en gigabyte minne för varje miljard parametrar när de körs med 8-bitars precision. Detta kan halveras antingen genom att sjunka till lägre precision, något som Int-4, eller genom att utveckla mindre, kvantiserade modeller.

Llama 2 7B har blivit en vanlig referenspunkt för AI-datorer och smartphones på grund av dess relativt små fotavtryck och beräkningskrav när man kör små batchstorlekar. Med hjälp av 4-bitars kvantisering kan modellens krav sänkas till 3.5 GB.

Men även med 8 GB RAM på iPhone 15 Pro misstänker vi att Apples nästa generation av telefoner kan behöva mer minne, eller så kommer modellerna att behöva vara mindre och mer riktade. Detta är troligen en av anledningarna till att Apple väljer att utveckla sina egna modeller snarare än att samarbeta med modeller som Stable Diffusion eller Llama 2 för att köra på Int-4, som vi har sett från Qualcomm.

Det finns också några bevis som tyder på att Apple kan ha hittat en väg runt minnesproblemet. Som upptäckts av Financial Times, redan i december publicerade Apple-forskare [PDF] ett papper som visar förmågan att köra LLMs på enheten med flashminne.

Förvänta dig ett mer konservativt förhållningssätt till AI

När Apple introducerar AI-funktionalitet på sina stationära och mobila plattformar, förväntar vi oss att det tar ett relativt konservativt tillvägagångssätt.

Att förvandla Siri till något som folk inte känner att man behöver prata med som ett förskolebarn verkar vara en självklar plats att börja. Att göra det kan innebära att ge en LLM jobbet att analysera input till ett formulär som Siri lättare kan förstå, så att boten kan leverera bättre svar.

Siri kan bli mindre lätt förvirrad om du formulerar en fråga på ett omvägande sätt, vilket resulterar i mer effektiva svar.

I teorin borde detta ha ett par fördelar. Den första är att Apple borde kunna komma undan med att använda en mycket mindre modell än något som Llama 2. Den andra är att den i stort sett bör undvika problemet med att LLM producerar felaktiga svar.

Vi kan ha fel, men Apple har en erfarenhet av att vara sena med att implementera den senaste tekniken, men sedan hitta framgång där andra har misslyckats genom att ta tid att förfina och polera funktioner tills de faktiskt är användbara.

Och för vad det är värt, generativ AI har ännu inte bevisat att det är en hit: Microsofts stora chatbot-satsning för att blåsa liv i ingens favoritsökmotor Bing har inte översatt till en stor marknadsandelsökning.

Apple tog under tiden kronan som 2024:s den bästa smarttelefonleverantören samtidigt som du bara använder osynlig AI. ®

Tidsstämpel:

Mer från Registret