Is er iemand echt verrast dat Apple AI op het apparaat ontwikkelt?

Is er iemand echt verrast dat Apple AI op het apparaat ontwikkelt?

Tijdstempel: 24 januari 2024 8:30 uur
Bronknooppunt: 3083594

Opmerking De pogingen van Apple om generatieve AI toe te voegen aan zijn iDevices zouden niemand moeten verbazen, maar Cupertino's bestaande gebruik van de technologie en de beperkingen van mobiele hardware suggereren dat het in de nabije toekomst geen belangrijk onderdeel van iOS zal zijn.

Apple heeft zich niet aangesloten bij de recente golf van generatief AI-boosterisme en heeft in zijn recente keynote-presentaties zelfs in het algemeen de termen ‘AI’ of ‘Kunstmatige Intelligentie’ vermeden, vergeleken met veel bedrijven. Toch is en blijft machinaal leren een sleutelcapaciteit voor Apple, vooral op de achtergrond ten dienste van subtiele verbeteringen aan de gebruikerservaring.

Het gebruik van AI door Apple om afbeeldingen te verwerken is een voorbeeld van de technologie die op de achtergrond aan het werk is. Wanneer iThings foto's maakt, gaan machine learning-algoritmen aan het werk om onderwerpen te identificeren en te taggen, optische tekenherkenning uit te voeren en links toe te voegen.

In 2024 volstaat dat soort onzichtbare AI niet. De rivalen van Apple prijzen generatieve AI aan als een essentiële mogelijkheid voor elk apparaat en elke applicatie. Volgens een recente Financial Times verslagApple heeft stilletjes AI-bedrijven gekocht en zijn eigen grote taalmodellen ontwikkeld om ervoor te zorgen dat het bedrijf zijn beloftes waar kan maken.

Het hardwarevoordeel van Apple

Neurale verwerkingseenheden (NPU's) in Apple's zelfgebouwde silicium verwerken de bestaande AI-implementaties. Apple gebruikt de accelerators, die het ‘Neural Engines’ noemt sinds het debuut van het A2017 system-on-chip in 11, en gebruikt deze om kleinere machine learning-workloads af te handelen om de CPU en GPU van een apparaat vrij te maken voor andere klusjes.

De NPU's van Apple zijn bijzonder krachtig. De A17 Pro gevonden in de iPhone 15 Pro is in staat om 35 TOPS te duwen, het dubbele van dat van zijn voorganger, en ongeveer twee keer dat van sommige NPU's die Intel en AMD aanbieden voor gebruik in pc's.

De nieuwste Snapdragon-chips van Qualcomm komen qua NPU-prestaties overeen met die van Apple. Net als Apple heeft Qualcomm ook jarenlange NPU-ervaring op mobiele apparaten. AMD en Intel zijn relatief nieuw op dit gebied.

Apple heeft de drijvende-komma- of integer-prestaties voor de GPU van de chip niet gedeeld, hoewel het wel zijn bekwaamheid heeft aangeprezen bij het draaien van games, zoals de Resident Evil 4 Remake en Assassin's Creed Mirage. Dit suggereert dat rekenkracht niet de beperkende factor is voor het uitvoeren van grotere AI-modellen op het platform.

Een verdere ondersteuning hiervan is het feit dat Apple's silicium uit de M-serie, gebruikt in de Mac- en iPad-lijnen, bijzonder krachtig is gebleken voor het uitvoeren van AI-inferentiewerklasten. In onze tests was een nu drie jaar oude M16 Macbook Air, gegeven voldoende geheugen (we kwamen in de problemen met minder dan 1 GB), ruimschoots in staat om Llama 2 7B met een nauwkeurigheid van 8 bits uit te voeren en was hij zelfs sneller met een nauwkeurigheid van 4 bits. gekwantiseerde versie van het model. Als je dit trouwens op je M1 Mac wilt proberen, Ollama.ai maakt het runnen van Llama 2 een fluitje van een cent.

Waar Apple mogelijk gedwongen wordt concessies te doen op hardwaregebied is het geheugen.

Over het algemeen hebben AI-modellen ongeveer een gigabyte aan geheugen nodig voor elke miljard parameters, wanneer ze met een precisie van 8 bits werken. Dit kan worden gehalveerd door naar een lagere precisie te gaan, zoiets als Int-4, of door kleinere, gekwantiseerde modellen te ontwikkelen.

Llama 2 7B is een gebruikelijk referentiepunt geworden voor AI-pc's en smartphones vanwege de relatief kleine footprint en rekenvereisten bij het uitvoeren van kleine batchgroottes. Met behulp van 4-bit kwantisering kunnen de vereisten van het model worden teruggebracht tot 3.5 GB.

Maar zelfs met 8 GB RAM op de iPhone 15 Pro vermoeden we dat de volgende generatie telefoons van Apple mogelijk meer geheugen nodig heeft, of dat de modellen kleiner en doelgerichter zullen moeten zijn. Dit is waarschijnlijk een van de redenen dat Apple ervoor kiest zijn eigen modellen te ontwikkelen in plaats van modellen als Stable Diffusion of Llama 2 te coöpteren voor Int-4, zoals we van Qualcomm hebben gezien.

Er zijn ook aanwijzingen dat Apple mogelijk een manier heeft gevonden om het geheugenprobleem te omzeilen. Zoals opgemerkt door de Financial TimesIn december publiceerden Apple-onderzoekers [PDF] een paper waarin de mogelijkheid wordt gedemonstreerd om LLM's op het apparaat uit te voeren met behulp van flash-geheugen.

Verwacht een meer conservatieve benadering van AI

Wanneer Apple AI-functionaliteit introduceert op zijn desktop- en mobiele platforms, verwachten we dat het een relatief conservatieve aanpak zal volgen.

Siri veranderen in iets waarvan mensen niet het gevoel hebben dat er tegen gesproken moet worden zoals een kleuter, lijkt een voor de hand liggend beginpunt. Als u dat doet, zou dit kunnen betekenen dat u een LLM de taak geeft om de invoer te parseren in een vorm die Siri gemakkelijker kan begrijpen, zodat de bot betere antwoorden kan geven.

Siri kan minder gemakkelijk in de war raken als u een vraag op een omslachtige manier formuleert, wat resulteert in effectievere antwoorden.

In theorie zou dit een aantal voordelen moeten hebben. De eerste is dat Apple weg zou moeten kunnen komen met het gebruik van een veel kleiner model dan zoiets als Llama 2. De tweede is dat het grotendeels de kwestie moet vermijden dat de LLM foutieve reacties produceert.

We kunnen het mis hebben, maar Apple heeft de reputatie dat het te laat is met het implementeren van de nieuwste technologieën, maar vervolgens succes boekt waar anderen hebben gefaald door de tijd te nemen om functies te verfijnen en op te poetsen totdat ze daadwerkelijk bruikbaar zijn.

En voor wat het waard is, moet generatieve AI nog bewijzen dat het een hit is: de grote chatbot van Microsoft die inzet om niemands favoriete zoekmachine Bing nieuw leven in te blazen heeft niet vertaald tot een aanzienlijke stijging van het marktaandeel.

Apple pakte ondertussen de kroon als 2024 beste smartphoneverkoper terwijl alleen onzichtbare AI wordt ingezet. ®

Tijdstempel:

Meer van Het register