Qualcuno è davvero sorpreso che Apple stia sviluppando l'intelligenza artificiale sul dispositivo?

Commento Gli sforzi di Apple per aggiungere un'intelligenza artificiale generativa ai suoi iDevice non dovrebbero sorprendere nessuno, ma gli usi attuali della tecnologia da parte di Cupertino e i vincoli dell'hardware mobile suggeriscono che non sarà una grande caratteristica di iOS nel prossimo futuro.

Apple non si è unita alla recente ondata di promozione dell’IA generativa, anche evitando generalmente i termini “AI” o “Intelligenza Artificiale” nelle sue recenti presentazioni rispetto a molte aziende. Eppure l’apprendimento automatico è stato, e continua ad essere, una funzionalità chiave per Apple, per lo più in background al servizio di sottili miglioramenti all’esperienza dell’utente.

L'uso dell'intelligenza artificiale da parte di Apple per gestire le immagini è un esempio della tecnologia in funzione in background. Quando iThings scatta foto, gli algoritmi di apprendimento automatico si mettono all'opera per identificare e taggare i soggetti, eseguendo il riconoscimento ottico dei caratteri e aggiungendo collegamenti.

Nel 2024 quella sorta di intelligenza artificiale invisibile non basta. I rivali di Apple pubblicizzano l’intelligenza artificiale generativa come una capacità essenziale per ogni dispositivo e applicazione. Secondo un recente Financial Times rapporto, Apple ha tranquillamente acquistato società di intelligenza artificiale e ha sviluppato i propri modelli linguistici di grandi dimensioni per garantire di poter fornire risultati.

Il vantaggio hardware di Apple

Le unità di elaborazione neurale (NPU) nel silicio homebrew di Apple gestiscono le implementazioni AI esistenti. Apple ha utilizzato gli acceleratori, che definisce “motori neurali” sin dal debutto del system-on-chip A2017 del 11 e li utilizza per gestire carichi di lavoro di apprendimento automatico più piccoli per liberare CPU e GPU di un dispositivo per altre attività.

Le NPU di Apple sono particolarmente potenti. L'A17 Pro trovato nel iPhone 15 Pro è in grado di spingere 35 TOPS, il doppio rispetto al suo predecessore, e circa il doppio di alcune NPU offerte da Intel e AMD per l'utilizzo nei PC.

Gli ultimi chip Snapdragon di Qualcomm sono allo stesso livello di quelli di Apple in termini di prestazioni NPU. Come Apple, anche Qualcomm ha anni di esperienza NPU nei dispositivi mobili. AMD e Intel sono relativamente nuove nel campo.

Apple non ha condiviso le prestazioni in virgola mobile o intere per la GPU del chip, sebbene abbia pubblicizzato la sua abilità nell'esecuzione di giochi, come Resident Evil 4 Remake e Assassin's Creed Mirage. Ciò suggerisce che la potenza computazionale non è il fattore limitante per l’esecuzione di modelli IA più grandi sulla piattaforma.

A ulteriore sostegno di ciò c’è il fatto che il silicio della serie M di Apple, utilizzato nelle linee Mac e iPad, si è dimostrato particolarmente potente per l’esecuzione di carichi di lavoro di inferenza AI. Nei nostri test, data una memoria adeguata (abbiamo avuto problemi con meno di 16 GB), un Macbook Air M1 di tre anni fa era più che in grado di eseguire Llama 2 7B con una precisione a 8 bit ed era ancora più scattante con una precisione a 4 bit. versione quantizzata del modello. A proposito, se vuoi provarlo sul tuo Mac M1, Ollama.ai rende l'esecuzione di Llama 2 un gioco da ragazzi.

Dove Apple potrebbe essere costretta a fare concessioni sull'hardware è con la memoria.

In generale, i modelli di intelligenza artificiale necessitano di circa un gigabyte di memoria per ogni miliardo di parametri, se eseguiti con una precisione a 8 bit. Questo può essere dimezzato passando a una precisione inferiore, qualcosa come Int-4, o sviluppando modelli più piccoli e quantizzati.

Llama 2 7B è diventato un punto di riferimento comune per PC e smartphone con intelligenza artificiale grazie al suo ingombro e ai requisiti di calcolo relativamente ridotti durante l'esecuzione di lotti di piccole dimensioni. Utilizzando la quantizzazione a 4 bit, i requisiti del modello possono essere ridotti a 3.5 GB.

Ma anche con 8 GB di RAM sull’iPhone 15 Pro, sospettiamo che la prossima generazione di telefoni Apple potrebbe aver bisogno di più memoria, oppure che i modelli dovranno essere più piccoli e più mirati. Questo è probabilmente uno dei motivi per cui Apple sta scegliendo di sviluppare i propri modelli piuttosto che cooptare modelli come Stable Diffusion o Llama 2 per funzionare su Int-4, come abbiamo visto da Qualcomm.

Ci sono anche alcune prove che suggeriscono che Apple potrebbe aver trovato un modo per aggirare il problema della memoria. Come notato da Financial Times, a dicembre, i ricercatori Apple hanno pubblicato [PDF] un documento che dimostra la capacità di eseguire LLM sul dispositivo utilizzando la memoria flash.

Aspettatevi un approccio più conservativo all’intelligenza artificiale

Quando Apple introdurrà la funzionalità AI sulle sue piattaforme desktop e mobili, ci aspettiamo che adotti un approccio relativamente conservatore.

Trasformare Siri in qualcosa con cui la gente non sente il bisogno di parlare come un bambino in età prescolare sembra un punto di partenza ovvio. Ciò potrebbe significare affidare a un LLM il compito di analizzare gli input in un modulo che Siri possa comprendere più facilmente, in modo che il bot possa fornire risposte migliori.

Siri potrebbe diventare meno facilmente confuso se formulassi una domanda in modo indiretto, ottenendo risposte più efficaci.

In teoria, questo dovrebbe avere un paio di vantaggi. Il primo è che Apple dovrebbe essere in grado di farla franca utilizzando un modello molto più piccolo di qualcosa come Llama 2. Il secondo è che dovrebbe in gran parte evitare il problema del LLM che produce risposte errate.

Potremmo sbagliarci, ma Apple ha una storia di ritardi nell'implementazione delle tecnologie più recenti, per poi trovare successo dove altri hanno fallito, dedicando tempo a perfezionare e perfezionare le funzionalità fino a quando non sono effettivamente utili.

E per quello che vale, l'intelligenza artificiale generativa deve ancora dimostrare di essere un successo: il grande chatbot di Microsoft ha scommesso di dare vita al motore di ricerca preferito da nessuno, Bing. non ha tradotto in un importante aumento della quota di mercato.

Apple, nel frattempo, ha preso la corona del 2024 miglior fornitore di smartphone distribuendo solo un’intelligenza artificiale invisibile. ®

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2024/01/25/apple_generative_ai/