Alguém está realmente surpreso que a Apple esteja desenvolvendo IA no dispositivo?

Comentário Os esforços da Apple para adicionar IA generativa aos seus iDevices não devem surpreender ninguém, mas os usos existentes da tecnologia em Cupertino e as restrições do hardware móvel sugerem que não será um grande recurso do iOS em um futuro próximo.

A Apple não aderiu à recente onda de reforço da IA ​​generativa, evitando mesmo geralmente os termos “IA” ou “Inteligência Artificial” nas suas recentes apresentações em comparação com muitas empresas. No entanto, o aprendizado de máquina tem sido, e continua a ser, um recurso fundamental para a Apple – principalmente em segundo plano, a serviço de melhorias sutis na experiência do usuário.

O uso de IA pela Apple para lidar com imagens é um exemplo da tecnologia em funcionamento em segundo plano. Quando o iThings captura fotos, algoritmos de aprendizado de máquina trabalham para identificar e marcar assuntos, executando o reconhecimento óptico de caracteres e adicionando links.

Em 2024, esse tipo de IA invisível não resolve. Os rivais da Apple estão promovendo a IA generativa como uma capacidade essencial para todos os dispositivos e aplicativos. De acordo com um recente Financial Times Denunciar, a Apple tem comprado discretamente empresas de IA e desenvolvido seus próprios grandes modelos de linguagem para garantir que possa entregar.

Vantagem de hardware da Apple

Unidades de processamento neural (NPUs) no silício caseiro da Apple lidam com suas implementações de IA existentes. A Apple empregou os aceleradores, que chama de “Motores Neurais” desde a estreia do sistema em chip A2017 de 11 e os usa para lidar com cargas de trabalho menores de aprendizado de máquina para liberar a CPU e GPU de um dispositivo para outras tarefas.

Os NPUs da Apple são particularmente poderosos. O A17 Pro encontrado no iPhone 15 Pro é capaz de atingir 35 TOPS, o dobro do seu antecessor, e cerca de duas vezes isso de alguns NPUs que a Intel e a AMD oferecem para uso em PCs.

Os mais recentes chips Snapdragon da Qualcomm estão no mesmo nível dos da Apple em termos de desempenho de NPU. Assim como a Apple, a Qualcomm também tem anos de experiência em NPU em dispositivos móveis. AMD e Intel são relativamente novas na área.

A Apple não compartilhou o desempenho de ponto flutuante ou inteiro para a GPU do chip, embora tenha elogiado sua habilidade na execução de jogos, como Resident Evil 4 Remake e Assassin's Creed Mirage. Isto sugere que o poder computacional não é o fator limitante para a execução de modelos maiores de IA na plataforma.

Apoiando ainda mais isso está o fato de que o silício da série M da Apple, usado em suas linhas Mac e iPad, provou ser particularmente potente para executar cargas de trabalho de inferência de IA. Em nossos testes, com memória adequada – tivemos problemas com menos de 16 GB – um Macbook Air M1, agora com três anos de idade, era mais do que capaz de executar o Llama 2 7B com precisão de 8 bits e era ainda mais rápido com 4 bits. versão quantizada do modelo. A propósito, se você quiser experimentar isso no seu Mac M1, Ollama.ai torna a execução do Llama 2 muito fácil.

Onde a Apple pode ser forçada a fazer concessões de hardware é na memória.

De modo geral, os modelos de IA precisam de cerca de um gigabyte de memória para cada bilhão de parâmetros, quando executados com precisão de 8 bits. Isso pode ser reduzido pela metade diminuindo a precisão, algo como Int-4, ou desenvolvendo modelos quantizados menores.

O Llama 2 7B se tornou um ponto de referência comum para PCs e smartphones com IA devido ao seu tamanho relativamente pequeno e aos requisitos de computação ao executar lotes pequenos. Usando a quantização de 4 bits, os requisitos do modelo podem ser reduzidos para 3.5 GB.

Mas mesmo com 8 GB de RAM no iPhone 15 Pro, suspeitamos que a próxima geração de telefones da Apple poderá precisar de mais memória ou os modelos precisarão ser menores e mais direcionados. Esta é provavelmente uma das razões pelas quais a Apple está optando por desenvolver seus próprios modelos em vez de cooptar modelos como Stable Diffusion ou Llama 2 para rodar em Int-4, como vimos na Qualcomm.

Há também algumas evidências que sugerem que a Apple pode ter encontrado uma maneira de contornar o problema de memória. Como foi detectado pelo Financial Times, em dezembro, pesquisadores da Apple publicaram [PDF] um artigo que demonstra a capacidade de executar LLMs no dispositivo usando memória flash.

Espere uma abordagem mais conservadora à IA

Quando a Apple introduzir a funcionalidade de IA em suas plataformas desktop e móveis, esperamos que ela adote uma abordagem relativamente conservadora.

Transformar a Siri em algo que as pessoas não acham que precisa ser falado como uma criança em idade pré-escolar parece um lugar óbvio para começar. Fazer isso pode significar dar a um LLM a tarefa de analisar as informações em um formato que o Siri possa entender mais facilmente, para que o bot possa fornecer respostas melhores.

O Siri pode ficar menos confuso se você formular uma pergunta de maneira indireta, resultando em respostas mais eficazes.

Em teoria, isso deveria trazer alguns benefícios. A primeira é que a Apple deve ser capaz de usar um modelo muito menor do que algo como o Llama 2. A segunda é que deve evitar em grande parte o problema do LLM produzir respostas erradas.

Podemos estar errados, mas a Apple tem um histórico de atraso na implementação das tecnologias mais recentes, mas depois encontra sucesso onde outros falharam, dedicando tempo para refinar e aprimorar recursos até que sejam realmente úteis.

E pelo que vale a pena, a IA generativa ainda não provou que é um sucesso: o grande chatbot da Microsoft aposta para dar vida ao mecanismo de busca favorito de ninguém, o Bing não traduziu em um grande aumento de participação de mercado.

A Apple, por sua vez, conquistou a coroa como 2024 melhor fornecedor de smartphone enquanto implanta apenas IA invisível. ®

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2024/01/25/apple_generative_ai/