Apple이 온디바이스 AI를 개발하고 있다는 사실에 정말 놀란 사람이 있나요?

플라톤에 의해 재발행

팔로워 : 0

Comment iDevices에 생성 AI를 추가하려는 Apple의 노력은 누구도 놀랄 일이 아니지만 Cupertino의 기존 기술 사용과 모바일 하드웨어의 제약으로 인해 가까운 미래에 iOS의 큰 기능이 아닐 것임을 시사합니다.

Apple은 최근의 기조 연설에서 많은 기업과 비교하여 일반적으로 "AI" 또는 "인공 지능"이라는 용어를 피하는 등 최근 생성적 AI 부스터리즘의 물결에 동참하지 않았습니다. 그러나 머신러닝은 Apple의 핵심 기능이었으며 앞으로도 계속 그럴 것입니다. 주로 사용자 경험에 대한 미묘한 개선 서비스를 배경으로 하고 있습니다.

이미지를 처리하기 위해 Apple이 AI를 사용하는 것은 백그라운드에서 작동하는 기술의 한 예입니다. iThings가 사진을 캡처하면 기계 학습 알고리즘이 작동하여 피사체를 식별하고 태그를 지정하고 광학 문자 인식을 실행하며 링크를 추가합니다.

2024년에는 그런 종류의 보이지 않는 AI가 문제가 되지 않습니다. Apple의 경쟁사들은 생성 AI를 모든 기기와 애플리케이션의 필수 기능으로 선전하고 있습니다. 최근에 따르면 파이낸셜 타임즈 신고, Apple은 AI 회사를 조용히 인수하고 이를 제공할 수 있도록 자체 대규모 언어 모델을 개발해 왔습니다.

Apple의 하드웨어 장점

Apple의 홈브루 실리콘에 있는 신경 처리 장치(NPU)는 기존 AI 구현을 처리합니다. Apple은 2017년 A11 시스템 온 칩 출시 이후 "신경 엔진"이라는 가속기를 사용하여 더 작은 기계 학습 작업 부하를 처리하여 장치의 CPU 및 GPU를 다른 작업에 사용할 수 있게 했습니다.

Apple의 NPU는 특히 강력합니다. A17 Pro는 다음에서 발견되었습니다. 아이폰 15 Pro 이전 모델의 두 배인 35TOPS를 밀어낼 수 있습니다. 그 두 배 Intel과 AMD가 PC용으로 제공하는 일부 NPU 중 하나입니다.

Qualcomm의 최신 Snapdragon 칩은 NPU 성능 측면에서 Apple과 동등합니다. Apple과 마찬가지로 Qualcomm도 모바일 장치 분야에서 수년간 NPU 경험을 보유하고 있습니다. AMD와 Intel은 이 분야에 비교적 새로운 기업입니다.

Apple은 Resident Evil 4 Remake 및 Assassin's Creed Mirage와 같은 게임 실행 능력을 자랑했지만 칩 GPU에 대한 부동 소수점 또는 정수 성능을 공유하지 않았습니다. 이는 계산 능력이 플랫폼에서 더 큰 AI 모델을 실행하는 데 제한 요소가 아니라는 것을 의미합니다.

이를 더욱 뒷받침하는 것은 Mac 및 iPad 라인에 사용되는 Apple의 M 시리즈 실리콘이 AI 추론 워크로드를 실행하는 데 특히 강력한 것으로 입증되었다는 사실입니다. 테스트에서 적절한 메모리를 고려했을 때(16GB 미만에서는 문제가 발생했습니다.) 현재 1년이 된 M2 Macbook Air는 Llama 7 8B를 4비트 정밀도로 실행할 수 있는 능력이 훨씬 뛰어났으며 1비트 정밀도에서는 훨씬 더 빠릅니다. 모델의 양자화된 버전. 그건 그렇고, MXNUMX Mac에서 이것을 시도하고 싶다면, Ollama.ai Llama 2를 쉽게 실행할 수 있습니다.

Apple이 하드웨어 양보를 강요받을 수 있는 부분은 메모리입니다.

일반적으로 AI 모델은 8비트 정밀도로 실행될 때 4억 개의 매개변수마다 약 기가바이트의 메모리가 필요합니다. 이는 Int-XNUMX와 같이 정밀도를 낮추거나 더 작고 양자화된 모델을 개발하여 절반으로 줄일 수 있습니다.

Llama 2 7B는 소규모 배치 크기를 실행할 때 상대적으로 작은 설치 공간과 계산 요구 사항으로 인해 AI PC 및 스마트폰의 공통 참조 포인트가 되었습니다. 4비트 양자화를 사용하면 모델 요구 사항을 3.5GB로 줄일 수 있습니다.

그러나 iPhone 8 Pro에 15GB RAM이 있더라도 Apple의 차세대 휴대폰에는 더 많은 메모리가 필요하거나 모델이 더 작고 더 타겟팅되어야 할 것으로 의심됩니다. 이는 Qualcomm에서 보았듯이 Apple이 Stable Diffusion이나 Llama 2와 같은 모델을 Int-4에서 실행하는 대신 자체 모델을 개발하기로 선택한 이유 중 하나일 것입니다.

Apple이 메모리 문제를 해결할 수 있는 방법을 찾았을 수도 있다는 증거도 있습니다. 에서 발견한 대로 파이낸셜 타임즈, 지난 12월에 Apple 연구원들은 [PDF] 플래시 메모리를 사용하여 장치에서 LLM을 실행하는 기능을 보여주는 문서입니다.