Хтось справді здивований тим, що Apple розробляє AI на пристрої?

Хтось справді здивований тим, що Apple розробляє AI на пристрої?

Мітка часу: 24 січня 2024 р. 8:30
Вихідний вузол: 3083594

коментар Зусилля Apple додати генеративний штучний інтелект до своїх пристроїв iDevices не повинні нікого дивувати, але поточне використання цієї технології в Купертіно та обмеження мобільного обладнання свідчать про те, що це не стане великою функцією iOS у найближчому майбутньому.

Apple не приєдналася до недавньої хвилі генеративного стимулювання штучного інтелекту, навіть загалом уникаючи термінів «ШІ» чи «штучний інтелект» у своїх останніх основних презентаціях порівняно з багатьма компаніями. І все ж машинне навчання було і продовжує залишатися ключовою можливістю для Apple – здебільшого на задньому плані для тонких покращень взаємодії з користувачем.

Використання Apple штучного інтелекту для обробки зображень є одним із прикладів технології, яка працює у фоновому режимі. Коли iThings робить фотографії, алгоритми машинного навчання починають працювати, щоб ідентифікувати та позначати об’єкти, запускаючи оптичне розпізнавання символів і додаючи посилання.

У 2024 році такий невидимий ШІ не допоможе. Конкуренти Apple рекламують генеративний ШІ як важливу можливість для кожного пристрою та програми. Згідно з нещодавнім Financial Times звітом, Apple тихенько купувала компанії, що займаються штучним інтелектом, і розробляла власні великі мовні моделі, щоб гарантувати, що вони можуть працювати.

Апаратна перевага Apple

Блоки нейронної обробки (NPU) у саморобному кремнієвому процесорі Apple керують наявними реалізаціями ШІ. Apple використовує прискорювачі, які вона називає «нейронними двигунами» з моменту дебюту системи-на-чіпі A2017 у 11 році, і використовує їх для обробки менших робочих навантажень машинного навчання, щоб звільнити центральний і графічний процесор пристрою для інших завдань.

NPU від Apple особливо потужні. A17 Pro, знайдений у iPhone 15 Pro здатний натиснути 35 TOPS, що вдвічі більше, ніж його попередник, і приблизно вдвічі більше деяких NPU, які Intel і AMD пропонують для використання в ПК.

Найновіші чіпи Snapdragon від Qualcomm не поступаються процесорам Apple за продуктивністю NPU. Як і Apple, Qualcomm також має багаторічний досвід NPU у мобільних пристроях. AMD і Intel відносно нові в цій галузі.

Apple не ділиться продуктивністю з плаваючою точкою чи цілим числом для графічного процесора чіпа, хоча рекламувала його майстерність у запуску ігор, таких як Resident Evil 4 Remake і Assassin's Creed Mirage. Це свідчить про те, що обчислювальна потужність не є обмежуючим фактором для запуску більших моделей ШІ на платформі.

Додатковим підтвердженням цього є той факт, що кремнієвий процесор Apple серії M, який використовується в лінійках Mac і iPad, виявився особливо ефективним для виконання робочих навантажень штучного інтелекту. У нашому тестуванні, враховуючи достатню кількість пам’яті (у нас виникли проблеми з менш ніж 16 ГБ), M1 Macbook Air, якому вже виповнилося три роки, був більш ніж здатний працювати з Llama 2 7B із 8-бітною точністю та був ще швидшим із 4-бітною. квантована версія моделі. До речі, якщо ви хочете спробувати це на своєму M1 Mac, Ollama.ai робить біг Llama 2 легким.

Де Apple може бути змушена піти на апаратні поступки, так це з пам’яттю.

Загалом, моделі штучного інтелекту потребують близько гігабайта пам’яті для кожного мільярда параметрів, коли вони працюють із точністю до 8 біт. Це можна скоротити вдвічі, знизивши точність, наприклад Int-4, або розробивши менші квантовані моделі.

Llama 2 7B став загальною точкою відліку для комп’ютерів і смартфонів зі штучним інтелектом через його відносно невелику площу та вимоги до обчислень під час запуску невеликих пакетів. Використовуючи 4-бітове квантування, вимоги моделі можна скоротити до 3.5 ГБ.

Але навіть з 8 ГБ оперативної пам’яті на iPhone 15 Pro ми підозрюємо, що наступному поколінню телефонів Apple може знадобитися більше пам’яті, або моделі повинні бути меншими та більш цільовими. Ймовірно, це одна з причин того, що Apple вирішує розробляти власні моделі, а не кооптувати такі моделі, як Stable Diffusion або Llama 2, для роботи на Int-4, як ми бачили від Qualcomm.

Також є деякі докази того, що Apple, можливо, знайшла спосіб вирішити проблему пам’яті. Як помітили Financial Times, ще в грудні дослідники Apple опублікували [PDF] документ, що демонструє здатність запускати LLM на пристрої за допомогою флеш-пам’яті.

Очікуйте більш консервативного підходу до ШІ

Ми очікуємо, що коли Apple запровадить функціональність ШІ на своїх настільних і мобільних платформах, вона застосує відносно консервативний підхід.

Перетворення Siri на щось, з чим люди не відчувають потреби розмовляти, як із дитиною дошкільного віку, здається очевидним для початку. Це може означати надання LLM завдання аналізувати вхідні дані у форму, яку Siri легше зрозуміти, щоб бот міг надавати кращі відповіді.

Siri легше заплутати, якщо сформулювати запит обхідним шляхом, що призведе до більш ефективних відповідей.

Теоретично це повинно мати кілька переваг. По-перше, Apple повинна мати можливість використовувати набагато меншу модель, ніж щось на кшталт Llama 2. По-друге, вона повинна значною мірою уникати проблеми, коли LLM створює помилкові відповіді.

Ми можемо помилятися, але Apple має досвід того, що запізнювалася із впровадженням новітніх технологій, але потім досягала успіху там, де інші зазнали невдачі, витрачаючи час на вдосконалення та відшліфовування функцій, поки вони не стали дійсно корисними.

І чого це варте, генеративний штучний інтелект ще не довів, що він є хітом: великий чат-бот Microsoft зробив ставку на те, щоб вдихнути життя в нічийну улюблену пошукову систему Bing не перекладено у значне збільшення частки ринку.

Apple, тим часом, взяла корону як 2024 провідний постачальник смартфонів при розгортанні лише невидимого ШІ. ®

Часова мітка:

Більше від Реєстр