Apakah ada yang benar-benar terkejut Apple mengembangkan AI pada perangkat?

Apakah ada yang benar-benar terkejut Apple mengembangkan AI pada perangkat?

Stempel Waktu: 24 Januari 2024 8:30
Node Sumber: 3083594

Pesan Upaya Apple untuk menambahkan AI generatif ke iDevicesnya seharusnya tidak mengejutkan siapa pun, namun penggunaan teknologi ini di Cupertino, dan keterbatasan perangkat keras seluler, menunjukkan bahwa hal itu tidak akan menjadi fitur besar iOS dalam waktu dekat.

Apple belum bergabung dengan gelombang boosterisme AI generatif baru-baru ini, bahkan secara umum menghindari istilah “AI” atau “Kecerdasan Buatan” dalam presentasi utamanya baru-baru ini dibandingkan dengan banyak perusahaan lainnya. Namun pembelajaran mesin telah, dan terus menjadi, kemampuan utama bagi Apple – sebagian besar digunakan untuk memberikan peningkatan halus pada pengalaman pengguna.

Penggunaan AI oleh Apple untuk menangani gambar adalah salah satu contoh teknologi yang bekerja di latar belakang. Saat iThings mengambil foto, algoritme pembelajaran mesin bekerja untuk mengidentifikasi dan menandai subjek, menjalankan pengenalan karakter optik, dan menambahkan tautan.

Pada tahun 2024, AI yang tidak terlihat seperti itu tidak akan berhasil. Saingan Apple menggembar-gemborkan AI generatif sebagai kemampuan penting untuk setiap perangkat dan aplikasi. Menurut baru-baru ini Financial Times melaporkan, Apple diam-diam membeli perusahaan AI dan mengembangkan model bahasa besarnya sendiri untuk memastikan produk tersebut dapat terlaksana.

Keunggulan perangkat keras Apple

Unit pemrosesan saraf (NPU) pada silikon buatan Apple menangani implementasi AI yang ada. Apple telah menggunakan akselerator, yang disebut “Mesin Neural” sejak debut sistem-on-chip A2017 tahun 11 dan menggunakannya untuk menangani beban kerja pembelajaran mesin yang lebih kecil guna membebaskan CPU dan GPU perangkat untuk tugas-tugas lainnya.

NPU Apple sangat kuat. A17 Pro ditemukan di iPhone 15 Pro mampu mendorong 35 TOPS, dua kali lipat dari pendahulunya, dan sekitar dua kali itu dari beberapa NPU yang ditawarkan Intel dan AMD untuk digunakan di PC.

Chip Snapdragon terbaru Qualcomm setara dengan Apple dalam hal kinerja NPU. Seperti Apple, Qualcomm juga memiliki pengalaman NPU selama bertahun-tahun di perangkat seluler. AMD dan Intel relatif baru di bidang ini.

Apple belum membagikan performa floating point atau integer untuk GPU chip tersebut, meskipun Apple memuji kehebatannya dalam menjalankan game, seperti Resident Evil 4 Remake dan Assassin's Creed Mirage. Hal ini menunjukkan bahwa kekuatan komputasi bukanlah faktor pembatas untuk menjalankan model AI yang lebih besar pada platform.

Yang lebih mendukung hal ini adalah fakta bahwa silikon seri M Apple, yang digunakan di lini Mac dan iPad, telah terbukti sangat ampuh untuk menjalankan beban kerja inferensi AI. Dalam pengujian kami, dengan memori yang memadai — kami mengalami masalah dengan kapasitas kurang dari 16 GB — M1 Macbook Air yang kini berusia tiga tahun lebih dari mampu menjalankan Llama 2 7B dengan presisi 8-bit dan bahkan lebih cepat dengan 4-bit versi terkuantisasi dari model. Omong-omong, jika Anda ingin mencobanya di M1 Mac Anda, Ollama.ai membuat menjalankan Llama 2 menjadi mudah.

Di mana Apple mungkin terpaksa membuat konsesi perangkat keras adalah dengan memori.

Secara umum, model AI memerlukan sekitar satu gigabyte memori untuk setiap miliar parameter, saat dijalankan pada presisi 8-bit. Hal ini dapat dikurangi setengahnya dengan menurunkan presisi ke yang lebih rendah, seperti Int-4, atau dengan mengembangkan model terkuantisasi yang lebih kecil.

Llama 2 7B telah menjadi titik referensi umum untuk PC AI dan ponsel cerdas karena jejaknya yang relatif kecil dan persyaratan komputasi saat menjalankan ukuran batch yang kecil. Dengan menggunakan kuantisasi 4-bit, persyaratan model dapat dikurangi menjadi 3.5 GB.

Namun bahkan dengan RAM 8 GB pada iPhone 15 Pro, kami menduga ponsel generasi berikutnya dari Apple mungkin memerlukan lebih banyak memori, atau modelnya harus lebih kecil dan lebih bertarget. Ini mungkin salah satu alasan Apple memilih untuk mengembangkan modelnya sendiri daripada mengkooptasi model seperti Stable Diffusion atau Llama 2 untuk dijalankan pada Int-4, seperti yang telah kita lihat dari Qualcomm.

Ada juga beberapa bukti yang menunjukkan bahwa Apple mungkin telah menemukan cara mengatasi masalah memori. Seperti yang terlihat oleh Financial Times, pada bulan Desember, peneliti Apple menerbitkan [PDF] makalah yang menunjukkan kemampuan menjalankan LLM pada perangkat menggunakan memori flash.

Harapkan pendekatan yang lebih konservatif terhadap AI

Ketika Apple memperkenalkan fungsionalitas AI pada platform desktop dan selulernya, kami memperkirakan Apple akan mengambil pendekatan yang relatif konservatif.

Mengubah Siri menjadi sesuatu yang orang-orang tidak merasa perlu diajak bicara seperti anak prasekolah tampaknya merupakan awal yang jelas. Melakukan hal itu berarti memberi LLM tugas untuk menguraikan masukan ke dalam bentuk yang lebih mudah dipahami Siri, sehingga bot dapat memberikan jawaban yang lebih baik.

Siri bisa menjadi lebih mudah bingung jika Anda mengutarakan pertanyaan secara tidak langsung, sehingga menghasilkan respons yang lebih efektif.

Secara teori, hal ini seharusnya mempunyai beberapa manfaat. Yang pertama adalah Apple harus bisa menggunakan model yang jauh lebih kecil dibandingkan Llama 2. Yang kedua adalah Apple harus menghindari masalah LLM yang menghasilkan tanggapan yang salah.

Kita bisa saja salah, namun Apple memiliki rekam jejak yang terlambat menerapkan teknologi terbaru, namun kemudian meraih kesuksesan ketika perusahaan lain gagal dengan meluangkan waktu untuk menyempurnakan dan memoles fitur hingga benar-benar berguna.

Dan terlepas dari manfaatnya, AI generatif belum membuktikan keberhasilannya: taruhan besar chatbot Microsoft untuk memberikan kehidupan pada mesin pencari Bing yang tidak disukai siapa pun. belum menerjemahkan menjadi peningkatan pangsa pasar yang besar.

Apple, sementara itu, mengambil alih mahkota pada tahun 2024 vendor ponsel pintar teratas sementara hanya menerapkan AI yang tidak terlihat. ®

Stempel Waktu:

Lebih dari Pendaftaran