Is Anyone Really Surprised Apple Is Developing On-device AI?

প্লেটো দ্বারা প্রকাশিত

অনুসরণকারী: 0

মন্তব্য অ্যাপলের iDevices-এ জেনারেটিভ এআই যুক্ত করার প্রচেষ্টা কাউকে অবাক করবে না, তবে কুপারটিনোর প্রযুক্তির বিদ্যমান ব্যবহার এবং মোবাইল হার্ডওয়্যারের সীমাবদ্ধতাগুলি প্রস্তাব করে যে এটি অদূর ভবিষ্যতে iOS-এর একটি বড় বৈশিষ্ট্য হবে না।

অ্যাপল জেনারেটিভ এআই বুস্টারিজমের সাম্প্রতিক তরঙ্গে যোগ দেয়নি, এমনকি অনেক ব্যবসার তুলনায় তার সাম্প্রতিক মূল উপস্থাপনাগুলিতে সাধারণত "এআই" বা "কৃত্রিম বুদ্ধিমত্তা" শব্দগুলি এড়িয়ে যায়। তবুও মেশিন লার্নিং অ্যাপলের জন্য একটি মূল ক্ষমতা ছিল, এবং অব্যাহত রয়েছে - বেশিরভাগ ক্ষেত্রে ব্যবহারকারীর অভিজ্ঞতার সূক্ষ্ম উন্নতির পরিষেবার পটভূমিতে।

ছবি পরিচালনার জন্য অ্যাপলের AI ব্যবহার ব্যাকগ্রাউন্ডে কাজ করার প্রযুক্তির একটি উদাহরণ। যখন iThings ফটোগুলি ক্যাপচার করে, তখন মেশিন লার্নিং অ্যালগরিদমগুলি বিষয়গুলি সনাক্ত করতে এবং ট্যাগ করতে, অপটিক্যাল অক্ষর সনাক্তকরণ চালানো এবং লিঙ্কগুলি যোগ করার জন্য কাজ করে।

2024 সালে এই ধরণের অদৃশ্য AI এটিকে কাটবে না। অ্যাপলের প্রতিদ্বন্দ্বীরা জেনারেটিভ এআইকে প্রতিটি ডিভাইস এবং অ্যাপ্লিকেশনের জন্য একটি অপরিহার্য ক্ষমতা হিসাবে দাবি করছে। একটি সাম্প্রতিক মতে আর্থিক বার রিপোর্ট, Apple চুপচাপ AI কোম্পানিগুলি কিনেছে এবং এটি সরবরাহ করতে পারে তা নিশ্চিত করার জন্য তার নিজস্ব বৃহৎ ভাষার মডেল তৈরি করছে।

অ্যাপলের হার্ডওয়্যারের সুবিধা

অ্যাপলের হোমব্রু সিলিকনে নিউরাল প্রসেসিং ইউনিট (এনপিইউ) এর বিদ্যমান এআই বাস্তবায়ন পরিচালনা করে। Apple 2017-এর A11 সিস্টেম-অন-চিপ-এর আত্মপ্রকাশের পর থেকে এক্সিলারেটর ব্যবহার করেছে, যেটিকে "নিউরাল ইঞ্জিন" বলে অভিহিত করে এবং অন্যান্য কাজের জন্য ডিভাইসের CPU এবং GPU মুক্ত করতে ছোট মেশিন লার্নিং ওয়ার্কলোডগুলি পরিচালনা করতে ব্যবহার করে।

অ্যাপলের এনপিইউ বিশেষভাবে শক্তিশালী। এ 17 প্রো পাওয়া গেছে আইফোন এক্সএনএমএক্স প্রো 35টি টপস ঠেলে দিতে সক্ষম, তার পূর্বসূরীর দ্বিগুণ, এবং প্রায় তার দ্বিগুণ কিছু এনপিইউর মধ্যে ইন্টেল এবং এএমডি পিসিতে ব্যবহারের জন্য অফার করে।

এনপিইউ পারফের পরিপ্রেক্ষিতে কোয়ালকমের সর্বশেষ স্ন্যাপড্রাগন চিপগুলি অ্যাপলের সাথেই রয়েছে। অ্যাপলের মতো, কোয়ালকমেরও মোবাইল ডিভাইসে বছরের এনপিইউ অভিজ্ঞতা রয়েছে। এএমডি এবং ইন্টেল ক্ষেত্রে তুলনামূলকভাবে নতুন।

অ্যাপল চিপের জিপিইউ-এর জন্য ফ্লোটিং পয়েন্ট বা পূর্ণসংখ্যার পারফরম্যান্স শেয়ার করেনি, যদিও এটি রেসিডেন্ট এভিল 4 রিমেক এবং অ্যাসাসিনস ক্রিড মিরাজের মতো তার দক্ষতার চলমান গেমগুলির কথা বলেছে। এটি পরামর্শ দেয় যে প্ল্যাটফর্মে বড় AI মডেলগুলি চালানোর জন্য কম্পিউটেশনাল শক্তি সীমাবদ্ধ ফ্যাক্টর নয়।

এটিকে আরও সমর্থন করে যে অ্যাপলের এম-সিরিজের সিলিকন, যা এর ম্যাক এবং আইপ্যাড লাইনে ব্যবহৃত হয়, AI ইনফারেন্স ওয়ার্কলোড চালানোর জন্য বিশেষভাবে শক্তিশালী প্রমাণিত হয়েছে। আমাদের পরীক্ষায়, পর্যাপ্ত মেমরি দেওয়া হয়েছে — আমরা 16GB-এর কম নিয়ে সমস্যায় পড়েছিলাম — এখন তিন বছর বয়সী M1 Macbook Air 2-বিট নির্ভুলতায় Llama 7 8B চালানোর ক্ষমতার চেয়ে বেশি এবং 4-বিট সহ আরও স্ন্যাপ্পি ছিল মডেলের কোয়ান্টাইজড সংস্করণ। যাইহোক, আপনি যদি এটি আপনার M1 Mac-এ চেষ্টা করতে চান, ওল্লামা.আ Llama 2 চলমান একটি হাওয়া করে তোলে।

যেখানে অ্যাপল হার্ডওয়্যার ছাড় দিতে বাধ্য হতে পারে মেমরি দিয়ে।

সাধারণভাবে বলতে গেলে, 8-বিট নির্ভুলতায় চালানোর সময় AI মডেলগুলির প্রতি বিলিয়ন প্যারামিটারের জন্য প্রায় এক গিগাবাইট মেমরির প্রয়োজন হয়। এটি হয় কম নির্ভুলতায় নামিয়ে, Int-4 এর মতো কিছু, অথবা ছোট, কোয়ান্টাইজড মডেল তৈরি করে অর্ধেক করা যেতে পারে।

Llama 2 7B AI PC এবং স্মার্টফোনের জন্য একটি সাধারণ রেফারেন্স পয়েন্ট হয়ে উঠেছে অপেক্ষাকৃত ছোট ফুটপ্রিন্ট এবং ছোট ব্যাচ আকারে চলাকালীন গণনার প্রয়োজনীয়তার কারণে। 4-বিট কোয়ান্টাইজেশন ব্যবহার করে, মডেলের প্রয়োজনীয়তা 3.5GB এ কাটা যেতে পারে।

কিন্তু আইফোন 8 প্রোতে 15 গিগাবাইট র‍্যাম থাকা সত্ত্বেও, আমরা সন্দেহ করি যে অ্যাপলের পরবর্তী প্রজন্মের ফোনগুলির জন্য আরও মেমরির প্রয়োজন হতে পারে, বা মডেলগুলি ছোট এবং আরও লক্ষ্যযুক্ত হতে হবে। এটি সম্ভবত একটি কারণ যে অ্যাপল স্টেবল ডিফিউশন বা লামা 2-এর মতো মডেলগুলি সহ-অপ্ট করার পরিবর্তে তার নিজস্ব মডেলগুলিকে Int-4 এ চালানোর জন্য বেছে নিচ্ছে, যেমনটি আমরা কোয়ালকম থেকে দেখেছি।

অ্যাপল মেমরি সমস্যার চারপাশে একটি উপায় খুঁজে পেতে পারে এমন পরামর্শ দেওয়ার কিছু প্রমাণও রয়েছে। দ্বারা স্পট হিসাবে আর্থিক বার, ফিরে ডিসেম্বরে, অ্যাপল গবেষকরা প্রকাশ করেছেন [পিডিএফ] একটি কাগজ যা ফ্ল্যাশ মেমরি ব্যবহার করে ডিভাইসে এলএলএম চালানোর ক্ষমতা প্রদর্শন করে।

AI এর জন্য আরও রক্ষণশীল পদ্ধতির প্রত্যাশা করুন

অ্যাপল যখন তার ডেস্কটপ এবং মোবাইল প্ল্যাটফর্মে AI কার্যকারিতা প্রবর্তন করে, তখন আমরা অপেক্ষাকৃত রক্ষণশীল পদ্ধতির আশা করি।

সিরিকে এমন কিছুতে পরিণত করা যা লোকেরা প্রাক-স্কুল শিশুর মতো কথা বলার প্রয়োজন বোধ করে না তা শুরু করার একটি সুস্পষ্ট জায়গা বলে মনে হয়। এটি করার অর্থ হল একটি LLM কে একটি ফর্মে ইনপুট পার্স করার কাজ দেওয়া যা সিরি আরও সহজে বুঝতে পারে, যাতে বট আরও ভাল উত্তর দিতে পারে।

আপনি যদি একটি প্রশ্নকে একটি রাউন্ডঅাবউট উপায়ে উচ্চারণ করেন তাহলে সিরি কম সহজে বিভ্রান্ত হতে পারে, যার ফলে আরও কার্যকর প্রতিক্রিয়া পাওয়া যায়।

তাত্ত্বিকভাবে, এর কয়েকটি সুবিধা থাকা উচিত। প্রথমটি হল অ্যাপলকে লামা 2 এর মতো কিছুর চেয়ে অনেক ছোট মডেল ব্যবহার করে দূরে সরে যেতে সক্ষম হওয়া উচিত। দ্বিতীয়টি হল যে এটি মূলত এলএলএম-এর ভুল প্রতিক্রিয়া তৈরির সমস্যাটি এড়িয়ে চলা উচিত।

আমরা ভুল হতে পারি, কিন্তু অ্যাপলের সাম্প্রতিক প্রযুক্তি বাস্তবায়নে দেরি হওয়ার ট্র্যাক রেকর্ড রয়েছে, কিন্তু তারপরে এমন সাফল্য খুঁজে পাওয়া যেখানে অন্যরা ফিচারগুলিকে পরিমার্জন এবং পোলিশ করতে সময় নিয়ে ব্যর্থ হয়েছে যতক্ষণ না সেগুলি বাস্তবে কার্যকর হয়।

এবং এটির মূল্য কী, জেনারেটিভ এআই এখনও প্রমাণ করতে পারেনি যে এটি একটি হিট: মাইক্রোসফ্টের বড় চ্যাটবট বাজি কারও প্রিয় সার্চ ইঞ্জিন বিং-এ প্রাণ শ্বাস নেওয়ার জন্য অনুবাদ করেনি একটি প্রধান বাজার শেয়ার বৃদ্ধিতে.

অ্যাপল, ইতিমধ্যে, 2024 এর হিসাবে মুকুট নিয়েছে শীর্ষ স্মার্টফোন বিক্রেতা শুধুমাত্র অদৃশ্য এআই স্থাপন করার সময়। ®