سی ای او کا انٹرویو: مستیسکا AI کے سریش سوگومار – Semiwiki

ہمیں اپنی کمپنی کے بارے میں بتائیں
"مستسکا اے آئی” (مستیکا کا مطلب سنسکرت میں دماغ) ایک AI کمپنی ہے جو کل کے جنریٹو AI کے استعمال کے کیسز کے لیے فاؤنڈیشن ماڈلز کو زیادہ موثر طریقے سے چلانے کے لیے دماغ جیسے کمپیوٹر بنانے پر مرکوز ہے۔

آپ کن مسائل کو حل کر رہے ہیں؟
AI/GenAI کے فوائد کو دیکھتے ہوئے، اس کی مانگ صرف بڑھنے کی پابند ہے، اور اسی طرح ہمارے سیارے پر اس کے مضر اثرات بھی مرتب ہوں گے۔ ہم اپنے سیارے پر AI کے مضر اثرات کو کیسے کم یا بے اثر کر سکتے ہیں؟ کاربن کی گرفت اور ایٹمی طاقت درست سمت میں ہے۔ لیکن ہمیں بنیادی طور پر جس طرح سے ہم AI کرتے ہیں اس پر نظر ثانی کرنے کی ضرورت ہے، کیا یہ ٹن میٹرکس ضرب کرنے کا غلط طریقہ ہے؟

ہمارا دماغ متوازی طور پر، 10W کے اندر اور اس سے کم میں بہت سے کام سیکھ سکتا ہے اور کر سکتا ہے، لیکن یہ AI سسٹم ماڈلز کو تربیت دینے کے لیے 10s میگا واٹ کیوں استعمال کرتے ہیں؟

شاید مستقبل میں توانائی کی بچت کرنے والے فن تعمیرات جیسے نیورومورفک آرکیٹیکچرز اور اسپائکنگ نیورل نیٹ ورک پر مبنی ٹرانسفارمرز ہیں جو انسانی دماغ کے سب سے قریب ہیں، جو 100-1000x کم توانائی استعمال کر سکتے ہیں، اس لیے AI کے استعمال کی لاگت کو کم کر سکتے ہیں، اس طرح اسے جمہوری بنانا اور ہماری بچت کرنا ہے۔ سیارہ

موجودہ چیلنجز جن کا ہمیں AI کے ساتھ سامنا ہے یعنی a) دستیابی، b) رسائی، c) استطاعت، اور d) ماحولیاتی تحفظ کے ساتھ ان سے نمٹنے کے لیے کچھ سفارشات۔

اگر ہم مستقبل میں دیکھتے ہیں تو، فلم "HER" میں کچھ مفید AGI تصورات کا مظاہرہ کیا گیا ہے، جہاں کردار 'سمانتھا' - ایک بات چیت کرنے والا ایجنٹ جو قدرتی ہے، جذبات کو سمجھتا ہے، ہمدردی ظاہر کرتا ہے، کام پر ایک حیرت انگیز شریک کار ہے — اور چلتا ہے۔ پورے دن ہینڈ ہیلڈ ڈیوائسز، پھر ہمیں ابھی درج ذیل چیلنجوں سے نمٹنا پڑ سکتا ہے۔

مسئلہ 1: LLM کی تربیت پر 150K سے 10+ ملین ڈالر تک کہیں بھی لاگت آسکتی ہے، اور یہ صرف ان لوگوں کو AI تیار کرنے کی اجازت دیتا ہے جن کی جیب گہری ہے۔ سب سے اوپر، اندازہ لگانے کے اخراجات بھی بہت زیادہ ہیں (ایک ویب تلاش سے 10 گنا زیادہ لاگت آتی ہے)
—> ہمیں انسانیت کے فائدے کے لیے AI کو جمہوری بنانے کے لیے ماڈلز/ ہارڈویئر کی توانائی کی کارکردگی کو بہتر بنانے کی ضرورت ہے۔

مسئلہ 2: بات چیت کرنے والے ایجنٹوں یا سفارشی نظاموں کے لیے غیر معمولی AI ماڈلز چلانا، بجلی کی کھپت اور ٹھنڈک کے لحاظ سے ماحول کو نقصان پہنچاتا ہے۔
—> ہمیں اپنے بچوں کے لیے اپنے سیارے کو بچانے کے لیے ماڈلز/ ہارڈویئر کی توانائی کی کارکردگی کو بہتر بنانے کی ضرورت ہے۔

مسئلہ 3: انسانی دماغ قابل ہے اور ملٹی ٹاسک کرسکتا ہے لیکن میگا واٹ کے بجائے صرف 10 واٹ استعمال کرتا ہے۔
--> شاید ہمیں اپنے دماغ کی طرح مشینیں بنانا چاہئیں نہ کہ ریگولر میٹرکس ملٹی پلائرز کو تیزی سے۔

انسانیت صرف پائیدار اختراعات سے ہی ترقی کر سکتی ہے، تمام جنگلات کو کاٹ کر اور جدت کے نام پر سمندروں کو ابالنے سے نہیں۔ ہمیں اپنے بچوں اور آنے والی نسلوں کی فلاح و بہبود کے لیے اپنے سیارے کی حفاظت کرنی چاہیے…

آپ کی درخواست کے کون سے علاقے سب سے مضبوط ہیں؟
آج کے GPU پر مبنی حل کے مقابلے میں 50-100x زیادہ توانائی کے ساتھ، ٹرانسفارمر (اور مستقبل کے نیورل فن تعمیر) پر مبنی فاؤنڈیشن ماڈلز کی تربیت اور انفرنسنگ۔

رات کو آپ کے گاہکوں کو کیا رکھتا ہے؟
اس وقت دیگر مصنوعات استعمال کرنے والے صارفین کے لیے مسائل:

غیر مہذب زبان کے ماڈلز کی تربیت کے لیے بجلی کی کھپت چھت سے باہر ہے، مثال کے طور پر، 13 دنوں کے لیے 390 GPUs پر 200B ٹیکسٹ ٹوکنز پر 7B پیرامیٹر LLM کی تربیت کی لاگت $151,744 ہے (ماخذ: HuggingFace نئی ٹریننگ کلسٹر سروس صفحہ – https://lnkd.in/g6Vc5cz3)۔ اور یہاں تک کہ 100+B پیرامیٹرز والے بڑے ماڈلز کی لاگت صرف $10+M ہوتی ہے۔ پھر جب بھی کوئی نئی پرامپٹ درخواست آئے تو اندازہ لگانے کے لیے ادائیگی کریں۔

کولنگ کے لیے پانی کی کھپت، یونیورسٹی آف کیلیفورنیا، ریور سائیڈ کے محققین نے ChatGPT جیسی سروس کے ماحولیاتی اثرات کا تخمینہ لگایا، اور کہا کہ یہ 500 ملی لیٹر پانی (16 آونس کی پانی کی بوتل کے قریب ہے) جب بھی آپ اس سے پوچھیں 5 سے 50 اشارے یا سوالات کی سیریز۔ رینج اس بات پر منحصر ہوتی ہے کہ اس کے سرور کہاں واقع ہیں اور موسم۔ تخمینہ میں پانی کا بالواسطہ استعمال شامل ہے جس کی کمپنیاں پیمائش نہیں کرتیں — جیسے کہ بجلی کے پلانٹس کو ٹھنڈا کرنا جو ڈیٹا سینٹرز کو بجلی فراہم کرتے ہیں۔ (ذریعہ: https://lnkd.in/gybcxX8C)

موجودہ مصنوعات کے غیر صارفین کے لیے مسائل:

ہارڈ ویئر خریدنے کے لیے CAPEX کا متحمل نہیں ہو سکتا
کلاؤڈ سروسز استعمال کرنے کا متحمل نہیں ہو سکتا
AI کو اختراع یا فائدہ نہیں پہنچا سکتا — خدمات کے ماڈل کے ساتھ پھنس گیا ہے جو کسی بھی مسابقتی فائدہ کو ختم کرتا ہے۔

مسابقتی زمین کی تزئین کیسا لگتا ہے اور آپ کس طرح فرق کرتے ہیں؟

• GPUs تربیت کی جگہ پر غلبہ رکھتے ہیں، حالانکہ خصوصی ASICs بھی اس حصے میں مقابلہ کرتے ہیں۔
• کلاؤڈ اور ایج انفرنس میں بہت زیادہ اختیارات دستیاب ہیں۔

ڈیجیٹل، اینالاگ، فوٹوونک - آپ اسے نام دیں لوگ اسی مسئلے سے نمٹنے کی کوشش کر رہے ہیں۔

کیا آپ AI/ML کے لیے چپ فن تعمیر کی موجودہ حالت پر اپنے خیالات کا اشتراک کر سکتے ہیں، یعنی، آپ اس وقت سب سے اہم رجحانات اور مواقع کیا دیکھتے ہیں؟

مندرجہ ذیل رجحانات:
رجحان 1: 10 سال پہلے، ہارڈ ویئر سے چلنے والی گہری تعلیم کو فروغ ملا، اور اب وہی ہارڈویئر ترقی کو روک رہا ہے۔ ہارڈ ویئر کی بھاری لاگت اور ماڈلز کو چلانے کے لیے بجلی کے اخراجات کی وجہ سے، ہارڈ ویئر تک رسائی ایک چیلنج بن گیا ہے۔ صرف گہری جیب والی کمپنیاں ہی ان کو برداشت کرنے کے قابل ہیں اور اجارہ داری بن رہی ہیں۔

رجحان 2: اب جب کہ یہ ماڈلز موجود ہیں، ہمیں انہیں عملی مقاصد کے لیے استعمال کرنے کی ضرورت ہے تاکہ انفرنسنگ بوجھ بڑھے، جس سے AI ایکسلریٹر والے CPUs دوبارہ منظر عام پر آسکیں۔

رجحان 3: اسٹارٹ اپ متبادل فلوٹنگ پوائنٹ نمبر کی نمائندگی کے ساتھ آنے کی کوشش کر رہے ہیں کہ روایتی IEEE فارمیٹ – جیسے لوگاریتھمک اور پوزیٹ بیسڈ – اچھے ہیں لیکن کافی نہیں۔ PPA$ ڈیزائن کی جگہ کی اصلاح اس وقت پھٹ جاتی ہے جب ہم ایک کو بہتر بنانے کی کوشش کرتے ہیں اور دوسرا ٹاس کے لیے جاتا ہے۔

رجحان 4: صنعت AI کے سروس پر مبنی ماڈل سے ہٹ کر اپنے ذاتی ماڈلز کو اپنے ہی احاطے میں ہوسٹ کر رہی ہے - لیکن سپلائی کی کمی، پابندیوں وغیرہ کی وجہ سے ہارڈ ویئر تک رسائی ایک چیلنج ہے۔

موجودہ حالات:
ہارڈ ویئر اور ڈیٹا کی دستیابی نے 10 سال پہلے AI کی ترقی کو ہوا دی تھی، اب وہی ہارڈ ویئر اسے روک رہا ہے — مجھے بتانے دو

جب سے CPUs برا کام کر رہے تھے اور GPUs کو AI کرنے کے لیے دوبارہ تیار کیا گیا تھا، بہت سی چیزیں ہوئیں

کمپنیاں AI/ML کے 4 حصوں پر توجہ دے رہی ہیں یعنی - 1) کلاؤڈ ٹریننگ، 2) کلاؤڈ انفرنسنگ، 3) ایج انفرنسنگ، اور 4) ایج ٹریننگ (پرائیویسی سے متعلق حساس ایپلی کیشنز کے لیے فیڈریٹڈ لرننگ)۔
ڈیجیٹل اور اینالاگ

تربیت کی طرف - GPUs کرنے والی کمپنیوں کی بہتات، RISC-V پر مبنی کسٹمر ایکسلریٹر، ویفر اسکیل چپس (850K کور)، اور اسی طرح جہاں روایتی CPUs کی کمی ہے (ان کا عمومی مقصد)۔ انفرنس سائیڈ - NN ایکسلریٹر ہر مینوفیکچرر سے اسمارٹ فونز، لیپ ٹاپس اور دیگر ایج ڈیوائسز میں دستیاب ہیں۔

اینالاگ میمریسٹر پر مبنی فن تعمیرات بھی کچھ عرصہ قبل ظاہر ہوئے تھے۔

ہمیں یقین ہے کہ CPUs کا اندازہ لگانے میں بہت اچھا ہو سکتا ہے اگر ہم اسے ایکسلریشن جیسے میٹرکس ایکسٹینشن کے ساتھ بڑھاتے ہیں۔

چیزوں کا RISC-V پہلو:
چیزوں کے RISC-V کی طرف، ہم میٹرکس آپریشنز اور دیگر غیر لکیری آپریشنز کے لیے ایکسلریٹر تیار کر رہے ہیں تاکہ ٹرانسفارمر کے کام کے بوجھ کے لیے ممکنہ رکاوٹوں کو ختم کیا جا سکے۔ وان نیومن کی رکاوٹوں کو کمپیوٹنگ کے قریب یادوں کی تعمیر کے ذریعے بھی دور کیا جا رہا ہے، آخر کار AI ایکسلریشن کے ساتھ CPUs کو اندازہ لگانے کا صحیح انتخاب بنایا جا رہا ہے۔

مواقع:
فاؤنڈیشن ماڈلز کی مارکیٹ کو بھرنے کے منفرد مواقع موجود ہیں۔ مثال - OpenAI یہ بتاتا رہا ہے کہ وہ اپنی ChatGPT سروسز کو آگے بڑھانے کے لیے کافی AI کمپیوٹ (GPUs) کو محفوظ نہیں کر پا رہے تھے… اور خبروں میں انٹرنیٹ کی باقاعدہ تلاش سے 10x بجلی کی لاگت اور سسٹم کو ٹھنڈا کرنے کے لیے 500ml پانی کے بارے میں خبریں ہیں۔ ہر سوال کے لیے۔ یہاں بھرنے کے لیے ایک مارکیٹ ہے - یہ جگہ نہیں ہے، بلکہ یہ پوری مارکیٹ ہے جو اوپر بیان کیے گئے تمام چیلنجوں سے نمٹنے کے لیے AI کو جمہوری بنائے گی - a) دستیابی، b) رسائی، c) سستی، اور d) ماحولیاتی تحفظ

آپ کن نئی خصوصیات/ٹیکنالوجی پر کام کر رہے ہیں؟
ہم توانائی کے موثر ہارڈ ویئر سے فائدہ اٹھانے کے لیے کمپیوٹر کی طرح دماغ کی تعمیر کر رہے ہیں نیورو موڈرفک ٹیکنیکس اور ٹیلرنگ ماڈلز، دستیاب کھلے فریم ورک کا دوبارہ استعمال کر رہے ہیں۔

آپ اگلے 12-18 مہینوں میں AI/ML سیکٹر کے بڑھنے یا بدلنے کا تصور کیسے کرتے ہیں؟
چونکہ GPUs کی مانگ میں اضافہ ہوا ہے (قیمت $30K) اور دنیا کے کچھ حصوں کو ان GPUs کو خریدنے کے لیے پابندیوں کا سامنا ہے، دنیا کے کچھ حصے محسوس کر رہے ہیں کہ وہ GPUs تک رسائی کے بغیر AI تحقیق اور ترقی میں منجمد ہیں۔ متبادل ہارڈویئر پلیٹ فارم مارکیٹ پر قبضہ کرنے جا رہے ہیں۔
ماڈلز شاید سکڑنا شروع ہو جائیں گے - حسب ضرورت ماڈل یا بنیادی طور پر معلومات کی کثافت بڑھے گی۔

ایک ہی سوال لیکن اگلے 3-5 سالوں میں ترقی اور تبدیلی کے بارے میں کیا خیال ہے؟
a) AI ایکسٹینشن والے CPUs AI انفرنس مارکیٹ پر قبضہ کر لیں گے۔
ب) ماڈلز فرتیلا ہو جائیں گے، اور معلومات کی کثافت 16% سے 90% تک بہتر ہونے پر پیرامیٹر ختم ہو جائیں گے۔
c) توانائی کی کارکردگی بہتر ہوتی ہے، CO2 فوٹ پرنٹ کم ہو جاتا ہے۔
d) نئے فن تعمیرات سامنے آتے ہیں۔
e) ہارڈ ویئر کی لاگت اور توانائی کی لاگت کم ہوتی ہے لہذا چھوٹی کمپنیوں کے ماڈل بنانے اور تربیت دینے میں داخلے میں رکاوٹ سستی ہوجاتی ہے۔
f) لوگ پری AGI لمحے کے بارے میں بات کرتے ہیں، لیکن میرا معیار فلم "ہر" میں سمانتھا (گفتگو کرنے والا AI) ہوگا.

کچھ چیلنجز کیا ہیں جو AI/ML سیکٹر میں ترقی کو متاثر یا محدود کر سکتے ہیں؟
a) ہارڈ ویئر تک رسائی
ب) توانائی کے اخراجات اور کولنگ کے اخراجات اور ماحولیاتی نقصان

بھی پڑھیں:

سی ای او انٹرویو: پراگمیٹک کے ڈیوڈ مور

سی ای او انٹرویو: سینڈ باکس سیمی کنڈکٹر کی ڈاکٹر میگھالی چوپڑا

سی ای او انٹرویو: الائنڈ کاربن کے ڈاکٹر جے پروائن