সিইও ইন্টারভিউ: মাস্তিস্কা এআই-সেমিউইকি-এর সুরেশ সুগুমার

আপনার কোম্পানি সম্পর্কে আমাদের বলুন
"মাস্তিস্ক এআই” (মাস্তিসকা মানে সংস্কৃতে ব্রেন) হল একটি AI কোম্পানি যা আগামীকালের জেনারেটিভ AI ব্যবহারের ক্ষেত্রে আরও দক্ষতার সাথে ফাউন্ডেশন মডেলগুলি চালানোর জন্য মস্তিষ্কের মতো কম্পিউটার তৈরির উপর দৃষ্টি নিবদ্ধ করে৷

আপনি কি সমস্যা সমাধান করছেন?
AI/GenAI এর সুবিধার পরিপ্রেক্ষিতে, এর চাহিদা কেবল বাড়তে বাধ্য, এবং আমাদের গ্রহে এর পার্শ্বপ্রতিক্রিয়াও হবে। কিভাবে আমরা আমাদের গ্রহে AI এর পার্শ্বপ্রতিক্রিয়া কমাতে বা নিরপেক্ষ করতে পারি? কার্বন ক্যাপচার এবং পারমাণবিক শক্তি সঠিক পথে। কিন্তু আমরা যেভাবে এআই করি তা আমাদের মৌলিকভাবে পুনর্বিবেচনা করতে হবে, এটা কি টন ম্যাট্রিক্স গুন করার ভুল উপায়?

আমাদের মস্তিষ্ক 10W এর মধ্যে এবং সমান্তরালভাবে অনেক কাজ শিখতে এবং করতে পারে, কিন্তু কেন এই AI সিস্টেমগুলি মডেলগুলিকে প্রশিক্ষণ দিতে 10 মেগাওয়াট খরচ করে?

সম্ভবত ভবিষ্যতে শক্তি-দক্ষ আর্কিটেকচার যেমন নিউরোমরফিক আর্কিটেকচার এবং স্পাইকিং নিউরাল নেটওয়ার্ক-ভিত্তিক ট্রান্সফরমারগুলি রয়েছে যা মানুষের মস্তিষ্কের সবচেয়ে কাছের, যা 100-1000x কম শক্তি খরচ করতে পারে, তাই AI ব্যবহার করার খরচ কমাতে পারে, যার ফলে এটিকে গণতন্ত্রীকরণ করা যায় এবং আমাদের সংরক্ষণ করা যায়। গ্রহ

AI এর সাথে আমরা যে বর্তমান চ্যালেঞ্জগুলির মুখোমুখি হচ্ছি তা হল ক) প্রাপ্যতা, খ) অ্যাক্সেসযোগ্যতা, গ) সামর্থ্য এবং ঘ) পরিবেশগত নিরাপত্তা এবং সেগুলি মোকাবেলার জন্য কিছু সুপারিশ।

আমরা যদি ভবিষ্যতে আন্দাজ করি, কিছু দরকারী AGI ধারণাগুলি "HER" মুভিতে প্রদর্শিত হয়েছে, যেখানে চরিত্র 'সামান্থা' - একজন কথোপকথনকারী এজেন্ট যিনি স্বাভাবিক, আবেগ বোঝেন, সহানুভূতি দেখান, কর্মক্ষেত্রে একজন আশ্চর্যজনক সহ-পাইলট — এবং চলে সারা দিন হ্যান্ডহেল্ড ডিভাইস, তাহলে আমাদের এখনই নীচের চ্যালেঞ্জগুলি মোকাবেলা করতে হতে পারে।

ইস্যু 1: একটি LLM প্রশিক্ষণের জন্য 150K থেকে 10+ মিলিয়ন ডলার পর্যন্ত খরচ হতে পারে, এবং এটি শুধুমাত্র যারা গভীর পকেট আছে তাদের AI বিকাশ করতে দেয়। সর্বোপরি, অনুমান করার খরচও বিশাল (একটি ওয়েব অনুসন্ধানের চেয়ে 10 গুণ বেশি খরচ)
—> মানবতার সুবিধার জন্য এআইকে গণতান্ত্রিক করার জন্য আমাদের মডেল/হার্ডওয়্যারের শক্তি দক্ষতা উন্নত করতে হবে।

ইস্যু 2: কথোপকথন এজেন্ট বা সুপারিশ সিস্টেমের জন্য জিনরমাস এআই মডেল চালানো, বিদ্যুৎ খরচ এবং শীতল করার ক্ষেত্রে পরিবেশের উপর একটি টোল রাখে।
—> আমাদের বাচ্চাদের জন্য আমাদের গ্রহকে বাঁচাতে মডেল/হার্ডওয়্যারের শক্তি দক্ষতা উন্নত করতে হবে।

ইস্যু 3: মানুষের মস্তিষ্ক সক্ষম এবং মাল্টিটাস্ক করতে পারে, কিন্তু মেগাওয়াটের পরিবর্তে মাত্র 10 ওয়াট খরচ করে।
-> সম্ভবত আমাদের মস্তিষ্কের মতো মেশিন তৈরি করা উচিত এবং নিয়মিত ম্যাট্রিক্স গুণকগুলির দ্রুত নয়।

মানবতা কেবল টেকসই উদ্ভাবনের মাধ্যমেই উন্নতি করতে পারে, উদ্ভাবনের নামে সমস্ত বন কেটে সমুদ্রকে ফুটিয়ে দিয়ে নয়। আমাদের শিশুদের এবং ভবিষ্যত প্রজন্মের কল্যাণের জন্য আমাদের গ্রহকে রক্ষা করতে হবে...

কোন অ্যাপ্লিকেশন এলাকায় আপনার শক্তিশালী?
ট্রান্সফরমার (এবং ভবিষ্যতের নিউরাল আর্কিটেকচার) ভিত্তিক ফাউন্ডেশন মডেলগুলির প্রশিক্ষণ এবং ইনফরেন্সিং, আজকের GPU-ভিত্তিক সমাধানগুলির তুলনায় 50-100x বেশি শক্তি দক্ষতার সাথে।

কি আপনার গ্রাহকদের রাতে জাগিয়ে রাখে?
বর্তমানে অন্যান্য পণ্য ব্যবহার করা গ্রাহকদের জন্য সমস্যা:

humungous ভাষার মডেল প্রশিক্ষণের জন্য বিদ্যুৎ খরচ ছাদের বাইরে, উদাহরণস্বরূপ, 13 GPU-তে 390B টেক্সট টোকেনে 200B প্যারামিটার LLM প্রশিক্ষণের জন্য 7 দিনের জন্য খরচ হয় $151,744 (সূত্র: HuggingFace নতুন প্রশিক্ষণ ক্লাস্টার পরিষেবা পৃষ্ঠা – https://lnkd.in/g6Vc5cz3) এমনকি 100+B প্যারামিটার সহ আরও বড় মডেলের জন্য শুধুমাত্র প্রশিক্ষণের জন্য $10+M খরচ হয়। তারপর প্রতিবার একটি নতুন প্রম্পট অনুরোধ আসার সময় অনুমান করার জন্য অর্থ প্রদান করুন।

শীতল করার জন্য জলের ব্যবহার, ক্যালিফোর্নিয়া ইউনিভার্সিটি, রিভারসাইডের গবেষকরা ChatGPT-এর মতো পরিষেবার পরিবেশগত প্রভাবের অনুমান করেছেন এবং বলেছেন যে এটি 500 মিলিলিটার জল (16-আউন্সের জলের বোতলের কাছাকাছি) যখনই আপনি এটিকে জিজ্ঞাসা করেন 5 থেকে 50টি প্রম্পট বা প্রশ্নের সিরিজ। এর সার্ভার কোথায় অবস্থিত এবং ঋতুর উপর নির্ভর করে পরিসর পরিবর্তিত হয়। অনুমানটিতে পরোক্ষ জলের ব্যবহার অন্তর্ভুক্ত রয়েছে যা কোম্পানিগুলি পরিমাপ করে না — যেমন ঠাণ্ডা পাওয়ার প্ল্যান্ট যা ডেটা সেন্টারগুলিকে বিদ্যুৎ সরবরাহ করে। (উৎস: https://lnkd.in/gybcxX8C)

বর্তমান পণ্যের অ-গ্রাহকদের জন্য সমস্যা:

হার্ডওয়্যার কেনার জন্য CAPEX-এর সামর্থ্য নেই
ক্লাউড পরিষেবাগুলি ব্যবহার করার সামর্থ্য নেই
AI উদ্ভাবন বা লিভারেজ করা যায় না — পরিষেবা মডেলের সাথে আটকে যা কোনো প্রতিযোগিতামূলক সুবিধা দূর করে

প্রতিযোগিতামূলক আড়াআড়ি দেখতে কেমন এবং আপনি কীভাবে পার্থক্য করবেন?

• GPU গুলি প্রশিক্ষণের জায়গাতে আধিপত্য বিস্তার করে, যদিও বিশেষায়িত ASIC গুলিও এই বিভাগে প্রতিযোগিতা করে
• ক্লাউড এবং এজ ইনফারেন্সে অনেকগুলি বিকল্প উপলব্ধ রয়েছে৷

ডিজিটাল, অ্যানালগ, ফোটোনিক — আপনি একে নাম দিন লোকেরা একই সমস্যা মোকাবেলা করার চেষ্টা করছে।

আপনি কি এআই/এমএল-এর জন্য চিপ আর্কিটেকচারের বর্তমান অবস্থা সম্পর্কে আপনার চিন্তাভাবনা শেয়ার করতে পারেন, অর্থাত্, আপনি এই মুহূর্তে সবচেয়ে উল্লেখযোগ্য প্রবণতা এবং সুযোগগুলি কী দেখছেন?

নিম্নলিখিত প্রবণতা:
ট্রেন্ড 1: 10 বছর আগে, হার্ডওয়্যার-সক্ষম গভীর শিক্ষার উন্নতি হয়েছিল, এবং এখন একই হার্ডওয়্যার অগ্রগতি বাধা দিচ্ছে। মডেল চালানোর জন্য হার্ডওয়্যার এবং বিদ্যুতের বিপুল খরচের কারণে, হার্ডওয়্যার অ্যাক্সেস করা একটি চ্যালেঞ্জ হয়ে দাঁড়িয়েছে। শুধুমাত্র গভীর পকেটের কোম্পানিগুলোই এগুলো বহন করতে সক্ষম এবং একচেটিয়া হয়ে উঠছে।

ট্রেন্ড 2: এখন যেহেতু এই মডেলগুলি আছে, আমাদের ব্যবহারিক উদ্দেশ্যে সেগুলি ব্যবহার করতে হবে যাতে ইনফেরেন্সিং লোড বাড়বে, AI এক্সিলারেটর সহ CPUগুলিকে আবার লাইমলাইটে আসতে দেয়৷

ট্রেন্ড 3: স্টার্টআপগুলি বিকল্প ফ্লোটিং পয়েন্ট নম্বর উপস্থাপনা নিয়ে আসার চেষ্টা করছে যে ঐতিহ্যগত IEEE বিন্যাস - যেমন লগারিদমিক এবং পজিট-ভিত্তিক - ভাল কিন্তু যথেষ্ট নয়। PPA$ ডিজাইন স্পেস অপ্টিমাইজেশান বিস্ফোরিত হয় যখন আমরা একটি অপ্টিমাইজ করার চেষ্টা করি এবং অন্যটি টসের জন্য যায়।

ট্রেন্ড 4: শিল্পটি AI এর পরিষেবা-ভিত্তিক মডেল থেকে তার নিজস্ব প্রাঙ্গনে নিজস্ব ব্যক্তিগত মডেলগুলি হোস্ট করার জন্য সরে যাচ্ছে - তবে সরবরাহের ঘাটতি, নিষেধাজ্ঞা ইত্যাদির কারণে হার্ডওয়্যার অ্যাক্সেস করা একটি চ্যালেঞ্জ।

বর্তমান পরিস্থিতি:
হার্ডওয়্যার এবং ডেটার প্রাপ্যতা 10 বছর আগে এআই-এর বৃদ্ধিকে ত্বরান্বিত করেছিল, এখন একই হার্ডওয়্যার এটিকে বাধা দিচ্ছে - আমাকে ব্যাখ্যা করতে দিন

যখন থেকে সিপিইউগুলি খারাপ কাজ করছিল এবং জিপিইউগুলিকে এআই করার জন্য পুনর্নির্মাণ করা হয়েছিল, তখন অনেক কিছু ঘটেছে

কোম্পানিগুলো এআই/এমএল-এর 4টি সেগমেন্ট সম্বোধন করেছে যথা- 1) ক্লাউড ট্রেনিং, 2) ক্লাউড ইনফারেন্সিং, 3) এজ ইনফারেন্সিং এবং 4) এজ ট্রেনিং (গোপনীয়তা-সংবেদনশীল অ্যাপ্লিকেশনের জন্য ফেডারেটেড লার্নিং)।
ডিজিটাল এবং এনালগ

প্রশিক্ষণের দিক – জিপিইউ, গ্রাহক এক্সিলারেটর, RISC-V, ওয়েফার-স্কেল চিপস (850K কোর) এবং আরও কিছু যেখানে প্রথাগত CPU-এর অভাব রয়েছে (তাদের সাধারণ উদ্দেশ্য) করছে এমন কোম্পানিগুলির আধিক্য। ইনফারেন্স সাইড - স্মার্টফোন, ল্যাপটপ এবং অন্যান্য প্রান্ত ডিভাইসে প্রতিটি নির্মাতার কাছ থেকে NN এক্সিলারেটর পাওয়া যায়।

অ্যানালগ মেমরিস্টর-ভিত্তিক স্থাপত্যগুলিও কিছু সময় আগে প্রদর্শিত হয়েছিল।

আমরা বিশ্বাস করি সিপিইউগুলি অনুমান করার ক্ষেত্রে খুব ভাল হতে পারে যদি আমরা এটিকে ম্যাট্রিক্স এক্সটেনশনের মতো ত্বরণের সাথে উন্নত করি

জিনিসের RISC-V দিক:
RISC-V এর দিক থেকে, আমরা ট্রান্সফরমার কাজের চাপের জন্য সম্ভাব্য বাধা দূর করতে ম্যাট্রিক্স অপারেশন এবং অন্যান্য নন-লিনিয়ার অপারেশনের জন্য এক্সিলারেটর তৈরি করছি। কম্পিউটিংয়ের কাছাকাছি স্মৃতিগুলিকে আর্কিটেক্ট করার মাধ্যমে ভন নিউম্যানের বাধাগুলিও সমাধান করা হচ্ছে, অবশেষে AI ত্বরণ সহ সিপিইউগুলিকে অনুমান করার জন্য সঠিক পছন্দ হিসাবে তৈরি করা হচ্ছে।

সুযোগ:
ফাউন্ডেশন মডেলের বাজার পূরণ করার জন্য অনন্য সুযোগ বিদ্যমান। উদাহরণ - ওপেনএআই উল্লেখ করেছে যে তারা তাদের চ্যাটজিপিটি পরিষেবাগুলি চালিয়ে যাওয়ার জন্য পর্যাপ্ত AI কম্পিউট (জিপিইউ) সুরক্ষিত করতে সক্ষম হয়নি… এবং নিয়মিত ইন্টারনেট অনুসন্ধানের 10 গুণ বিদ্যুতের খরচ এবং সিস্টেমগুলিকে ঠান্ডা করার জন্য 500 মিলি জলের খবরে রিপোর্ট করা হয়েছে। প্রতিটি প্রশ্নের জন্য। এখানে পূরণ করার জন্য একটি বাজার রয়েছে - এটি কুলুঙ্গি নয়, তবে এটি পুরো বাজার যা AI-কে গণতান্ত্রিক করবে যা উপরে উল্লিখিত সমস্ত চ্যালেঞ্জ মোকাবেলা করবে - ক) প্রাপ্যতা, খ) অ্যাক্সেসযোগ্যতা, গ) সামর্থ্য এবং ঘ) পরিবেশগত সুরক্ষা

আপনি কোন নতুন বৈশিষ্ট্য/প্রযুক্তি নিয়ে কাজ করছেন?
আমরা কম্পিউটারের মতো ব্রেন তৈরি করছি নিউরোমড্রফিক টেকনুকস এবং সেলাই করার মডেলের মতো শক্তি সাশ্রয়ী হার্ডওয়্যারের সুবিধা নিতে, উপলব্ধ খোলা ফ্রেমওয়ার্কের পুনঃব্যবহার করে

আপনি কিভাবে আগামী 12-18 মাসে এআই/এমএল সেক্টরের বৃদ্ধি বা পরিবর্তন কল্পনা করেন?
যেহেতু GPU-গুলির চাহিদা বেড়েছে ($30K এর মতো) এবং বিশ্বের কিছু অংশ এই GPU গুলি কেনার জন্য নিষেধাজ্ঞার মুখোমুখি হচ্ছে, বিশ্বের কিছু অংশ মনে করছে যে তারা GPU-তে অ্যাক্সেস ছাড়াই AI গবেষণা এবং বিকাশে হিমায়িত হয়ে পড়েছে। বিকল্প হার্ডওয়্যার প্ল্যাটফর্ম বাজার দখল করতে যাচ্ছে।
মডেলগুলি সম্ভবত সঙ্কুচিত হতে শুরু করবে — কাস্টম মডেল বা এমনকি মৌলিকভাবে তথ্যের ঘনত্ব বাড়বে

একই প্রশ্ন কিন্তু আগামী 3-5 বছরে প্রবৃদ্ধি ও পরিবর্তন কেমন হবে?
ক) এআই এক্সটেনশন সহ সিপিইউ এআই ইনফরেন্স মার্কেট ক্যাপচার করবে
খ) মডেলগুলি চটকদার হয়ে উঠবে, এবং তথ্যের ঘনত্ব 16% থেকে 90% এ উন্নত হওয়ার সাথে সাথে প্যারামিটারগুলি বাদ পড়বে
গ) শক্তির দক্ষতা উন্নত হয়, CO2 ফুট প্রিন্ট হ্রাস পায়
ঘ) নতুন আর্কিটেকচার আসে
e) হার্ডওয়্যার খরচ এবং শক্তি খরচ কমে যায় তাই ছোট কোম্পানিগুলির জন্য মডেল তৈরি এবং প্রশিক্ষণের জন্য প্রবেশের বাধা সাশ্রয়ী হয়
চ) লোকেরা প্রাক-এজিআই মুহূর্ত সম্পর্কে কথা বলে, কিন্তু আমার বেঞ্চমার্ক হবে “তার” মুভিতে চরিত্রযুক্ত সামান্থা (কথোপকথনমূলক এআই)।

AI/ML সেক্টরের বৃদ্ধিকে প্রভাবিত বা সীমিত করতে পারে এমন কিছু চ্যালেঞ্জ কী কী?
ক) হার্ডওয়্যারে অ্যাক্সেস
খ) শক্তি খরচ এবং শীতল খরচ এবং পরিবেশগত ক্ষতি

এছাড়াও পড়ুন:

সিইও ইন্টারভিউ: প্রাগম্যাটিক এর ডেভিড মুর

সিইও সাক্ষাৎকার: স্যান্ডবক্স সেমিকন্ডাক্টরের ডাঃ মেঘালি চোপড়া

সিইও ইন্টারভিউ: সারিবদ্ধ কার্বনের ডঃ জে প্রোভাইন