مصاحبه مدیر عامل: جی داوانی از Lemurian Labs – Semiwiki

جی دوانی یکی از بنیانگذاران و مدیرعامل در آزمایشگاه لموریان، یک استارتاپ در حال توسعه یک پلت فرم محاسباتی شتابنده که به طور خاص برای برنامه های کاربردی هوش مصنوعی طراحی شده است. این پلتفرم موانع سخت افزاری را می شکند تا توسعه هوش مصنوعی را سریع تر، ارزان تر، پایدارتر و برای بیش از چند شرکت در دسترس قرار دهد.

قبل از تأسیس Lemurian، جی دو شرکت دیگر در فضای هوش مصنوعی تأسیس کرد. او همچنین نویسنده کتاب های دارای رتبه برترریاضیات برای یادگیری عمیق"

جی که متخصص در زمینه هوش مصنوعی، رباتیک و ریاضیات است، به‌عنوان مدیر ارشد فناوری BlockPlay، یک شرکت عمومی که یک پلتفرم بازی مبتنی بر بلاک چین را ایجاد می‌کند، خدمت کرده و به‌عنوان مدیر هوش مصنوعی در GEC خدمت کرده است، جایی که او توسعه چندین پروژه مشتری را در حوزه‌های مختلف رهبری می‌کند. از خرده فروشی، تجارت الگوریتمی، تاشو پروتئین، ربات های اکتشاف فضایی، سیستم های توصیه و غیره. او همچنین در اوقات فراغت خود مشاور در آزمایشگاه توسعه مرزی ناسا، Spacebit و SiaClassic بوده است.

آخرین باری که ما آزمایشگاه‌های Lemurian را معرفی کردیم، شما روی رباتیک و هوش مصنوعی لبه‌ای تمرکز داشتید. اکنون روی مرکز داده و زیرساخت ابری متمرکز شده اید. چه اتفاقی افتاد که باعث شد بخواهید پیوت کنید؟

در واقع، ما از تمرکز بر ساختن یک سیستم روی تراشه با کارایی بالا، تأخیر کم، برای برنامه‌های روباتیک مستقل که می‌تواند کل حلقه حسی-طرح-عملی را تسریع بخشد، به ساختن یک شتاب‌دهنده دامنه خاص برای هوش مصنوعی با تمرکز بر برنامه‌های کاربردی در مقیاس مرکز داده انتقال دادیم. . اما این فقط یک محور معمولی نبود. این یک تماس واضح بود که احساس کردیم مسئولیت پاسخگویی به آن را داریم.

در سال 2018، ما روی آموزش یک مدل پارامتری 2.1 میلیارد دلاری کار می‌کردیم، اما این تلاش را کنار گذاشتیم زیرا هزینه آن به قدری فوق‌العاده بالا بود که نمی‌توانستیم آن را توجیه کنیم. بنابراین تعجب من را تصور کنید که GPT3، که OpenAI به عنوان ChatGPT در نوامبر 2022 منتشر کرد، یک مدل پارامتری 175 میلیارد دلاری بود. این مدل بیش از 80 برابر بزرگتر از چیزی است که ما فقط 4 سال قبل روی آن کار می کردیم، که هم هیجان انگیز و هم ترسناک است.

هزینه آموزش چنین مدلی دست کم سرسام آور است. بر اساس روند مقیاس‌بندی فعلی، می‌توان انتظار داشت که هزینه آموزش یک مدل هوش مصنوعی مرزی در آینده نه چندان دور از یک میلیارد دلار فراتر رود. در حالی که قابلیت های این مدل ها خیره کننده خواهد بود، هزینه آن به طرز مضحکی بالاست. بر اساس این مسیر، تنها تعداد انگشت شماری از شرکت‌های دارای منابع بسیار خوب با مراکز داده خود قادر به آموزش، استقرار و تنظیم دقیق این مدل‌ها خواهند بود. این صرفاً به این دلیل نیست که محاسبات گران است و نیاز به انرژی دارد، بلکه به این دلیل است که پشته‌های نرم‌افزاری که ما به آنها تکیه می‌کنیم برای این دنیا ساخته نشده‌اند.

به دلیل محدودیت های جغرافیایی و انرژی، مکان های زیادی برای ساخت دیتاسنتر وجود دارد. برای برآورده کردن نیازهای محاسباتی هوش مصنوعی، باید بتوانیم ماشین‌های مقیاس زتا را بدون نیاز به 20 راکتور هسته‌ای برای تامین انرژی آن بسازیم. ما به یک راه حل کاربردی تر، مقیاس پذیرتر و اقتصادی تر نیاز داریم. ما به اطراف نگاه کردیم و کسی را در مسیری برای حل این مشکل ندیدیم. و به این ترتیب، ما به تابلوی طراحی رفتیم تا به صورت کلی به مسئله به عنوان سیستمی از سیستم ها نگاه کنیم و در مورد راه حلی از اصول اولیه استدلال کنیم. ما از خود پرسیدیم، اگر مجبور بودیم روزانه 10 میلیارد جستجوی LLM را به صورت اقتصادی ارائه دهیم، چگونه می‌توانیم پشته کامل، از نرم‌افزار گرفته تا سخت‌افزار را طراحی کنیم. ما تا سال 200 روی یک ماشین مقیاس زتا با توان کمتر از 2028 مگاوات در نظر گرفته ایم.

ترفند این است که از نقطه نظر مقیاس نامتناسب به آن نگاه کنید - بخش‌های مختلف یک سیستم از قوانین مقیاس‌بندی متفاوتی پیروی می‌کنند، بنابراین در برخی مواقع کارها متوقف می‌شوند، شروع به شکستن می‌کنند یا اینکه معاوضه با سود هزینه دیگر معنی ندارد. هنگامی که این اتفاق می افتد، تنها گزینه طراحی مجدد سیستم است. ارزیابی و راه حل ما شامل حجم کار، سیستم اعداد، مدل برنامه نویسی، کامپایلر، زمان اجرا و سخت افزار به طور کلی است.

خوشبختانه، سرمایه گذاران فعلی ما و بقیه بازار چشم انداز را می بینند، و ما یک دور اولیه 9 میلیون دلاری جمع آوری کردیم تا قالب شماره خود را توسعه دهیم - PAL، تا فضای طراحی را کاوش کنیم و بر روی یک معماری برای شتاب دهنده خاص دامنه خود همگرایی کنیم، و ما را معمار کنیم. کامپایلر و زمان اجرا در شبیه‌سازی‌ها، ما توانسته‌ایم به افزایش توان عملیاتی 20 برابری در ردپای انرژی کمتر نسبت به پردازنده‌های گرافیکی مدرن دست یابیم و پیش‌بینی می‌کنیم که بتوانیم منفعت 8 برابری را در عملکرد سیستم برای کل هزینه مالکیت بر روی همان فناوری ترانزیستور ارائه دهیم.

نیازی به گفتن نیست که ما کارهای زیادی در پیش داریم، اما از این که بتوانیم اقتصاد مرکز داده را دوباره تعریف کنیم تا آینده ای را تضمین کنیم که در آن هوش مصنوعی به وفور در دسترس همه باشد، بسیار هیجان زده هستیم.

این مطمئناً هیجان انگیز به نظر می رسد و آن اعداد چشمگیر به نظر می رسند. اما شما سیستم‌های عددی، سخت‌افزار، کامپایلرها و زمان‌های اجرا را به‌عنوان همه مواردی که روی آنها تمرکز کرده‌اید، ذکر کرده‌اید – برای هر شرکتی به‌نظر می‌رسد که یک‌باره آن را به عهده بگیرد. به نظر یک پیشنهاد بسیار خطرناک است. آیا قرار نیست استارتاپ ها تمرکز بیشتری داشته باشند؟ 

به نظر می رسد تلاش های بسیار متفاوتی باشد، اما در واقع یک تلاش با بسیاری از بخش های به هم پیوسته است. حل تنها یکی از این مؤلفه‌ها جدا از مؤلفه‌های دیگر، تنها مانع از پتانسیل نوآوری می‌شود، زیرا منجر به نادیده گرفتن ناکارآمدی‌ها و تنگناهای سیستمی می‌شود. جنسن هوانگ به بهترین وجه گفت: «برای اینکه یک شرکت محاسباتی شتاب‌دار باشید، باید یک شرکت کامل باشید» و من کاملاً موافقم. آنها به دلایلی رهبر فعلی بازار هستند. اما من این ایده را به چالش می کشم که ما متمرکز نیستیم. تمرکز ما در این است که چگونه به طور کلی درباره مشکل فکر می کنیم و چگونه آن را به بهترین نحو برای مشتریان خود حل کنیم.

انجام این کار نیازمند رویکردی چند رشته ای مانند رویکرد ما است. هر بخش از کار ما به دیگران اطلاع می دهد و از آنها حمایت می کند و ما را قادر می سازد راه حلی ایجاد کنیم که بسیار بیشتر از مجموع اجزای آن باشد. تصور کنید که مجبور به ساخت یک ماشین مسابقه ای هستید. شما خودسرانه یک شاسی را انتخاب نمی‌کنید، لاستیک‌های مسابقه اضافه نمی‌کنید و قوی‌ترین موتوری را که می‌توانید پیدا کنید رها نمی‌کنید و با آن مسابقه نمی‌دهید، درست است؟ شما می توانید به آیرودینامیک بدنه خودرو برای کاهش درگ و افزایش نیروی رو به پایین، بهینه سازی توزیع وزن برای هندلینگ خوب، طراحی سفارشی موتور برای حداکثر کارایی، دریافت یک سیستم خنک کننده برای جلوگیری از گرمای بیش از حد، تعیین قفس رول برای ایمن نگه داشتن راننده فکر کنید. و غیره. هر یک از این عناصر بر دیگری بنا شده و به دیگری اطلاع می دهد.

با این حال، تلاش برای انجام همه این کارها به یکباره برای هر شرکتی در هر صنعتی خطرناک است. برای مدیریت ریسک‌ها، رویکردی مرحله‌ای را در پیش گرفته‌ایم که به ما امکان می‌دهد فناوری خود را با مشتریان تأیید کرده و استراتژی خود را در صورت نیاز تنظیم کنیم. ما ثابت کرده‌ایم که فرمت اعداد ما کار می‌کند و این که دارای ناحیه عملکرد بهتری نسبت به انواع ممیز شناور معادل است، در حالی که دارای ویژگی‌های عددی بهتری است که کوانتیزه کردن شبکه‌های عصبی به پهنای بیت‌های کوچک‌تر را آسان‌تر می‌کند. ما معماری را طراحی کرده‌ایم که به آن اطمینان داریم و هم برای آموزش و هم برای استنتاج مناسب است. اما مهمتر از همه اینها درست کردن نرم افزار است، و این تمرکز اصلی ماست. ما باید اطمینان حاصل کنیم که تصمیمات درستی را در پشته نرم افزارمان برای جایی که دنیا را یک یا دو سال یا بیشتر از امروز می بینیم، می گیریم.

ساخت یک شرکت سخت افزاری سخت، پرهزینه و زمان زیادی می برد. تمرکز بر نرم افزار ابتدا به تنهایی یک تجارت بسیار قابل دوام به نظر می رسد و به طور بالقوه برای سرمایه گذاران در شرایط فعلی جذاب تر است. چرا با توجه به اینکه بسیاری از شرکت‌های دارای بودجه خوب در این فضا درهای خود را می‌بندند، سخت‌افزاری می‌کنید، سخت‌افزاری انجام می‌دهید، و بازیکنان بزرگ‌تر در حال ساخت سخت‌افزار خود هستند؟

شما کاملاً درست می‌گویید که کسب‌وکارهای نرم‌افزاری عموماً توانسته‌اند خیلی راحت‌تر از شرکت‌های سخت‌افزاری سرمایه جذب کنند، و این سخت‌افزار بسیار سخت است. تمرکز فعلی ما بسیار روی نرم افزار است زیرا مشکل بزرگتر در اینجاست. بگذارید واضح بگویم، مشکل این نیست که آیا می‌توانم هسته‌هایی را بر روی یک CPU یا GPU با کارایی بالا اجرا کنم. این یک مشکل طولانی مدت حل شده است مشکل امروز این است که چگونه می‌توانیم کارایی بیشتر را برای توسعه‌دهندگان آسان‌تر کنیم، به‌طور مولد از چندین هزار دسته گره که از محاسبات ناهمگن تشکیل شده‌اند، بدون اینکه از آن‌ها بخواهیم گردش کار خود را اصلاح کنند.

این مشکلی است که ما در حال حاضر روی حل آن با یک پشته نرم‌افزار متمرکز شده‌ایم که به توسعه‌دهندگان قدرت‌های فوق‌العاده می‌دهد و توانایی کامل رایانه‌های مقیاس انبار را باز می‌کند، بنابراین می‌توانیم مدل‌های هوش مصنوعی را به‌طور اقتصادی‌تر آموزش دهیم و به کار ببریم.

اکنون، در مورد سرمایه‌گذاری، بله، VCها در نوع شرکت‌هایی که از آن‌ها حمایت می‌کنند، گزینش‌تر هستند، اما این بدان معناست که VCها به دنبال شرکت‌هایی هستند که پتانسیل ارائه محصولات واقعاً پیشگامانه را داشته باشند که مسیری روشن برای تجاری‌سازی داشته باشند و در عین حال تأثیر قابل‌توجهی داشته باشند. ما از چالش ها و اشتباهات دیگران درس گرفته ایم و به طور فعال مدل کسب و کار و نقشه راه خود را برای مقابله با خطرات طراحی کرده ایم. همچنین مهم است که توجه داشته باشید که آنچه استارتاپ ها را موفق کرده است به ندرت این بوده است که به راحتی می توانند بودجه VC را تامین کنند، بلکه بیشتر به تدبیر، سرسختی و تمرکز بر مشتری مربوط می شود.

و قبل از اینکه بپرسید، ما هنوز روی سخت افزار کار می کنیم، اما در درجه اول در شبیه سازی در حال حاضر. ما قصد نداریم برای مدتی نوار را حذف کنیم. اما می توانیم آن مکالمه را برای زمان دیگری ذخیره کنیم.

این مطمئناً قانع‌کننده است و رویکرد مرحله‌ای شما در مقایسه با آنچه که دیگر شرکت‌های سخت‌افزاری انجام می‌دهند بسیار متفاوت است. من مشکلی را که می‌گویید پشته نرم‌افزار شما برطرف می‌کند، درک می‌کنم، اما نرم‌افزار شما چگونه از تلاش‌های مختلف در بازار متمایز می‌شود؟

بیشتر شرکت‌هایی که به آنها اشاره می‌کنید، با معرفی مدل‌های برنامه‌نویسی مبتنی بر کاشی یا نقشه‌برداری وظیفه‌ای برای بهره‌مندی بیشتر از GPU، یا ساختن زبان‌های برنامه‌نویسی جدید برای دریافت هسته‌های با کارایی بالا برنامه‌ریزی‌شده بر روی مختلف، بر تسهیل برنامه‌نویسی پردازنده‌های گرافیکی تمرکز کرده‌اند. پلتفرم هایی با پشتیبانی از مونتاژ درون خطی. اینها مشکلات مهمی هستند که آنها به آنها رسیدگی می کنند، اما ما مشکلی را که حل می کنیم تقریباً متعامد می بینیم.

بیایید برای لحظه ای به آهنگ انتقال سخت افزار و نرم افزار فکر کنیم. معماری‌های تک هسته‌ای از سرعت کلاک و چگالی ترانزیستور کارایی به دست آوردند، اما در نهایت سرعت کلاک به یک فلات رسید. موازی سازی با استفاده از بسیاری از هسته ها این امر را دور زد و سرعت های قابل توجهی را ارائه داد. تقریباً یک دهه طول کشید تا نرم‌افزار به آن برسد، زیرا مدل‌های برنامه‌نویسی، کامپایلرها و زمان‌های اجرا باید تجدید نظر می‌شد تا به توسعه‌دهندگان کمک شود تا ارزش این پارادایم را استخراج کنند. سپس، GPU ها دوباره با مدل برنامه نویسی متفاوت، شروع به تبدیل شدن به شتاب دهنده های همه منظوره کردند. باز هم، تقریباً یک دهه طول کشید تا توسعه دهندگان ارزش را در اینجا استخراج کنند.

باز هم، سخت‌افزار در حال ضربه زدن است – قانون مور، محدودیت‌های انرژی و حرارتی، تنگناهای حافظه، و تنوع بار کاری به علاوه نیاز به محاسبات به‌طور تصاعدی بیشتر، ما را به سمت ساختن معماری‌های کامپیوتری ناهمگون فزاینده برای عملکرد بهتر، کارایی و هزینه کل سوق می‌دهد. این تغییر در سخت‌افزار البته چالش‌هایی را برای نرم‌افزار ایجاد می‌کند، زیرا ما کامپایلر و زمان اجرا مناسبی برای پشتیبانی از تکامل بعدی محاسبات نداریم. با این حال، این بار، ما نباید 10 سال دیگر صبر کنیم تا نرم افزار ارزش معماری های ناهمگن یا خوشه های بزرگ را استخراج کند، به خصوص زمانی که بیش از 80 درصد از آنها استفاده نشده است.

آنچه که ما روی آن تمرکز می کنیم ساختن یک مدل برنامه نویسی آگاه از ناهمگنی با موازی سازی مبتنی بر کار، پرداختن به عملکرد قابل حمل با بهینه سازی های متقابل پردازنده، تلفیقی آگاه از زمینه و تخصیص منابع پویا است. و برای ما فرقی نمی کند که CPU، GPU، TPU، SPU (معماری Lemurian) یا مش از همه آنها باشد. می‌دانم که به نظر واژه‌های جالبی می‌آید، اما چیزی که واقعاً می‌گوید این است که ما امکان برنامه‌ریزی هر نوع پردازنده‌ای را با یک رویکرد واحد فراهم کرده‌ایم، و می‌توانیم کد را از یک نوع پردازنده به دیگری با کمترین هزینه انتقال دهیم. تلاش بدون نیاز به قربانی کردن عملکرد، و برنامه‌ریزی کار به صورت تطبیقی ​​و پویا در سراسر گره‌ها.

اگر آنچه می گویید درست باشد، ممکن است محاسبات را کاملاً دوباره تعریف کنید. بیایید در مورد بودجه صحبت کنیم. شما در سال گذشته 9 میلیون دلار سرمایه اولیه جذب کردید که نشان دهنده حمایت سرمایه گذار قوی و اعتقاد به چشم انداز شما است. از آن به بعد چه کار کردی؟

در طول سال گذشته، با کمک بودجه بذر، ما گام های مهمی برداشته ایم. با تیم ما که اکنون 20 عضو دارد، ما به طور دقیق به چالش ها پرداختیم، با مشتریان درگیر شدیم و رویکرد خود را اصلاح کردیم.

ما روی تقویت PAL برای آموزش و استنتاج تمرکز کردیم، معماری کامپیوتر را برای شتاب دهنده خود بررسی کردیم و شبیه‌سازی برای معیارهای عملکرد توسعه دادیم. به طور همزمان، ما پشته نرم افزار خود را برای برنامه های کاربردی مرکز داده، با تاکید بر محاسبات ناهمگن، دوباره تصور کردیم.

این تلاش منجر به معماری کاملاً تعریف شده ای شد که کارایی PAL را برای هوش مصنوعی در مقیاس به نمایش گذاشت. فراتر از پیشرفت‌های فناوری، ما به دنبال همکاری‌ها و گسترش دسترسی برای دموکراتیک کردن دسترسی بودیم. این تلاش‌ها آزمایشگاه‌های Lemurian را برای رسیدگی به چالش‌های فوری مشتری، آماده‌سازی برای انتشار سیلیکون تولیدی ما قرار می‌دهند.

برنامه های میان مدت Lemurian Labs در مورد توسعه پشته نرم افزار، همکاری ها و بهبود معماری شتاب دهنده چیست؟

هدف فوری ما ایجاد یک پشته نرم افزاری است که CPU ها، GPU ها و شتاب دهنده های هوش مصنوعی ما را با عملکرد قابل حمل مورد هدف قرار می دهد، که در پایان سال در دسترس شرکای اولیه قرار خواهد گرفت. ما در حال حاضر در حال گفتگو با اکثر شرکت های نیمه هادی پیشرو، ارائه دهندگان خدمات ابری، هایپراسکیلرها و شرکت های هوش مصنوعی هستیم تا به آنها امکان دسترسی به کامپایلر و زمان اجرا را بدهیم. به موازات آن، ما همچنان به کار و بهبود معماری شتاب دهنده خود برای یک سیستم واقعاً مشترک از سخت افزار و نرم افزار ادامه می دهیم. و البته، ما به تازگی شروع به افزایش سری A خود با علاقه شدید جامعه سرمایه گذاران کرده ایم، که به ما امکان می دهد تیم خود را رشد دهیم و به هدف خود برای تحویل محصول نرم افزاری در پایان سال برسیم.

در پایان، چگونه می‌بینید که آزمایشگاه‌های Lemurian به تغییر چشم‌انداز توسعه هوش مصنوعی، دسترسی و برابری در سال‌های آینده کمک می‌کنند؟

ما قصد نداشتیم محاسبات را فقط برای سود تجاری یا برای سرگرمی تعریف کنیم. به عنوان لموریایی ها، نیروی محرکه ما این است که به پتانسیل تحول آفرین هوش مصنوعی اعتقاد داریم و بیش از چند شرکت باید منابعی برای تعریف آینده این فناوری و نحوه استفاده از آن داشته باشند. ما همچنین قابل قبول نمی دانیم که زیرساخت مرکز داده برای هوش مصنوعی در مسیر مصرف 20 درصد انرژی جهان تا سال 2030 باشد. هوش مصنوعی با کاهش چشمگیر هزینه های مرتبط با آن قابل دسترسی تر است، سرعت نوآوری در هوش مصنوعی را تسریع می کند و تأثیر آن را گسترش می دهد. با پرداختن به چالش‌های زیرساخت‌های سخت‌افزاری کنونی، ما به دنبال این هستیم که مسیر را برای توانمندسازی یک میلیارد نفر با قابلیت‌های هوش مصنوعی هموار کنیم و از توزیع عادلانه این فناوری پیشرفته اطمینان حاصل کنیم. امیدواریم تعهد ما به راه‌حل‌های محصول محور، همکاری و نوآوری مستمر، ما را به عنوان یک نیروی محرکه در شکل‌دهی آینده توسعه هوش مصنوعی به یک آینده مثبت تبدیل کند.

همچنین خواندن:

اشتراک گذاری این پست از طریق:

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://semiwiki.com/ceo-interviews/341485-ceo-interview-jay-dawani-of-lemurian-labs-2/