مقابلة الرئيس التنفيذي: جاي دواني من Lemurian Labs - Semiwiki

مقابلة الرئيس التنفيذي: جاي دواني من Lemurian Labs - Semiwiki

الطابع الزمني: 2 فبراير 2024 9:00 صباحًا
عقدة المصدر: 3095502

جاي ليموريان

جاي دواني هو المؤسس المشارك والرئيس التنفيذي لشركة مختبرات ليموريان، شركة ناشئة تعمل على تطوير منصة حوسبة سريعة مصممة خصيصًا لتطبيقات الذكاء الاصطناعي. تخترق المنصة حواجز الأجهزة لجعل تطوير الذكاء الاصطناعي أسرع، وأرخص، وأكثر استدامة، ومتاحًا لأكثر من مجرد عدد قليل من الشركات.

قبل تأسيس Lemurian، أسس جاي شركتين أخريين في مجال الذكاء الاصطناعي. وهو أيضًا مؤلف الكتاب الأعلى تقييمًا "الرياضيات للتعلم العميق".

نظرًا لكونه خبيرًا في الذكاء الاصطناعي والروبوتات والرياضيات، فقد شغل جاي منصب المدير التنفيذي للتكنولوجيا في BlocPlay، وهي شركة عامة تقوم ببناء منصة ألعاب قائمة على blockchain، وعمل كمدير للذكاء الاصطناعي في GEC، حيث قاد تطوير العديد من مشاريع العملاء التي تغطي المجالات. من البيع بالتجزئة، والتداول الخوارزمي، وطي البروتين، والروبوتات لاستكشاف الفضاء، وأنظمة التوصية، والمزيد. وفي أوقات فراغه، كان أيضًا مستشارًا في NASA Frontier Development Lab وSpacebit وSiaClassic.

في المرة الأخيرة التي عرضنا فيها Lemurian Labs، ركزت على الروبوتات والذكاء الاصطناعي. أنت الآن تركز على مركز البيانات والبنية التحتية السحابية. ما الذي حدث وجعلك ترغب في التحول؟

في الواقع، لقد انتقلنا من التركيز على بناء نظام عالي الأداء وزمن انتقال منخفض لتطبيقات الروبوتات المستقلة التي يمكنها تسريع حلقة التخطيط والفعل بأكملها إلى بناء مسرع خاص بالمجال للذكاء الاصطناعي مع التركيز على التطبيقات على نطاق مراكز البيانات . لكنه لم يكن مجرد محور عادي؛ لقد كانت دعوة واضحة وشعرنا أن علينا مسؤولية الرد عليها.

في عام 2018، كنا نعمل على تدريب نموذج معلمات بقيمة 2.1 مليار دولار، لكننا تخلينا عن هذا الجهد لأن التكلفة كانت مرتفعة للغاية لدرجة أننا لم نتمكن من تبريرها. لذا تخيل دهشتي من أن GPT3، الذي أصدرته OpenAI باسم ChatGPT في نوفمبر 2022، كان نموذجًا معلمًا بقيمة 175 مليار دولار. هذا النموذج أكبر بمقدار 80 مرة مما كنا نعمل عليه قبل 4 سنوات فقط، وهو أمر مثير ومخيف في نفس الوقت.

إن تكلفة تدريب مثل هذا النموذج مذهلة، على أقل تقدير. واستنادًا إلى اتجاهات التوسع الحالية، يمكننا أن نتوقع أن تتجاوز تكلفة تدريب نموذج الذكاء الاصطناعي الرائد مليار دولار في المستقبل غير البعيد. وفي حين أن قدرات هذه النماذج ستكون مذهلة، فإن التكلفة مرتفعة بشكل يبعث على السخرية. وبناءً على هذا المسار، لن يتمكن سوى عدد قليل من الشركات ذات الموارد الجيدة التي تمتلك مراكز بيانات خاصة بها من تحمل تكاليف تدريب هذه النماذج ونشرها وضبطها. وهذا لا يرجع فقط إلى أن الحوسبة باهظة الثمن ومستهلكة للطاقة، ولكن أيضًا لأن مجموعات البرامج التي نعتمد عليها لم يتم تصميمها لهذا العالم.

وبسبب القيود الجغرافية وقيود الطاقة، لا يوجد سوى عدد قليل من الأماكن لبناء مراكز البيانات. لتلبية المتطلبات الحسابية للذكاء الاصطناعي، نحتاج إلى أن نكون قادرين على بناء آلات ذات مقياس زيتا دون الحاجة إلى 20 مفاعلًا نوويًا لتشغيلها. نحن بحاجة إلى حل عملي وقابل للتطوير واقتصادي أكثر. نظرنا حولنا ولم نرى أحداً في طريقه لحل هذه المشكلة. وهكذا، ذهبنا إلى لوحة الرسم لننظر إلى المشكلة بشكل كلي كنظام من الأنظمة والعقل حول حل من المبادئ الأولى. لقد سألنا أنفسنا، كيف يمكننا تصميم المجموعة الكاملة، من البرامج إلى الأجهزة، إذا كان علينا أن نخدم بشكل اقتصادي 10 مليار استعلام LLM يوميًا. لقد وضعنا أنظارنا على آلة ذات مقياس زيتا بأقل من 200 ميجاوات، بحلول عام 2028.

تكمن الحيلة في النظر إلى الأمر من وجهة نظر القياس غير المتناسب - أجزاء مختلفة من النظام تتبع قواعد قياس مختلفة، لذلك في مرحلة ما تتوقف الأشياء عن العمل، أو تبدأ في الانهيار أو لم تعد مقايضة التكلفة والفائدة منطقية. وعندما يحدث هذا، فإن الخيار الوحيد هو إعادة تصميم النظام. يشمل تقييمنا وحلنا عبء العمل ونظام الأرقام ونموذج البرمجة والمترجم ووقت التشغيل والأجهزة بشكل كلي.

ولحسن الحظ، يرى مستثمرونا الحاليون وبقية السوق الرؤية، وقد جمعنا جولة أولية بقيمة 9 ملايين دولار لتطوير تنسيق الأرقام لدينا - PAL، لاستكشاف مساحة التصميم والتقارب في بنية لمسرعنا الخاص بالمجال، وتصميمنا المترجم ووقت التشغيل. في عمليات المحاكاة، تمكنا من تحقيق زيادة في الإنتاجية بمقدار 20X في بصمة طاقة أصغر من وحدات معالجة الرسومات الحديثة، ونتوقع أن نكون قادرين على تقديم فائدة 8X في أداء النظام مقابل التكلفة الإجمالية للملكية على نفس تقنية الترانزستور.

وغني عن القول، أمامنا الكثير من العمل، ولكننا متحمسون جدًا لاحتمال أن نكون قادرين على إعادة تعريف اقتصاديات مراكز البيانات لضمان مستقبل يكون فيه الذكاء الاصطناعي متاحًا بكثرة للجميع.

يبدو هذا مثيرًا بالتأكيد وهذه الأرقام تبدو مثيرة للإعجاب. لكنك ذكرت أنظمة الأرقام، والأجهزة، والمترجمين، وأوقات التشغيل باعتبارها كل الأشياء التي تركز عليها - يبدو أن هناك الكثير مما يجب على أي شركة القيام به في وقت واحد. يبدو وكأنه اقتراح محفوف بالمخاطر للغاية. أليس من المفترض أن تكون الشركات الناشئة أكثر تركيزاً؟ 

يبدو الأمر وكأن هناك الكثير من الجهود المختلفة، لكنه في الواقع جهد واحد يحتوي على الكثير من الأجزاء المترابطة. إن حل واحد فقط من هذه المكونات بمعزل عن المكونات الأخرى لن يؤدي إلا إلى إعاقة إمكانية الابتكار لأنه يؤدي إلى التغاضي عن أوجه القصور والاختناقات النظامية. قال جنسن هوانغ بشكل أفضل: "لكي تصبح شركة حوسبة سريعة، يجب أن تكون شركة متكاملة"، وأنا أتفق معه تمامًا. إنهم رواد السوق الحاليون لسبب ما. لكنني سأتحدى فكرة أننا لا نركز. إن الأمر يتعلق بكيفية تفكيرنا في المشكلة بشكل كلي وكيفية حلها بشكل أفضل لعملائنا، وهو ما ينصب تركيزنا عليه.

ويتطلب القيام بذلك اتباع نهج متعدد التخصصات مثل نهجنا. كل جزء من عملنا يعلم ويدعم الأجزاء الأخرى، مما يمكننا من إيجاد حل أكبر بكثير من مجموع أجزائه. تخيل لو كان عليك بناء سيارة سباق. لن تقوم باختيار هيكل السيارة بشكل تعسفي، وإضافة إطارات السباق واستخدام أقوى محرك يمكنك العثور عليه والتسابق به، أليس كذلك؟ قد تفكر في الديناميكية الهوائية لجسم السيارة لتقليل السحب وتعزيز القوة الضاغطة، وتحسين توزيع الوزن من أجل التعامل الجيد، وتصميم المحرك خصيصًا لتحقيق أقصى قدر من الأداء، والحصول على نظام تبريد لمنع ارتفاع درجة الحرارة، وتخصيص قفص ملتف للحفاظ على سلامة السائق. الخ. وكل عنصر من هذه العناصر يبني على الآخر ويعلمه.

ومع ذلك، فمن المخاطرة محاولة القيام بكل ذلك مرة واحدة لأي شركة في أي صناعة. ولإدارة المخاطر، فإننا نتبع نهجًا تدريجيًا، مما يسمح لنا بالتحقق من صحة تقنيتنا مع العملاء وتعديل استراتيجيتنا حسب الحاجة. لقد أثبتنا أن تنسيق الأرقام الخاص بنا يعمل وأنه يحتوي على منطقة أداء طاقة أفضل من أنواع الفاصلة العائمة المكافئة، بينما يتمتع أيضًا بخصائص عددية أفضل تجعل من السهل قياس الشبكات العصبية إلى عروض بت أصغر. لقد صممنا بنية نشعر بالثقة بها، وهي مناسبة للتدريب والاستدلال. ولكن الأهم من كل ذلك هو الحصول على البرنامج بشكل صحيح، وهذا هو الجزء الأكبر من تركيزنا المباشر. نحن بحاجة إلى التأكد من أننا نتخذ القرارات الصحيحة في مجموعة برامجنا التي نرى فيها العالم بعد عام أو عامين أو أكثر من اليوم.

إن بناء شركة أجهزة أمر صعب ومكلف ويستغرق وقتًا طويلاً. يبدو التركيز على البرمجيات في البداية وكأنه عمل تجاري قابل للحياة للغاية في حد ذاته، وربما أكثر جاذبية للمستثمرين في المناخ الحالي. لماذا تقوم أيضًا بتصنيع الأجهزة نظرًا لأن العديد من الشركات الممولة جيدًا في هذا المجال تغلق أبوابها، وتكافح من أجل الحصول على اعتماد من العملاء ويقوم اللاعبون الأكبر حجمًا ببناء أجهزتهم الخاصة؟

أنت على حق تمامًا في أن شركات البرمجيات عمومًا كانت قادرة على جمع رأس المال بسهولة أكبر بكثير من شركات الأجهزة، وأن هذه الأجهزة صعبة للغاية. ينصب تركيزنا الحالي بشكل كبير على البرامج لأن هذا هو المكان الذي نرى فيه المشكلة الأكبر. اسمحوا لي أن أكون واضحا، المشكلة لا تكمن في ما إذا كان بإمكاني تشغيل النواة على وحدة المعالجة المركزية (CPU) أو وحدة معالجة الرسومات (GPU) ذات الأداء العالي؛ هذه مشكلة تم حلها منذ فترة طويلة. المشكلة اليوم هي كيف نسهل على المطورين الحصول على المزيد من الأداء، بشكل إنتاجي من عدة آلاف من مجموعات العقد المكونة من حوسبة غير متجانسة دون مطالبتهم بإصلاح سير العمل الخاص بهم.

هذه هي المشكلة التي نركز حاليًا على حلها باستخدام مجموعة برامج تمنح المطورين قوى خارقة وتطلق العنان للقدرة الكاملة لأجهزة الكمبيوتر على مستوى المستودعات، حتى نتمكن من تدريب نماذج الذكاء الاصطناعي ونشرها بشكل اقتصادي أكثر.

الآن، فيما يتعلق بالاستثمار، نعم، أصبح أصحاب رأس المال المغامر أكثر انتقائية في نوع الشركات التي يدعمونها، ولكن هذا يعني أيضًا أن أصحاب رأس المال المغامر يبحثون عن شركات لديها القدرة على تقديم منتجات رائدة حقًا لها طريق واضح للتسويق مع إحداث تأثير كبير. لقد تعلمنا من تحديات وأخطاء الآخرين وقمنا بتصميم نموذج أعمالنا وخريطة الطريق بشكل فعال لمعالجة المخاطر. من المهم أيضًا أن نلاحظ أن ما جعل الشركات الناشئة ناجحة نادرًا ما يكون مدى سهولة جمع تمويل رأس المال الاستثماري، ولكن له علاقة أكبر بمواردها وعنادها وتركيزها على العملاء.

وقبل أن تسأل، ما زلنا نعمل على الأجهزة، ولكن في المقام الأول في مجال المحاكاة في الوقت الحالي. نحن لا ننوي التوقف عن التسجيل لفترة من الوقت. لكن يمكننا حفظ تلك المحادثة لوقت آخر.

من المؤكد أن هذا أمر مقنع وأن نهجك المرحلي مختلف تمامًا مقارنة بما رأيناه من شركات الأجهزة الأخرى. أتفهم المشكلة التي تقول إن مجموعة برامجك ستعالجها، ولكن كيف يختلف برنامجك عن الجهود المختلفة في السوق؟

تركز معظم الشركات التي تشير إليها على تسهيل برمجة وحدات معالجة الرسومات من خلال تقديم نماذج برمجة قائمة على البلاط أو نماذج تخطيط المهام للحصول على مزيد من الأداء من وحدات معالجة الرسومات، أو إنشاء لغات برمجة جديدة للحصول على نواة عالية الأداء مجدولة على منصات مختلفة. منصات مع دعم للتجميع في الخط. هذه مشاكل مهمة يعالجونها، ولكننا نرى أن المشكلة التي نحلها متعامدة تقريبًا.

دعونا نفكر للحظة في إيقاع التحولات بين الأجهزة والبرامج. اكتسبت البنى أحادية النواة أداءً من سرعة الساعة وكثافة الترانزستور، ولكن في النهاية وصلت سرعات الساعة إلى مستوى ثابت. لقد نجح التوازي باستخدام العديد من النوى في التحايل على هذا الأمر وتوفير سرعات كبيرة. لقد استغرق الأمر ما يقرب من عقد من الزمن حتى تتمكن البرمجيات من اللحاق بالركب، لأنه كان لا بد من إعادة التفكير في نماذج البرمجة والمترجمين وأوقات التشغيل لمساعدة المطورين على استخلاص القيمة في هذا النموذج. بعد ذلك، بدأت وحدات معالجة الرسوميات تصبح مسرعات للأغراض العامة، مرة أخرى بنموذج برمجة مختلف. مرة أخرى، استغرق المطورون ما يقرب من عقد من الزمن لاستخراج القيمة هنا.

مرة أخرى، تصل الأجهزة إلى مرحلة الاستقرار - قانون مور، وقيود الطاقة والحرارة، واختناقات الذاكرة، وتنوع أعباء العمل بالإضافة إلى الحاجة إلى المزيد من الحوسبة بشكل كبير، تدفعنا نحو بناء بنيات كمبيوتر غير متجانسة بشكل متزايد لتحسين الأداء والكفاءة والتكلفة الإجمالية. سيؤدي هذا التحول في الأجهزة بالطبع إلى خلق تحديات للبرمجيات لأننا لا نملك المترجمين وأوقات التشغيل المناسبة لدعم التطور التالي للحوسبة. ومع ذلك، هذه المرة، لا ينبغي لنا أن ننتظر 10 سنوات أخرى حتى تتمكن البرامج من استخلاص قيمة البنى غير المتجانسة أو المجموعات الكبيرة، خاصة عندما تكون غير مستغلة بنسبة تزيد عن 80%.

ما نركز عليه هو بناء نموذج برمجة يراعي عدم التجانس مع التوازي القائم على المهام، ومعالجة الأداء المحمول من خلال تحسينات عبر المعالجات، والتجميع المراعي للسياق، والتخصيص الديناميكي للموارد. وبالنسبة لنا، لا يهم ما إذا كانت وحدة المعالجة المركزية (CPU)، أو وحدة معالجة الرسومات (GPU)، أو TPU، أو SPU (بنية Lemurian) أو شبكة منها جميعًا. أعلم أن هذا يبدو كثيرًا من الكلمات الفاخرة، ولكن ما يعنيه حقًا هو أننا جعلنا من الممكن برمجة أي نوع من المعالجات بأسلوب واحد، ويمكننا نقل التعليمات البرمجية من نوع واحد من المعالجات إلى نوع آخر بأقل قدر ممكن جهد دون الحاجة إلى التضحية بالأداء، وجدولة العمل بشكل تكيفي وديناميكي عبر العقد.

بنية وحدة المعالجة المكانية ذات الشريحة الكاملة LL (1)

إذا كان ما تقوله صحيحًا، فيمكنك إعادة تعريف الحوسبة بالكامل. دعونا نتحدث عن التمويل. لقد قمت بجمع 9 ملايين دولار من التمويل الأولي العام الماضي مما يدل على دعم المستثمرين القوي وإيمانهم برؤيتك. ماذا فعلت منذ ذلك الحين؟

على مدار العام الماضي، وبدعم من التمويل الأولي، قطعنا خطوات كبيرة. مع فريقنا الذي يضم الآن 20 عضوًا، تعاملنا مع التحديات بدقة، وشاركنا مع العملاء وقمنا بتحسين نهجنا.

لقد ركزنا على تعزيز PAL للتدريب والاستدلال، واستكشفنا بنية الكمبيوتر لمسرعنا وقمنا بتطوير جهاز محاكاة لمقاييس الأداء. وفي الوقت نفسه، قمنا بإعادة تصور مجموعة برامجنا لتطبيقات مراكز البيانات، مع التركيز على الحوسبة غير المتجانسة.

وأسفر هذا الجهد عن بنية محددة جيدًا، تعرض فعالية PAL في مجال الذكاء الاصطناعي على نطاق واسع. وبعيدًا عن التقدم التكنولوجي، تابعنا التعاون والتواصل لإضفاء الطابع الديمقراطي على الوصول. تعمل هذه الجهود على تمكين Lemurian Labs من مواجهة التحديات المباشرة التي يواجهها العملاء، والاستعداد لإصدار السيليكون الإنتاجي الخاص بنا.

ما هي خطط Lemurian Labs متوسطة المدى فيما يتعلق بتطوير حزمة البرامج والتعاون وتحسين بنية المسرع؟

هدفنا المباشر هو إنشاء مجموعة برامج تستهدف وحدات المعالجة المركزية (CPU) ووحدات معالجة الرسومات ومسرعات الذكاء الاصطناعي لدينا ذات الأداء المحمول، والتي سيتم إتاحتها للشركاء الأوائل في نهاية العام. نحن نجري حاليًا محادثات مع معظم شركات أشباه الموصلات الرائدة ومقدمي الخدمات السحابية وشركات فرط التوسع وشركات الذكاء الاصطناعي لمنحهم إمكانية الوصول إلى برنامج التحويل البرمجي ووقت التشغيل الخاص بنا. بالتوازي، نواصل العمل على بنية المسرع وتحسينها من أجل نظام مصمم بشكل مشترك للأجهزة والبرامج. وبالطبع، لقد بدأنا للتو في رفع سلسلتنا "أ" باهتمام قوي جدًا من مجتمع المستثمرين، مما سيمكننا من تنمية فريقنا وتحقيق هدفنا المتمثل في تسليم منتجات البرمجيات في نهاية العام.

في الختام، كيف ترى مساهمة Lemurian Labs في تغيير مشهد تطوير الذكاء الاصطناعي وإمكانية الوصول والمساواة في السنوات القادمة؟

لم نقم بإعادة تعريف الحوسبة لتحقيق مكاسب تجارية أو للمتعة فقط. باعتبارنا ليموريين، فإن القوة الدافعة لدينا هي أننا نؤمن بالإمكانات التحويلية للذكاء الاصطناعي وأن أكثر من مجرد عدد قليل من الشركات يجب أن تمتلك الموارد اللازمة لتحديد مستقبل هذه التكنولوجيا وكيفية استخدامها. كما أننا لا نرى أنه من المقبول أن تكون البنية التحتية لمراكز البيانات الخاصة بالذكاء الاصطناعي في طريقها لاستهلاك ما يصل إلى 20% من الطاقة في العالم بحلول عام 2030. لقد اجتمعنا جميعًا لأننا نعتقد أن هناك طريقًا أفضل للمضي قدمًا للمجتمع إذا تمكنا من تحقيق ذلك. يمكن الوصول إلى الذكاء الاصطناعي بشكل أكبر من خلال التخفيض الكبير في التكلفة المرتبطة به، وتسريع وتيرة الابتكار في الذكاء الاصطناعي وتوسيع نطاق تأثيره. ومن خلال معالجة تحديات البنية التحتية الحالية للأجهزة، نسعى إلى تمهيد الطريق لتمكين مليار شخص بقدرات الذكاء الاصطناعي، مما يضمن التوزيع العادل لهذه التكنولوجيا المتقدمة. نأمل أن يضعنا التزامنا بالحلول التي تركز على المنتج والتعاون والابتكار المستمر كقوة دافعة في تشكيل مستقبل تطوير الذكاء الاصطناعي ليكون إيجابيًا.

اقرأ أيضا:

شارك هذا المنشور عبر:

الطابع الزمني:

اكثر من سيميويكي