CEO Interview: Suresh Sugumar Of Mastiska AI - Semiwiki

הועלה מחדש על ידי אפלטון

עוקב: 0

Suresh is a technology executive with deep technical expertise in semiconductors, artificial intelligence, cybersecurity, internet-of-things, hardware, software, etc. He spent 20 years in the industry, most recently serving as an Executive Director for open-source zero-trust chip development at Technology Innovation Institute, Abu Dhabi, and in other Fortune 500 semiconductor companies such as Intel, Qualcomm, and MediaTek in various leadership roles, where he researched and developed high-performant, energy-efficient, post-quantum secure, safe microchips/ system-on-chips (SoCs)/ accelerators for the Datacenter, Client, Smartphone, Networking, IoT, and AI/ML markets. He contributed to the Falcon LLM (ranked #1 in huggingface) and was the lead architect for the custom AI hardware platform (canceled – priorities changed). He holds 15+ US Patents and has published/presented at more than 20+ conferences.

Suresh משמש באופן פעיל גם בתפקיד מנהיגותי ב-RISC-V International, שם הוא יושב ראש קבוצת המחשוב מהימנה לפיתוח יכולת מחשוב סודית של RISC-V ויו"ר קבוצת AI/ML לפיתוח האצת חומרה RISC-V לעומסי עבודה של AI/ML כגון Transformer Large Language Models המשמשים ביישומים מסוג ChatGPT. הוא גם מייעץ לחברות סטארט-אפ ולחברות הון סיכון בתמיכה בהחלטות השקעה, אסטרטגיית מוצר, בדיקת נאותות טכנולוגית וכו'.

הוא קיבל תואר MBA מ-INSEAD, תואר שני ממכון בירלה לטכנולוגיה ומדע פילאני, תעודת הנדסת מערכות מ-MIT, תעודת AI מסטנפורד ותעודת בטיחות תפקודית לרכב מ-TÜV SÜD.

ספר לנו על החברה שלך
"מאסטיקה AI" (Mastiṣka פירושו מוח בסנסקריט) היא חברת בינה מלאכותית המתמקדת בבניית מחשבים דמויי מוח כדי להפעיל מודלים בסיסיים בצורה יעילה יותר עבור מקרי שימוש בינה מלאכותית של המחר.

אילו בעיות אתה פותר?
בהתחשב ביתרונות של AI/ GenAI, הביקוש שלו רק עתיד לעלות, וכך גם תופעות הלוואי שלו על הפלנטה שלנו. כיצד נוכל להפחית או לנטרל את תופעות הלוואי של AI על הפלנטה שלנו? לכידת פחמן וכוח גרעיני נמצאים בכיוון הנכון. אבל אנחנו צריכים לחשוב מחדש באופן בסיסי על הדרך שבה אנחנו עושים בינה מלאכותית, האם זו הדרך הלא נכונה לעשות טונות של הכפלת מטריצות?

המוח שלנו יכול ללמוד ולבצע משימות רבות במקביל, ב-10W ומטה, אבל מדוע מערכות הבינה המלאכותית הללו צורכות 10 שניות של מגה וואט כדי לאמן דגמים?

אולי העתיד טומן בחובו ארכיטקטורות חסכוניות באנרגיה כגון ארכיטקטורות נוירומורפיות ושנאים מבוססי רשת עצבית מתקדמת, הקרובים ביותר למוח האנושי, אשר עשויים לצרוך אנרגיה נמוכה פי 100-1000, ובכך להפחית את עלות השימוש ב-AI, ובכך לדמוקרטיזציה ולחסוך כוכב לכת.

האתגרים הנוכחיים העומדים בפנינו עם AI הם א) זמינות, ב) נגישות, ג) סבירות, ו-ד) בטיחות סביבתית יחד עם כמה המלצות להתמודד איתם.

אם נחזה בעתיד, כמה מושגי AGI שימושיים מודגמים בסרט "HER", שבו הדמות 'סמנתה' - סוכנת שיחה שהיא טבעית, מבינה רגשות, מגלה אמפתיה, היא טייסת משנה מדהימה בעבודה - ופועלת הלאה מכשירי כף יד כל היום, אז אולי נצטרך להתמודד עם האתגרים הבאים כבר עכשיו.

בעיה 1: אימון LLM יכול לעלות בין 150K ל-10+ מיליון דולר, והוא מאפשר רק לבעלי כיסים עמוקים יותר לפתח בינה מלאכותית. בנוסף, גם עלויות ההסקה הן עצומות (עולה פי 10 יותר מחיפוש באינטרנט)
-> עלינו לשפר את יעילות האנרגיה של דגמים/חומרה כדי להפוך את הבינה המלאכותית לדמוקרטית לטובת האנושות.

בעיה 2: הפעלת מודלים ענקיים של AI עבור סוכני שיחה או מערכות המלצות, גורמת לפגיעה בסביבה מבחינת צריכת חשמל וקירור.
-> עלינו לשפר את יעילות האנרגיה של דגמים/חומרה כדי להציל את כדור הארץ שלנו עבור הילדים שלנו.

בעיה 3: המוח האנושי מסוגל ויכול לבצע ריבוי משימות, אבל צורך רק 10 וואט במקום מגה וואט.
-> אולי עלינו לבנות מכונות כמו המוח שלנו ולא את מכפילי המטריצה הרגילים מהר יותר.

האנושות יכולה לשגשג רק עם חידושים ברי קיימא, ולא על ידי כריתת כל היערות והרתחת האוקיינוסים בשם החדשנות. עלינו להגן על כדור הארץ שלנו לרווחת ילדינו והדורות הבאים...

אילו תחומי יישום הם החזקים ביותר שלך?
הדרכה והסקת מסקנות של דגמי יסוד מבוססי שנאי (וארכיטקטורה עצבית עתידית), ביעילות פי 50-100 באנרגיה בהשוואה לפתרונות מבוססי GPU של היום.

מה משאיר את הלקוחות שלך ערים בלילה?
בעיות עבור לקוחות המשתמשים כיום במוצרים אחרים:

צריכת החשמל לאימון מודלים של שפות עשירות היא מעבר לגג, לדוגמה, אימון של 13B פרמטר LLM על אסימוני טקסט של 390B על 200 GPUs למשך 7 ימים עולה $151,744 (מקור: HuggingFace new etrain cluster service page – https://lnkd.in/g6Vc5cz3). ואפילו דגמים גדולים יותר עם פרמטרים של 100+B עולים $10+M רק לאימון. לאחר מכן שלם עבור מסקנות בכל פעם שמגיעה בקשה חדשה.

צריכת מים לקירור, חוקרים מאוניברסיטת קליפורניה, ריברסייד העריכו את ההשפעה הסביבתית של שירות דמוי ChatGPT, ואמרו שהוא סופג 500 מיליליטר מים (קרוב למה שיש בבקבוק מים 16 אונקיות) בכל פעם שאתה שואל אותו סדרה של בין 5 ל-50 הנחיות או שאלות. הטווח משתנה בהתאם למקום שבו נמצאים השרתים ולעונה. האומדן כולל שימוש עקיף במים שהחברות לא מודדות - כמו קירור תחנות כוח שמספקות למרכזי הנתונים חשמל. (מָקוֹר: https://lnkd.in/gybcxX8C)

בעיות למי שאינם לקוחות של מוצרים נוכחיים:

לא יכול להרשות לעצמו CAPEX לקנות חומרה
לא יכול להרשות לעצמו להשתמש בשירותי ענן
לא יכול לחדש או למנף בינה מלאכותית - תקוע במודל שירותים שמבטל כל יתרון תחרותי

איך נראה הנוף התחרותי ואיך מבדילים?

GPUs שולטים בשטח האימון, למרות ש-ASICs מיוחדים מתחרים גם הם בקטע זה
להסקת Cloud & Edge יש יותר מדי אפשרויות זמינות

דיגיטלי, אנלוגי, פוטוני - בשם זה אנשים מנסים להתמודד עם אותה בעיה.

האם אתה יכול לחלוק את המחשבות שלך על המצב הנוכחי של ארכיטקטורת השבבים עבור AI/ML, כלומר, מה אתה רואה בתור המגמות וההזדמנויות המשמעותיות ביותר כרגע?

הטרנדים הבאים:
מגמה 1: לפני 10 שנים, למידה עמוקה המאפשרת חומרה שגשגה, ועכשיו אותה חומרה מעכבת את ההתקדמות. בשל העלות העצומה של עלויות החומרה והחשמל להפעלת דגמים, זה הפך לאתגר לגשת לחומרה. רק חברות עם כיסים עמוקים מסוגלות להרשות לעצמן את אלה והופכות למונופולים.

מגמה 2: כעת, כשהדגמים הללו קיימים, עלינו להשתמש בהם למטרות מעשיות כדי שהעומס המסיק יגדל, ויאפשר למעבדים עם מאיצי בינה מלאכותית להגיע שוב לאור הזרקורים.

מגמה 3: סטארט-אפים מנסים להמציא ייצוגים אלטרנטיביים של מספרי נקודה צפה שפורמט ה-IEEE המסורתי - כגון לוגריתמי ומבוסס פוזיציות - טובים אך לא מספיקים. אופטימיזציה של מרחב עיצוב PPA$ מתפוצצת כאשר אנו מנסים לייעל אחד ואחד אחר יוצא לטיסה.

מגמה 4: התעשייה מתרחקת מהמודל מבוסס השירות של בינה מלאכותית לאירוח דגמים פרטיים משלה בחצרים שלה - אבל הגישה לחומרה היא אתגר בגלל מחסור באספקה, סנקציות וכו'

מצב העניינים הנוכחי:
זמינות החומרה והנתונים הזינו את צמיחת הבינה המלאכותית לפני 10 שנים, כעת אותה חומרה מעכבת אותה - תן לי להסביר

מאז שמעבדי ה-CPU היו גרועים ומעבדי GPU נועדו לעשות AI, הרבה דברים קרו

חברות התייחסו ל-4 מקטעים של AI/ML, כלומר - 1) אימון בענן, 2) הסקת מסקנות בענן, 3) הסקת קצה ו-4) אימון קצה (למידה מאוחדת עבור יישומים רגישים לפרטיות).
דיגיטלי ואנלוגי

צד ההדרכה - שפע של חברות שעושות GPUs, מאיצי לקוחות המבוססים על RISC-V, שבבים בקנה מידה של רקיק (850K ליבות), וכן הלאה שבהם חסרים מעבדים מסורתיים (המטרה הכללית שלהם). צד מסקנות - מאיצי NN זמינים מכל יצרן, בסמארטפונים, מחשבים ניידים ומכשירי קצה אחרים.

גם ארכיטקטורות מבוססות ממריסטורים אנלוגיים הופיעו לפני זמן מה.

אנו מאמינים שמעבדים יכולים להיות טובים מאוד בהסקת מסקנות אם נשפר זאת עם האצה כמו הרחבות מטריצות

הצד של RISC-V של הדברים:
בצד ה-RISC-V של הדברים, אנו מפתחים מאיצים לפעולות מטריצה ופעולות לא-לינאריות אחרות כדי למנוע צווארי בקבוק אפשריים לעומסי עבודה של שנאים. צווארי בקבוק של פון נוימן מטופלים גם על ידי ארכיטקט זיכרונות קרובים יותר למחשוב, ובסופו של דבר הופכים מעבדים עם האצת AI לבחירה הנכונה להסקת מסקנות.

הזדמנויות:
קיימות הזדמנויות ייחודיות למילוי שוק דגמי היסודות. דוגמה - OpenAI הזכירו שהם לא הצליחו לאבטח מספיק מחשוב בינה מלאכותית (GPU) כדי להמשיך לדחוף את שירותי ה-ChatGPT שלהם... והחדשות מדווחות על עלויות חשמל של פי 10 מזו של חיפוש באינטרנט רגיל ו-500 מ"ל מים כדי לקרר את המערכות לכל שאילתה. יש שוק שצריך למלא כאן - זה לא נישה, אלא זה כל השוק שיהפוך את הבינה המלאכותית לדמוקרטית להתמודד עם כל האתגרים שהוזכרו לעיל - א) זמינות, ב) נגישות, ג) סבירות, וד) בטיחות סביבתית

על אילו תכונות/טכנולוגיה חדשים אתה עובד?
אנו בונים מוח כמו מחשב תוך שימוש בטכניקות נוירומודרופיות ומתאימים מודלים כדי לנצל את החומרה החסכונית באנרגיה, שימוש חוזר במסגרות פתוחות זמינות

איך אתה רואה את מגזר הבינה המלאכותית/ML יגדל או ישתנה במהלך 12-18 החודשים הבאים?
מכיוון שהביקוש למעבדי GPU פחתה (עולה כמו 30 אלף דולר) ובנוסף חלקים מסוימים בעולם עומדים בפני סנקציות לרכישת מעבדי GPU אלה, חלקים מסוימים בעולם מרגישים שהם קפואים במחקר ופיתוח בינה מלאכותית ללא גישה למעבדי GPU. פלטפורמות חומרה חלופיות הולכות לכבוש את השוק.
מודלים אולי יתחילו להתכווץ - מודלים מותאמים אישית או אפילו ביסודו של צפיפות המידע תגדל

אותה שאלה אבל מה לגבי הצמיחה והשינוי ב-3-5 השנים הבאות?
א) מעבדים עם הרחבות בינה מלאכותית ילכוד את שוק ההסקת AI
ב) המודלים יהפכו זריזים, ופרמטרים ייפלטו ככל שצפיפות המידע תשתפר מ-16% ל-90%
ג) יעילות אנרגטית משתפרת, טביעת רגל CO2 מפחיתה
ד) ארכיטקטורות חדשות עולות
ה) עלויות החומרה ועלויות האנרגיה יורדות כך שחסם הכניסה לחברות קטנות יותר ליצור ולהכשיר דגמים הופך להיות סביר
ו) אנשים מדברים על רגע שלפני AGI, אבל המדד שלי יהיה סמנתה (בינה מלאכותית לשיחה) האופיינית בסרט "היא".

מהם כמה מהאתגרים שעלולים להשפיע או להגביל את הצמיחה במגזר AI/ML?
א) גישה לחומרה
ב) עלויות אנרגיה ועלויות קירור ופגיעה סביבתית