Meta לפרוס שבבי AI מותאמים אישית לצד AMD, Nvidia GPUs

הועלה מחדש על ידי אפלטון

עוקב: 0

לאחר שנים של פיתוח, Meta עשויה סוף סוף להפיץ השנה את מאיצי הבינה המלאכותית שלה בצורה משמעותית.

אימפריית פייסבוק אישרה את רצונה להשלים פריסות של Nvidia H100 ו-AMD MI300X GPUs עם משפחת השבבים Meta Training Inference Accelerator (MTIA) שלה השבוע. באופן ספציפי, Meta תפרוס מעבד מותאם להסקת מסקנות, לפי הדיווחים בשם הקוד ארטמיס, מבוסס על חלקי הדור הראשון של ענקית עמק הסיליקון מקניט שנה שעברה.

"אנחנו נרגשים מההתקדמות שעשינו במאמצי הסיליקון הפנימיים שלנו עם MTIA ונמצאים במסלול להתחיל לפרוס את גרסת ההסקה שלנו בייצור ב-2024", אמר דובר Meta הקופה ביום חמישי.

"אנו רואים שהמאיצים שפותחו באופן פנימי משלימים מאוד ל-GPUs הזמינים מסחרית באספקת התמהיל האופטימלי של ביצועים ויעילות בעומסי עבודה ספציפיים למטא", המשיך הנציג. פרטים? לא. הדובר אמר לנו: "אנו מצפים לחלוק עדכונים נוספים על תוכניות ה-MTIA העתידיות שלנו בהמשך השנה".

אנו מתייחסים לכך שהשבב הממוקד בהסקת הדור השני יוצא לדרך נרחבת, בעקבות גרסת מעבדה בלבד של הדור הראשון להסקת מסקנות, וייתכן שנגלה מאוחר יותר על חלקים המיועדים בעיקר לאימון או לאימון ולהסקה.

Meta הפכה לאחד הלקוחות הטובים ביותר של Nvidia ו-AMD כאשר פריסת עומסי העבודה של AI גדלה, והגדילה את הצורך והשימוש שלה בסיליקון מיוחד כדי לגרום לתוכנת למידת המכונה שלה לפעול מהר ככל האפשר. לפיכך, ההחלטה של ענקית אינסטגרם לפתח מעבדים מותאמים אישית משלה אינה כל כך מפתיעה.

למעשה, המגה-קורפ, על פניו, מאחרת יחסית למסיבת הסיליקון המותאמת בינה מלאכותית במונחים של פריסה בעולם האמיתי. אמזון וגוגל משתמשות ברכיבים תוצרת בית כדי להאיץ מערכות פנימיות ללימוד מכונה, כמו דגמי ממליצים וקוד ML של לקוחות כבר כמה שנים. בינתיים, מיקרוסופט חשפה את המאיצים שלה בשנה שעברה.

אבל מעבר לעובדה שמטה מוציאה שבב מסקנות MTIA בקנה מידה, הרשת החברתית לא חשפה את הארכיטקטורה המדויקת שלה וגם לא אילו עומסי עבודה היא שומרת לסיליקון הביתי ואלו היא מורידה למעבדי ה-GPU של AMD ו-Nvidia.

סביר להניח ש-Meta תפעיל מודלים מבוססים על ASICs המותאמים אישית שלה כדי לפנות משאבי GPU ליישומים דינמיים או מתפתחים יותר. ראינו את Meta עוברת את המסלול הזה בעבר עם מאיצים מותאמים אישית שנועדו להוריד נתונים ולחשב עומסי עבודה אינטנסיביים של וידאו.

באשר לעיצוב הבסיסי, הצופים בתעשייה ב-SemiAnalysis אומרים לנו שהשבב החדש מבוסס באופן הדוק על הארכיטקטורה בחלקי הדור הראשון של Meta.

אבני מדרך

הוכרז בתחילת 2023 לאחר שלוש שנים של פיתוח, חלקי MTIA v1 של Meta, אשר חברינו ב הפלטפורמה הבאה הביט בי באביב האחרון, תוכננו במיוחד עם מחשבה על דגמי ממליצים ללמידה עמוקה.

השבב מהדור הראשון נבנה סביב אשכול מעבד RISC-V ושופץ באמצעות תהליך ה-7 ננומטר של TSMC. מתחת למכסה המנוע, הרכיב השתמש במטריצה של שמונה על שמונה של רכיבי עיבוד שכל אחד מהם מצויד בשתי ליבות מעבד RV, שאחת מהן מצוידת בהרחבות מתמטיות וקטוריות. הליבות הללו מוזנות מ-SRAM נדיב של 128MB על-שבב ועד 128GB של זיכרון LPDDR5.

כפי שטענה Meta בשנה שעברה, השבב פעל במהירות 800 מגה-הרץ והגיע לרמה של 102.4 טריליון פעולות בשנייה של ביצועי INT8 או 51.2 teraFLOPS בחצי דיוק (FP16). לשם השוואה, ה-H100 של Nvidia מסוגל לבצע כמעט ארבעה petaFLOPS של ביצועי FP8 דל. אמנם לא קרוב לעוצמה כמו Nvidia או GPUs של AMD, אבל לשבב היה יתרון אחד מרכזי: צריכת חשמל. לשבב עצמו היה כוח עיצוב תרמי של 25 וואט בלבד.

לפי ניתוח חצי, השבב האחרון של Meta מתהדר בליבות משופרות וסוחר ב-LPDDR5 עבור זיכרון ברוחב פס גבוה ארוז באמצעות טכנולוגיית שבב-על-וופר-על-מצע (CoWoS) של TSMC.

הבדל בולט נוסף הוא שבב הדור השני של Meta יראה למעשה פריסה נרחבת על פני תשתית מרכז הנתונים שלו. לדברי טיטאן פייסבוק, בעוד החלק של הדור הראשון שימש להפעלת דגמי פרסום ייצור, הוא מעולם לא עזב את המעבדה.

רודף אחרי בינה כללית מלאכותית

חלקים מותאמים אישית בצד, ההורה של פייסבוק ואינסטגרם זרק מיליארדים של דולרים על GPUs בשנים האחרונות כדי להאיץ כל מיני משימות שאינן מתאימות לפלטפורמות CPU קונבנציונליות. עם זאת, עלייתם של דגמי שפה גדולים, כגון GPT-4 ו-Llama 2 של Meta עצמו, שינו את הנוף והניעו את הפריסה של אשכולות GPU מסיביים.

בקנה מידה שמטה פועלת, מגמות אלו חייבו שינויים דרסטיים בתשתית שלה, כולל עיצוב מחדש של מספר מרכזי נתונים כדי לתמוך בדרישות הכוח והקירור העצומות הקשורות לפריסות AI גדולות.

והפריסות של Meta רק יגדלו במהלך החודשים הקרובים כשהחברה תעביר את הפוקוס מה-metaverse ל- פיתוח של בינה כללית מלאכותית. כביכול, עבודה שנעשתה על AI תעזור ליצור את המטא-ורס או משהו כזה.

לדברי המנכ"ל מארק צוקרברג, Meta מתכננת לפרוס עד 350,000 Nvidia H100 רק השנה.

החברה גם הכריזה על תוכניות לפרוס את AMD החדשות הושק MI300X GPUs במרכזי הנתונים שלה. צוקרברג טען שהתאגיד שלו יסיים את השנה עם כוח מחשוב שווה ערך של 600,000 H100s. אז ברור ששבבי MTIA של Meta לא יחליפו GPUs בקרוב. ®