פרוס והשתמש בפלטפורמת למידה עמוקה מרובת מסגרות ב-Kubernetes

תיאור

כמתרגל למידה עמוקה, אתה רוצה אמינות ומדרגיות תוך כדי תזמורת עבודות ההדרכה שלך. בנוסף, תרצה לעשות זאת באופן עקבי על פני מספר ספריות. עם Fabric for Deep Learning (FfDL) ב-Kubernetes, אתה יכול להשיג זאת על ידי מתן אפשרות למשתמשים למנף ספריות למידה עמוקה כגון Caffe, Torch ו-TensorFlow בענן בצורה גמישה במינימום מאמץ. הפלטפורמה משתמשת בשכבת הפצה ותזמור המאפשרת למידה מכמות גדולה של נתונים בפרק זמן סביר על פני צמתי מחשוב. שכבת אספקת משאבים מאפשרת ניהול עבודה גמיש במשאבים הטרוגניים, כגון יחידות עיבוד גרפיות (GPU) ויחידות עיבוד מרכזיות (CPUs), בענן תשתית כשירות (IaaS).

סקירה כללית

אימון רשתות עצביות עמוקות, המכונה למידה עמוקה (חלק משיטות למידת מכונה), הוא מורכב ביותר ועתיר חישוב. משתמש טיפוסי של למידה עמוקה נחשף שלא לצורך לפרטי תשתית החומרה והתוכנה הבסיסית, כולל הגדרת מכשירי GPU יקרים, התקנת ספריות למידה עמוקה וניהול העבודות במהלך הביצוע כדי להתמודד עם כשלים ושחזורים. למרות הקלות של השגת חומרה מענני IaaS ותשלום לפי שעה, המשתמש עדיין צריך לנהל את המכונות הללו, להתקין ספריות נדרשות ולהבטיח גמישות של משרות ההדרכה ללמידה עמוקה.

כאן טמונה ההזדמנות ללמידה עמוקה כשירות. בדפוס קוד זה, אנו מראים לך כיצד לפרוס מארג למידה עמוקה ב-Kubernetes. על ידי שימוש בחפצים ארכיטקטוניים מקוריים בענן כמו Kubernetes, microservices, תרשימי Helm ואחסון אובייקטים, אנו מראים לך כיצד לפרוס ולהשתמש ב-Deep learning Fabric. בד זה משתרע על פני מספר מנועי למידה עמוקה כמו TensorFlow, Caffe ו- PyTorch. הוא משלב את הגמישות, קלות השימוש והכלכלה של שירות ענן עם העוצמה של למידה עמוקה. תמצא את זה קל לשימוש ועל ידי שימוש בממשקי API של REST, תוכל להתאים אישית את ההדרכה עם משאבים שונים לפי דרישות משתמש או תקציב. אפשר למשתמשים להתמקד בלמידה עמוקה ובאפליקציות במקום להתמקד בתקלות.

זרימה

1. מפריס FfDL פורס את בסיס הקוד FfDL לאשכול Kubernetes. אשכול Kubernetes מוגדר למעבדי GPU, CPUs או שניהם בשימוש, ויש לו גישה לאחסון אובייקטים תואם S3. אם לא צוין, נוצר תרמיל S3 מדומה מקומי.
2. לאחר הפריסה, מדען הנתונים מעלה את נתוני אימון המודל לחנות האובייקטים התואמת S3. FfDL מניח שהנתונים כבר בפורמט הנדרש כפי שנקבע על ידי מסגרות למידה עמוקה שונות.
3. המשתמש יוצר קובץ מניפסט FfDL Model. קובץ המניפסט מכיל שדות שונים המתארים את המודל ב-FfDL, מידע מאגר האובייקטים שלו, דרישות המשאבים שלו וכמה ארגומנטים (כולל היפרפרמטרים) הנדרשים לביצוע מודל במהלך אימון ובדיקה. לאחר מכן המשתמש מקיים אינטראקציה עם FfDL באמצעות CLI/SDK או ממשק משתמש כדי לפרוס את קובץ המניפסט של מודל FfDL עם קובץ הגדרת מודל. המשתמש מפעיל את עבודת ההדרכה ועוקב אחר התקדמותה.
4. המשתמש מוריד את המודל המאומן והיומנים המשויכים לאחר סיום עבודת ההדרכה.

הוראות

מצא את השלבים המפורטים עבור דפוס זה ב-README. השלבים יראו לך כיצד:

1. קומפל וקוד ובנה תמונות Docker.
2. התקן את רכיבי FfDL עם התקנת ההגה.
3. הפעל סקריפט כדי להגדיר את Grafana לניטור FfDL.
4. השג את נקודות הקצה שלך ב-Grafana, FfDL Web UI ו-FfDL REST API.
5. הפעל כמה עבודות פשוטות כדי להכשיר מודל רשת קונבולוציוני באמצעות TensorFlow ו-Caffe.

מקור: https://developer.ibm.com/patterns/deploy-and-use-a-multi-framework-deep-learning-platform-on-kubernetes/