זהו פוסט אורח מאת Jihye Park, מדען נתונים ב- MUSINSA.
MUSINSA היא אחת מפלטפורמות האופנה המקוונות הגדולות בדרום קוריאה, משרתת 8.4 מיליון לקוחות ומוכרת 6,000 מותגי אופנה. תעבורת המשתמשים החודשית שלנו מגיעה ל-4 מיליון, ולמעלה מ-90% מהדמוגרפיה שלנו מורכבת מבני נוער ומבוגרים צעירים הרגישים לטרנדים אופנתיים. MUSINSA היא מובילת פלטפורמה מגמתית בארץ, המובילה עם כמויות אדירות של נתונים.
צוות פתרונות הנתונים של MUSINSA עוסק בכל הקשור לנתונים שנאספים מחנות MUSINSA. אנו מבצעים פיתוח מלא מחסנית מאיסוף יומנים ועד מודלים של נתונים והגשת מודלים. אנו מפתחים מוצרים שונים המבוססים על נתונים, כולל שירות המלצות למוצרים חיים בעמוד הראשי של האפליקציה שלנו ושירות הדגשת מילות מפתח שמזהה ומדגיש מילים כמו 'גודל' או 'רמת שביעות רצון' מסקירות טקסט.
אתגרים בתהליך בדיקת תמונה אוטומטית
האיכות והכמות של ביקורות לקוחות הן קריטיות עבור עסקי מסחר אלקטרוני, מכיוון שלקוחות מקבלים החלטות רכישה מבלי לראות את המוצרים באופן אישי. אנו נותנים קרדיטים למי שכותב ביקורות תדמית על המוצרים שרכשו (כלומר, ביקורות עם תמונות של המוצרים או תמונות שלהם לובשים/משתמשים במוצרים) כדי לשפר את חווית הלקוח ולהגדיל את יחס ההמרה של הרכישה. כדי לקבוע אם התמונות שנשלחו עומדות בקריטריונים שלנו לזיכויים, כל התמונות נבדקות בנפרד על ידי בני אדם. לדוגמה, הקריטריונים שלנו קובעים ש"סקירת סגנון" צריכה להכיל תמונות המציגות את כל הגוף של אדם שלובש/משתמש במוצר בעוד ש"סקירת מוצר" צריכה לספק תמונה מלאה של המוצר. התמונות הבאות מציגות דוגמאות של סקירת מוצר וסקירת סגנון. ניתנה הסכמה של מעלים לשימוש בתמונות.
למעלה מ-20,000 תמונות מועלות מדי יום לפלטפורמת MUSINSA Store הדורשות בדיקה. תהליך הבדיקה מסווג תמונות כ"חבילה", "מוצר", "באורך מלא" או "חצי אורך". תהליך בדיקת התמונות הוא ידני לחלוטין, ולכן הוא לקח זמן רב, ולעתים קרובות הסיווגים נעשים באופן שונה על ידי אנשים שונים, אפילו עם ההנחיות. מול האתגר הזה, השתמשנו אמזון SageMaker כדי להפוך משימה זו לאוטומטית.
Amazon SageMaker הוא שירות מנוהל במלואו לבנייה, הדרכה ופריסה של מודלים של למידת מכונה (ML) לכל מקרה שימוש עם תשתית, כלים וזרימות עבודה מנוהלות במלואן. זה נתן לנו ליישם במהירות את שירות בדיקת התמונה האוטומטית עם תוצאות טובות.
אנו נפרט כיצד טיפלנו בבעיות שלנו באמצעות מודלים של ML והשתמשנו ב-Amazon SageMaker לאורך הדרך.
אוטומציה של תהליך בדיקת תמונת סקירה
הצעד הראשון לקראת אוטומציה של תהליך בדיקת התמונות היה לתייג תמונות באופן ידני, ובכך להתאים אותן לקטגוריות ולקריטריוני הבדיקה המתאימות. לדוגמה, סיווגנו תמונות כ"צילום גוף מלא", "צילום גוף עליון", "צילום אריזה", "צילום מוצר" וכו'. במקרה של סקירת מוצר, ניתנו זיכויים רק עבור תמונת מוצר שצולמה. כמו כן, במקרה של סקירת סטייל, ניתנו קרדיטים עבור צילום גוף מלא.
באשר לסיווג התמונות, היינו תלויים במידה רבה במודל של רשת עצבית קונבולוציונית (CNN) מיומן מראש בשל הנפח העצום של תמונות קלט הנדרשות לאימון המודל שלנו. בעוד שהגדרה וסיווג של תכונות משמעותיות מתמונות הן קריטיות לאימון מודל, לתמונה יכולה להיות מספר בלתי מוגבל של תכונות. לכן, השימוש במודל CNN היה הגיוני ביותר, והכשרנו מראש את המודל שלנו עם 10,000+ מערכי נתונים של ImageNet, ואז השתמשנו בלמידת העברה. משמעות הדבר היא שניתן לאמן את המודל שלנו בצורה יעילה יותר עם תוויות התמונות שלנו מאוחר יותר.
אוסף תמונות עם אמזון SageMaker Ground Truth
עם זאת, ללמידת העברה היו מגבלות משלה, מכיוון שמודל חייב לעבור הכשרה חדשה על שכבות גבוהות יותר. זה אומר שזה כל הזמן דרש תמונות קלט. מצד שני, שיטה זו פעלה היטב והצריכה פחות תמונות קלט כשהיא מאומנת על שכבות שלמות. הוא זיהה בקלות תכונות מתמונות מהשכבות הללו מכיוון שהוא כבר אומן עם כמות עצומה של נתונים. ב-MUSINSA, כל התשתית שלנו פועלת על AWS, ואנו מאחסנים תמונות שהועלו על ידי לקוחות ב- שירות אחסון פשוט של אמזון (S3). סיווגנו את התמונות הללו לתיקיות שונות על סמך התוויות שהגדרנו, והשתמשנו באמזון SageMaker Ground Truth מהסיבות הבאות:
- תוצאות עקביות יותר - בתהליכים ידניים, טעות של מפקח בודד יכולה להיות מוזנת לאימון מודל ללא כל התערבות. עם SageMaker Ground Truth, נוכל לגרום לכמה פקחים לסקור את אותה תמונה ולוודא שהקלט מהמפקח האמין ביותר דורגו גבוה יותר עבור תיוג תמונה, ובכך יובילו לתוצאות אמינות יותר.
- פחות עבודה ידנית - ניתן ליישם תיוג נתונים אוטומטי של SageMaker Ground Truth עם סף ציון ביטחון כך שכל תמונות שלא ניתן לתייג בבטחה במכונה נשלחות לתיוג אנושי. זה מבטיח את האיזון הטוב ביותר בין עלות ודיוק. מידע נוסף זמין ב- Amazon SageMaker Ground Truth מדריך למפתחים.
בשיטה זו, הפחתנו את מספר התמונות המסווגות באופן ידני ב-43%. הטבלה הבאה מציגה את מספר התמונות שעובדו בכל איטרציה לאחר שאימצנו את Ground Truth (שימו לב שנתוני ההדרכה והאימות הם נתונים מצטברים, בעוד שהמדדים האחרים הם על בסיס פר-איטרציה). - טען ישירות את התוצאות – בעת בניית מודלים ב- SageMaker, נוכל לטעון את קבצי המניפסט שנוצרו על ידי SageMaker Ground Truth ולהשתמש בהם לצורך אימון.
לסיכום, סיווג של 10,000 תמונות דרש 22 פקחים חמישה ימים ועלותו 980 דולר.
פיתוח מודל סיווג תמונה עם Amazon SageMaker Studio
היינו צריכים לסווג תמונות סקירה כצילומי גוף מלא, צילומי פלג גוף עליון, צילומי חבילה, צילומי מוצרים ומוצרים לקטגוריות רלוונטיות. כדי להשיג את המטרות שלנו, שקלנו שני דגמים: הדגם המובנה מבוסס-ResNet SageMaker וה- MobileNet מבוסס Tensorflow. בדקנו את שניהם על אותם מערכי בדיקה ומצאנו שהמודל המובנה של SageMaker היה מדויק יותר, עם ציון 0.98 F1 לעומת 0.88 ממודל TensorFlow. לכן, החלטנו על הדגם המובנה של SageMaker.
השמיים סטודיו SageMakerתהליך אימון מודל מבוסס היה כדלקמן:
- ייבא תמונות מתויגות מ- SageMaker Ground Truth
- עיבוד מוקדם של תמונות - שינוי גודל והגדלה של תמונה
- טען את דגם מובנה של Amazon SageMaker כתמונת Docker
- כוונן היפרפרמטרים באמצעות חיפוש רשת
- יישם לימוד העברה
- כוונן מחדש פרמטרים על סמך מדדי אימון
- שמור את הדגם
SageMaker עשה את זה פשוט לאמן את הדגם בלחיצה אחת בלבד וללא דאגה לגבי הקצאה וניהול של צי שרתים להדרכה.
עבור סיבוב היפרפרמטרים, השתמשנו בחיפוש רשת כדי לקבוע את הערכים האופטימליים של הפרמטרים, כמספר שכבות האימון (num_layers
) ומחזורי אימון (epochs
) במהלך למידת העברה השפיעה על דיוק מודל הסיווג שלנו.
דגם הגשה עם SageMaker Batch Transform ו-Apache Airflow
מודל סיווג התמונות שבנינו דרש תהליכי עבודה של ML כדי לקבוע אם תמונת סקירה מתאימה לזיכויים. הקמנו זרימות עבודה עם ארבעת השלבים הבאים.
- ייבא תמונות סקירה ומטא נתונים שיש לבדוק באופן אוטומטי
- הסיק את התוויות של התמונות (הסקת מסקנות)
- קבע אם יש לתת זיכויים על סמך התוויות המשוערות
- אחסן את טבלת התוצאות במסד הנתונים של הייצור
אנחנו משתמשים זרימת אוויר של אפאצ'י לניהול זרימות עבודה של מוצרי נתונים. זוהי פלטפורמת תזמון וניטור של זרימת עבודה שפותחה על ידי Airbnb הידועה בגרפים פשוטים ואינטואיטיביים של ממשק משתמש אינטרנטי. הוא תומך באמזון SageMaker, כך שהוא מעביר בקלות את הקוד שפותח עם SageMaker Studio ל- Apache Airflow. ישנן שתי דרכים להפעיל עבודות SageMaker ב-Apache Airflow:
- שימוש במפעילי אמזון SageMaker
- שימוש מפעילי פיתון : כתוב פונקציית Python עם Amazon SageMaker Python SDK ב-Apache Airflow וייבא אותה כפרמטר הניתן להתקשרות
האפשרות השנייה תן לנו לשמור על פייתון הקיים שלנו קודים שכבר היו לנו ב-SageMaker Studio, וזה לא דרש מאיתנו ללמוד דקדוקים חדשים עבור מפעילי אמזון SageMaker.
עם זאת, עברנו ניסוי וטעייה, מכיוון שזו הייתה הפעם הראשונה שלנו לשלב את Apache Airflow עם Amazon SageMaker. הלקחים שלמדנו היו:
- עדכון Boto3: Amazon SageMaker Python SDK גרסה 2 נדרשת Boto3 1.14.12 ומעלה. לכן, היינו צריכים לעדכן את גרסת Boto3 של סביבת ה-Apache Airflow הקיימת שלנו, שהייתה ב-1.13.4.
- IAM תפקיד והרשאות ירושה: תפקידי AWS IAM המשמשים את Apache Airflow נדרשים לרשת תפקידים שיכולים להפעיל את Amazon SageMaker.
- תצורת רשת: כדי להפעיל קודי SageMaker עם Apache Airflow, יש להגדיר את נקודות הקצה שלו לחיבורי רשת. נקודות הקצה הבאות התבססו על האזורים והשירותים של AWS שבהם השתמשנו. למידע נוסף, ראה את אתר AWS.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
תוצאות
על ידי אוטומציה של תהליכי בדיקת תמונת סקירה, השגנו את התוצאות העסקיות הבאות:
- יעילות עבודה מוגברת – נכון להיום, 76% מהתמונות מהקטגוריות שבהן הוחל השירות נבדקות אוטומטית עם דיוק בדיקה של 98%.
- עקביות במתן קרדיטים - זיכויים ניתנים על סמך קריטריונים ברורים. עם זאת, היו מקרים שבהם ניתנו זיכויים באופן שונה עבור מקרים דומים בשל הבדלים בפסקי דין של פקחים. מודל ML מיישם כללים באופן עקבי יותר ועקביות גבוהה יותר ביישום מדיניות האשראי שלנו.
- צמצום טעויות אנוש - כל מעורבות אנושית טומנת בחובה סיכון לטעויות אנוש. לדוגמה, היו לנו מקרים שבהם נעשה שימוש בקריטריונים של סקירת סגנון עבור ביקורות מוצרים. מודל הבדיקה האוטומטית שלנו הפחית באופן דרמטי את הסיכונים של טעויות אנוש אלו.
השגנו את היתרונות הבאים במיוחד על ידי שימוש באמזון SageMaker כדי להפוך את תהליך בדיקת התמונה לאוטומטי:
- הקים סביבה שבה אנו יכולים לבנות ולבדוק מודלים באמצעות תהליכים מודולריים - מה שהכי אהבנו באמזון SageMaker זה שהוא מורכב ממודולים. זה מאפשר לנו לבנות ולבדוק שירותים בקלות ובמהירות. ברור שהיינו צריכים קצת זמן כדי ללמוד על Amazon SageMaker בהתחלה, אבל ברגע שלמדנו, נוכל ליישם את זה בקלות בפעולות שלנו. אנו מאמינים שאמזון SageMaker אידיאלי עבור עסקים הדורשים פיתוח שירות מהיר, כמו במקרה של חנות MUSINSA.
- אסוף נתוני קלט אמינים עם Amazon SageMaker Ground Truth - איסוף נתוני קלט הופך להיות חשוב יותר ויותר מאשר מודלים את עצמו בתחום ה-ML. עם ההתקדמות המהירה של ML, דגמים שהוכשרו מראש יכולים לבצע ביצועים טובים בהרבה מבעבר, וללא כוונון נוסף. AutoML גם הסירה את הצורך בכתיבת קודים עבור מודלים של ML. לכן, היכולת לאסוף נתוני קלט איכותיים חשובה מאי פעם, ושימוש בשירותי תיוג כגון Amazon SageMaker Ground Truth הוא קריטי.
סיכום
בהמשך, אנו מתכננים להפוך לא רק הגשת דגמים לאוטומטית אלא גם הדרכת מודלים באמצעות קבוצות אוטומטיות. אנו רוצים שהמודל שלנו יזהה את ההיפרפרמטרים האופטימליים באופן אוטומטי כאשר מתווספות תוויות או תמונות חדשות. בנוסף, נמשיך לשפר את הביצועים של המודל שלנו, כלומר ריקול ודיוק, על בסיס שיטת האימון האוטומטי שהוזכרה קודם לכן. אנו נגדיל את כיסוי הדגם שלנו כך שהוא יוכל לבדוק יותר תמונות סקירה, להפחית יותר עלויות ולהשיג דיוק גבוה יותר, מה שיוביל לשביעות רצון גבוהה יותר של לקוחות.
למידע נוסף על אופן השימוש אמזון SageMaker כדי לפתור את הבעיות העסקיות שלך באמצעות ML, בקר באתר דף אינטרנט של מוצר. וכמו תמיד, הישאר מעודכן בחדשות האחרונות חדשות AWS Machine Learning כאן.
התוכן והדעות בפוסט זה הם של מחבר צד ג 'ו- AWS אינה אחראית לתוכן או לדיוק של פוסט זה.
על הכותבים
פארק ג'יהי הוא מדען נתונים ב-MUSINSA שאחראי על ניתוח ומידול נתונים. היא אוהבת לעבוד עם נתונים בכל מקום כמו מסחר אלקטרוני. התפקיד העיקרי שלה הוא מודלים של נתונים, אבל יש לה תחומי עניין גם בהנדסת נתונים.
סונגמין קים הוא Sr. Solutions Architect בשירותי האינטרנט של אמזון. הוא עובד עם סטארטאפים כדי לתכנן, לעצב, לבצע אוטומטיות ולבנות פתרונות ב-AWS לצרכים העסקיים שלהם. הוא מתמחה ב-AI/ML ואנליטיקס.
- '
- "
- 000
- 100
- 107
- 98
- נוסף
- Airbnb
- תעשיות
- אמזון בעברית
- אמזון SageMaker
- האמת של אמזון SageMaker
- אמזון שירותי אינטרנט
- אנליזה
- ניתוח
- אַפָּשׁ
- AREA
- אוטומטי
- AWS
- הטוב ביותר
- גוּף
- מותגים
- לִבנוֹת
- בִּניָן
- עסקים
- עסקים
- מקרים
- לאתגר
- מיון
- CNN
- קוד
- איסוף
- אמון
- חיבורי
- הסכמה
- תוכן
- להמשיך
- המרה
- רשת עצבית convolutional
- עלויות
- אשראי
- קרדיטים
- חווית לקוח
- שביעות רצון של לקוח
- לקוחות
- נתונים
- ניתוח נתונים
- מדען נתונים
- דמוגרפיה
- עיצוב
- פרט
- לפתח
- מפתח
- צעצועי התפתחות
- סַוָר
- מסחר אלקטרוני
- הנדסה
- סביבה
- וכו '
- ניסיון
- אופנה
- תכונות
- הפד
- ראשון
- firsttime
- צי
- קדימה
- מלא
- פונקציה
- נתינה
- שערים
- טוב
- רֶשֶׁת
- אוֹרֵחַ
- פוסט אורח
- הנחיות
- כאן
- איך
- איך
- HTTPS
- בני אדם
- IAM
- לזהות
- תמונה
- אימג'נט
- שיפור
- כולל
- להגדיל
- מידע
- תשתית
- IT
- מקומות תעסוקה
- קוריאה
- תיוג
- תוויות
- עוֹפֶרֶת
- מוביל
- לִלמוֹד
- למד
- למידה
- לִטעוֹן
- למידת מכונה
- מדדים
- ML
- מודל
- דוגמנות
- מודולרי
- ניטור
- כלומר
- רשת
- עצביים
- רשת עצבית
- חדשות
- באינטרנט
- תפעול
- דעות
- אפשרות
- אחר
- ביצועים
- פלטפורמה
- פלטפורמות
- מדיניות
- דיוק
- המוצר
- הפקה
- מוצרים
- לִרְכּוֹשׁ
- פיתון
- איכות
- סיבות
- להפחית
- תוצאות
- סקירה
- חוות דעת של לקוחותינו
- הסיכון
- כללי
- הפעלה
- בעל חכמים
- Sdk
- חיפוש
- תחושה
- שירותים
- הגשה
- פָּשׁוּט
- So
- פתרונות
- לפתור
- דרום
- דרום קוריאה
- מתמחה
- חברות סטארט
- הברית
- להשאר
- אחסון
- חנות
- הוגש
- תומך
- בני נוער
- tensorflow
- מבחן
- זמן
- כלים
- תְנוּעָה
- הדרכה
- מגמות
- מִשׁפָּט
- ui
- עדכון
- us
- כֶּרֶך
- אינטרנט
- שירותי אינטרנט
- מי
- מילים
- תיק עבודות
- זרימת עבודה
- עובד