מעקב אחר מיקום כדור בענן עם PGA TOUR | שירותי האינטרנט של אמזון

PGA TOUR ממשיך לשפר את חווית הגולף עם נתונים בזמן אמת שמקרבים את האוהדים למשחק. כדי לספק חוויות עשירות עוד יותר, הם ממשיכים בפיתוח של מערכת מעקב אחר עמדות כדור מהדור הבא שעוקבת אוטומטית אחר מיקומו של הכדור על המגרש.

ה-TOUR משתמש כעת ב-ShotLink המופעל על ידי CDW, מערכת ניקוד מובילה המשתמשת במערכת מצלמות מורכבת עם מחשוב באתר, כדי לעקוב מקרוב אחר מיקום ההתחלה והסיום של כל צילום. ה-TOUR רצה לחקור טכניקות של ראייה ממוחשבת ולמידת מכונה (ML) כדי לפתח צינור מבוסס ענן מהדור הבא לאיתור כדורי גולף על משטח הפוטינג.

מרכז החדשנות של Amazon Generative AI (GAIIC) הדגים את היעילות של טכניקות אלו במערך נתונים לדוגמה מאירוע PGA TOUR שנערך לאחרונה. ה-GAIIC עיצב צינור מודולרי המדורג סדרה של רשתות עצביות קונבולוציוניות עמוקות הממקמת בהצלחה שחקנים בתוך שדה הראייה של המצלמה, קובעת איזה שחקן שם ועוקבת אחר הכדור כשהוא נע לכיוון הגביע.

בפוסט זה, אנו מתארים את הפיתוח של צינור זה, את הנתונים הגולמיים, את התכנון של הרשתות העצביות הקונבולוציוניות המרכיבות את הצינור, והערכה של הביצועים שלו.

נתונים

ה-TOUR סיפק 3 ימים של וידאו רציף מטורניר אחרון משלוש מצלמות 4K הממוקמות מסביב לגרין על חור אחד. האיור הבא מציג מסגרת ממצלמה אחת חתוכה והוגדלה כך שהצבת הנגן נראית בקלות. שימו לב שלמרות הרזולוציה הגבוהה של המצלמות, בגלל המרחק מהירוק, הכדור נראה קטן (בדרך כלל 3×3, 4×4 או 5×5 פיקסלים), וקשה לאתר במדויק מטרות בגודל זה.

בנוסף לעדכוני המצלמה, ה-TOUR סיפק ל-GAIIC נתוני ניקוד מוערים על כל צילום, כולל מיקום העולם של עמדת המנוחה שלו וחותמת הזמן. זה איפשר הדמיה של כל מכה על הגרין, כמו גם את היכולת לצייר את כל קטעי הווידאו של שחקנים שמכניסים אותם, שניתן לתייג אותם באופן ידני ולהשתמש בהם כדי להכשיר מודלים לזיהוי המרכיבים את הצינור. האיור הבא מציג את שלוש תצוגות המצלמה עם שכבות-על משוערות של נתיב הפוט, נגד כיוון השעון משמאל למעלה. הסיכה מועברת בכל יום, כאשר יום 1 מתאים לכחול, יום 2 לאדום ויום 3 לכתום.

סקירת צנרת

המערכת הכוללת מורכבת הן מצינור אימון והן מצינור מסקנות. התרשים הבא ממחיש את הארכיטקטורה של צינור ההדרכה. נקודת ההתחלה היא הטמעת נתוני וידאו, ממודול סטרימינג כמו אמזון קינסי עבור וידאו חי או מיקום ישירות לתוך שירות אחסון פשוט של אמזון (Amazon S3) לסרטון היסטורי. צנרת ההדרכה דורשת עיבוד מקדים של וידאו ותיוג ידני של תמונות עם האמת של אמזון SageMaker. ניתן לאמן דוגמניות איתם אמזון SageMaker והחפצים שלהם המאוחסנים עם Amazon S3.

צינור ההסקה, המוצג בתרשים הבא, מורכב ממספר מודולים המחלצים ברציפות מידע מהסרטון הגולמי ובסופו של דבר מנבאים את קואורדינטות העולם של הכדור במנוחה. בתחילה, הירוק נחתך משדה הראייה הגדול יותר מכל מצלמה, על מנת לצמצם את אזור הפיקסלים בו על הדוגמניות לחפש שחקנים וכדורים. לאחר מכן, נעשה שימוש ברשת עצבית קונבולוציונית עמוקה (CNN) כדי למצוא את מיקומם של אנשים בשדה הראייה. CNN אחר משמש כדי לחזות איזה סוג של אדם נמצא כדי לקבוע אם מישהו עומד להטות. לאחר שפוטר סביר התמקם בשדה הראייה, אותה רשת משמשת לניבוי מיקומו של הכדור ליד הפוטר. CNN שלישי עוקב אחר הכדור במהלך תנועתו, ולבסוף, מופעלת פונקציית טרנספורמציה ממיקום פיקסל המצלמה לקואורדינטות GPS.

זיהוי נגן

למרות שניתן יהיה להפעיל CNN לזיהוי כדור על פני פריים שלם של 4K במרווח מוגדר, בהתחשב בגודל הזוויתי של הכדור במרחקי המצלמה הללו, כל עצם לבן קטן מפעיל זיהוי, וכתוצאה מכך אזעקות שווא רבות. כדי להימנע מחיפוש הכדור בכל מסגרת התמונה, אפשר לנצל את המתאמים בין תנוחת השחקן למיקום הכדור. כדור שעומד להדביק חייב להיות ליד שחקן, ולכן מציאת השחקנים בשדה הראייה יגביל מאוד את אזור הפיקסלים בו על הגלאי לחפש את הכדור.

הצלחנו להשתמש ב-CNN שהוכשר מראש כדי לחזות תיבות תוחמות סביב כל האנשים בסצנה, כפי שמוצג באיור הבא. למרבה הצער, לעתים קרובות יש יותר מכדור אחד בגרין, ולכן נדרש היגיון נוסף מעבר למציאת כל האנשים וחיפוש אחר כדור. זה מצריך CNN אחר כדי למצוא את השחקן ששם כרגע.

סיווג שחקנים וזיהוי כדור

כדי לצמצם עוד יותר היכן יכול להיות הכדור, כיוונו עדין CNN לזיהוי אובייקטים (YOLO v7) מאומן מראש כדי לסווג את כל האנשים בגרין. מרכיב חשוב בתהליך זה היה תיוג ידני של סט תמונות באמצעות SageMaker Ground Truth. התוויות אפשרו ל-CNN לסווג את הנגן ברמת דיוק גבוהה. בתהליך התיוג, הכדור היה גם מתואר יחד עם הפוטינג של השחקן, כך ש-CNN זה היה מסוגל לבצע גם זיהוי כדור, לצייר תיבת תוחמת ראשונית סביב הכדור לפני חבטה ולהזין את מידע המיקום לתוך הכדור במורד הזרם העוקב אחר CNN .

אנו משתמשים בארבע תוויות שונות כדי להוסיף הערות לאובייקטים בתמונות:

• הצבת שחקן – השחקן מחזיק מועדון ובתנוחת הצביעה
• שחקן לא לשים - השחקן לא בעמדת הצביעה (ייתכן שגם מחזיק מועדון)
• אדם אחר - כל אדם אחר שאינו שחקן
• כדור גולף – כדור הגולף

האיור הבא מראה ש-CNN כוונן עדין באמצעות תוויות של SageMaker Ground Truth כדי לסווג כל אדם בשדה הראייה. זה קשה בגלל המגוון הרחב של הופעות חזותיות של שחקנים, שחקנים ואוהדים. לאחר ששחקן סווג כ-putting, CNN מכוון עדין לזיהוי כדור הוחל על האזור הקטן שמסביב לשחקן זה.

מעקב אחר נתיב כדור

CNN שלישי, ארכיטקטורת ResNet שהוכשרה מראש למעקב אחר תנועה, שימשה למעקב אחר הכדור לאחר הנחתו. מעקב אחר תנועה הוא בעיה שנחקרה ביסודיות, כך שהרשת הזו תפקדה היטב כשהיא שולבה בצינור ללא כוונון עדין נוסף.

פלט צינור

מפל ה-CNN מציב תיבות תוחמות סביב אנשים, מסווג אנשים על הירוקים, מזהה את מיקום הכדור הראשוני ועוקב אחר הכדור ברגע שהוא מתחיל לנוע. האיור הבא מציג את פלט הווידאו המסומן של הצינור. מיקומי הפיקסלים של הכדור בזמן שהוא נע מתועדים ומתועדים. שימו לב שעוקבים אחר אנשים על הירוק ומתארים באמצעות תיבות תוחמות; הלחצן בתחתית מסומן כהלכה כ"הצבת שחקן", והכדור הנע נמצא במעקב ומתווה על ידי תיבה כחולה קטנה.

ביצוע

כדי להעריך את הביצועים של רכיבי הצינור, יש צורך בנתונים מסומנים. למרות שסיפקנו לנו את מיקום הכדור של אמת הכדור, לא היו לנו נקודות ביניים לאמת הקרקע, כמו מיקום הפיקסלים הסופי של הכדור או מיקום הפיקסלים של השחקן. עם עבודת התיוג שביצענו, פיתחנו נתוני אמת לתפוקות הביניים הללו של הצינור המאפשרים לנו למדוד ביצועים.

סיווג שחקנים ודיוק זיהוי כדור

לזיהוי של הנחת השחקן ומיקום הכדור הראשוני, סימנו מערך נתונים וכיוונו עדין מודל YOLO v7 CNN כפי שתואר קודם לכן. המודל סיווג את הפלט ממודול זיהוי האדם הקודם לארבעה מחלקות: שחקן פוט, שחקן לא פוט, אנשים אחרים וכדור הגולף, כפי שמוצג באיור הבא.

הביצועים של מודול זה מוערכים באמצעות מטריצת בלבול, המוצגת באיור הבא. הערכים בתיבות האלכסוניות מראים באיזו תדירות המחלקה החזויה תאמה את המחלקה האמיתית מתוך תוויות האמת. למודל יש 89% ריקול או יותר עבור כל כיתה, ו-79% ריקול עבור כדורי גולף (מה שצפוי כי המודל מאומן מראש על דוגמאות עם אנשים אך לא על דוגמאות עם כדורי גולף; ניתן לשפר זאת עם כדורי גולף מסומנים יותר בערכת האימונים).

השלב הבא הוא להפעיל את עוקב הכדורים. מכיוון שתפוקת זיהוי הכדור היא הסתברות ביטחון, אפשר גם להגדיר את הסף ל"כדור שזוהה" ולראות כיצד זה משנה את התוצאות, המסוכמות באיור הבא. יש פשרה בשיטה זו מכיוון שלסף גבוה יותר יהיו בהכרח פחות אזעקות שווא אבל גם יחמיץ כמה מהדוגמאות הפחות בטוחות של כדורים. בדקנו ערכי סף של 20% ו-50% ביטחון, ומצאנו זיהוי כדור ב-78% ו-61%, בהתאמה. לפי מדד זה, רף 20% עדיף. ההחלפה ניכרת בכך שלגבי סף האמון של 20%, 80% מסך הגילויים היו למעשה כדורים (20% חיובי שגוי), ואילו עבור סף הביטחון של 50%, 90% היו כדורים (10% חיובי שגוי). עבור פחות תוצאות חיוביות שגויות, סף הביטחון של 50% עדיף. ניתן לשפר את שני המדדים הללו עם נתונים מתויגים יותר עבור מערך אימונים גדול יותר.

תפוקת צינור הזיהוי היא בסדר גודל של 10 פריימים לשנייה, כך שבצורתו הנוכחית, מופע בודד אינו מהיר מספיק כדי להפעיל אותו ברציפות על הקלט ב-50 פריימים לשנייה. השגת הסימן של 7 שניות לתפוקה לאחר שלבי הכדור תדרוש אופטימיזציה נוספת עבור חביון, אולי על ידי הפעלת גרסאות מרובות של הצינור במקביל ודחיסת דגמי CNN באמצעות קוונטיזציה (לדוגמה).

דיוק מעקב אחר נתיב כדור

דגם ה-CNN שהוכשר מראש מ-MMTracking עובד היטב, אבל יש מקרי כישלון מעניינים. האיור הבא מציג מקרה שבו הגשש מתחיל על הכדור, מרחיב את תיבת התוחלת שלו כך שתכלול גם את ראש ההדחה וגם את הכדור, ולאחר מכן, למרבה הצער, עוקב אחר ראש ההדחה ושוכח את הכדור. במקרה זה, ראש הפוטר נראה לבן (ייתכן בגלל השתקפות אספקלריה), כך שהבלבול מובן; נתונים מסומנים למעקב וכיוונון עדין של המעקב CNN יכולים לעזור לשפר זאת בעתיד.

סיכום

בפוסט זה, דנו בפיתוח של צינור מודולרי שממקם שחקנים בתוך שדה הראייה של המצלמה, קובע איזה שחקן שם ועוקב אחר הכדור כשהוא נע לכיוון הגביע.

למידע נוסף על שיתוף הפעולה של AWS עם PGA TOUR, עיין ב PGA TOUR משתתף ב-AWS כדי לדמיין מחדש את חווית המעריצים.

---

על הכותבים

ג'יימס גולדן הוא מדען יישומי ב- Amazon Bedrock עם רקע בלמידת מכונה ומדעי המוח.

הנרי וואנג הוא מדען יישומי ב-Amazon Generative AI Innovation Center, שם הוא חוקר ובונה פתרונות AI גנרטיביים עבור לקוחות AWS. הוא מתמקד בתעשיות ספורט ומדיה ובידור, ועבד עם ליגות ספורט שונות, קבוצות וגופי שידור בעבר. בזמנו הפנוי הוא אוהב לשחק טניס וגולף.

טריאמבאק גנגופאדיאי הוא מדען יישומי במרכז החדשנות של AWS Generative AI, שם הוא משתף פעולה עם ארגונים במגוון רחב של תעשיות. תפקידו כרוך בביצוע מחקר ופיתוח פתרונות בינה מלאכותית כדי להתמודד עם אתגרים עסקיים חיוניים ולהאיץ את אימוץ הבינה המלאכותית.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/ball-position-tracking-in-the-cloud-with-the-pga-tour/