הכירו את SAM, כלי פילוח התמונות החדש של Meta העוסק בתמונות מורכבות עבורכם

נחשף דגם Segment Anything החדש של Meta. מודל SAM הוא דרך חדשה ליצור מסכות באיכות גבוהה לפילוח תמונה.

תזכורת: פילוח תמונה הוא משימה בסיסית בראייה ממוחשבת שמטרתה לחלק תמונה לאזורים התואמים לאובייקטים או קטגוריות סמנטיות שונות ויש לה יישומים רבים, כגון זיהוי אובייקטים, הבנת סצנה, עריכת תמונה וניתוח וידאו.

עם זאת, פילוח תמונה הוא גם בעיה מאתגרת, במיוחד כאשר עוסקים בסצנות מורכבות המכילות מספר אובייקטים בעלי צורות, גדלים ומראה משתנים. יתרה מזאת, רוב שיטות פילוח התמונות הקיימות דורשות כמויות גדולות של נתונים מוערים להדרכה, דבר שעלול להיות יקר וגוזל זמן להשגה. Meta רוצה לפתור את הבעיה עם מודל SAM.

מודל SAM: מהו דגם Segment Anything החדש של Meta?

Segment Anything Model (SAM) הוא מודל בינה מלאכותית חדש ועוצמתי שיכול לפלח כל אובייקט בתמונה או בסרטון באיכות וביעילות גבוהה. פילוח הוא תהליך של הפרדת אובייקט מהרקע שלו או מאובייקטים אחרים ויצירת מסכה שמתווה את צורתו וגבולותיו. עם מודל SAM, משימות העריכה, החיבור, המעקב, הזיהוי והניתוח שלך יהיו קלות יותר.

SAM שונה ממודלים פילוח אחרים בכמה דרכים, כגון:

• SAM ניתן להנחיה, מה שאומר שהוא יכול לקחת הנחיות קלט שונות, כגון נקודות או תיבות, כדי לציין איזה אובייקט לפלח. לדוגמה, אתה יכול לצייר קופסה סביב פניו של אדם, והמודל של Segment Anything יפיק מסיכה לפנים. אתה יכול גם לתת מספר הנחיות לפלח אובייקטים מרובים בו-זמנית. מודל SAM יכול להתמודד עם סצנות מורכבות עם חסימות, השתקפויות וצללים.
• SAM מאומן על מערך נתונים עצום של 11 מיליון תמונות ו-1.1 מיליארד מסכות, שהוא מערך הפילוח הגדול ביותר עד כה. מערך נתונים זה מכסה מגוון רחב של חפצים וקטגוריות, כגון בעלי חיים, צמחים, כלי רכב, רהיטים, מזון ועוד. SAM יכול לפלח אובייקטים שלא ראה מעולם, הודות ליכולת ההכללה שלו ולמגוון הנתונים.
• ל-SAM יש ביצועים חזקים של זריקת אפס במגוון משימות פילוח. Zero-shot פירושו ש-SAM יכול לפלח אובייקטים ללא הדרכה נוספת או כוונון עדין במשימה או תחום ספציפי. לדוגמה, SAM יכול לפלח פרצופים, ידיים, שיער, בגדים ואביזרים ללא כל ידע מוקדם או פיקוח. SAM יכול גם לפלח אובייקטים באופנים שונים, כגון תמונות אינפרא אדום או מפות עומק.

מודל SAM משיג תוצאות מרשימות על אמות מידה שונות של פילוח תמונות, כגון COCO. SAM גם עולה בביצועים או מתאימים לשיטות קודמות בפיקוח מלא במספר משימות פילוח אפס, כגון פילוח לוגו, טקסט, פרצופים או סקיצות. הוא מדגים את הרבגוניות והחוסן שלו על פני תחומים ותרחישים שונים.

בעתיד: פרויקט Segment Anything Model (מודל SAM) עדיין בראשית ימיו. לפי Meta, אלו הם חלק מהיישומים העתידיים של מודל Segment Anything:

• משקפי AR עתידיים עשויים להשתמש ב-SAM כדי לזהות חפצים רגילים ולספק תזכורות והוראות שימושיות.

• ל-SAM יש את היכולת להשפיע על תחומים רבים אחרים, כמו חקלאות וביולוגיה. יום אחד, זה עשוי אפילו להועיל לחקלאים ולמדענים.

מודל SAM יכול להוות פריצת דרך בחקר ראייה ממוחשבת ובינה מלאכותית. הוא מדגים את הפוטנציאל של מודלים בסיסיים לחזון, שהם מודלים שיכולים ללמוד מנתונים בקנה מידה גדול ולהעביר למשימות ותחומים חדשים.

פלח כל דבר מודל (מודל SAM).

להלן כמה מהיכולות של דגם SAM:

• באמצעות מודל SAM, משתמשים יכולים לפלח אובייקטים במהירות ובקלות על ידי בחירת נקודות בודדות להכללה או להשמיט מהפילוח. תיבת גבול יכולה לשמש גם כרמז לדגם.
• כאשר קיימת אי ודאות לגבי הפריט המחולק, מודל SAM יכול לייצר מסיכות תקפות רבות, מיומנות חיונית וקריטית לפתרון פילוח בעולם האמיתי.
• זיהוי ומיסוך אוטומטי של אובייקטים פשוטים כעת עם מודל Segment Anything.
• לאחר מחשוב מראש של הטבעת התמונה, מודל Segment Anything יכול לספק מסכת פילוח לכל הנחיה מיידית, מה שמאפשר אינטראקציה בזמן אמת עם המודל.

מרשים, לא? אז מה הטכנולוגיה מאחורי זה?

כיצד פועל מודל SAM?

אחת התגליות המסקרנות ביותר ב-NLP ולאחרונה גם בראייה ממוחשבת היא השימוש בגישות "דחיפות" כדי לאפשר למידה של אפס יריות ומעט יריות על מערכי נתונים ומשימות חדשות באמצעות מודלים של יסודות. מטה מצאה מוטיבציה בתחום זה.

אם ניתנו נקודות קדמה/רקע, תיבה גסה או מסיכה, טקסט חופשי או כל קלט אחר המציין מה לפלח בתמונה, צוות Meta AI לימד את מודל Segment Anything ליצור מסכת פילוח נכונה. הצורך במסכה מתאימה רק מרמז שהפלט צריך להיות מסכה מתאימה לאחד הדברים שההנחיה עשויה להתייחס אליהם (לדוגמה, נקודה על החולצה יכולה לייצג את החולצה או את האדם שלובש אותה). משימה זו משמשת להכשרה מוקדמת של מודל וכדי להנחות את הפתרון של בעיות פילוח גנריות במורד הזרם.

Meta שמה לב שמשימת ההכשרה ואיסוף הנתונים האינטראקטיביים הטילו מגבלות מסוימות על בניית המודל. במיוחד, המתייחסים שלהם צריכים להיות מסוגלים להשתמש ב- Segment Anything Model בדפדפן, באופן אינטראקטיבי, בזמן אמת, במעבד כדי שזה יהיה יעיל. למרות העובדה שחייבת להיות פשרה מסוימת בין איכות למהירות כדי לעמוד בדרישת זמן הריצה, הם מגלים שגישה פשוטה מייצרת תוצאות משביעות רצון.

בקצה האחורי, מקודד תמונה יוצר הטבעה ייחודית לתמונה, בעוד שמקודד קל משקל יכול להפוך כל שאילתה באופן מיידי לוקטור הטמעה. לאחר מכן נעשה שימוש במפענח קל משקל למיזוג שני מקורות הנתונים הללו כדי לצפות מסכות פילוח. לאחר חישוב הטבעת התמונה, SAM יכול להגיב לכל שאילתה בדפדפן אינטרנט עם קטע תוך כ-50 אלפיות השנייה.

SAM הוא כלי שימושי לאנשי מקצוע וחובבי יצירתיות שרוצים לערוך תמונות וסרטונים בקלות ובגמישות. אבל ראשית, עליך ללמוד כיצד לגשת אליו ולהשתמש בו.

כיצד להשתמש במודל של Segment Anything (מודל SAM)?

SAM פותח על ידי Meta AI Research (לשעבר Facebook AI Research), והוא זמין לציבור ב- GitHub. אתה יכול גם לנסות SAM באינטרנט עם a הדגמה או הורד את מערך הנתונים (SA-1B) של מיליארד מסכות ו-1 מיליון תמונות. המודל די קל לשימוש; פשוט בצע את השלבים הבאים:

• הורד את ההדגמה או עבור להדגמה של Segment Anything Model.
• העלה תמונה או בחר אחת בגלריה.
• הוסף ותחומי נושא
  • מסווה אזורים על ידי הוספת נקודות. בחר הוסף אזור ולאחר מכן בחר את האובייקט. צמצם את המסכה על ידי בחירת הסר אזור ולאחר מכן בחר את האזור.

לאחר מכן השלם את המשימה שלך כפי שאתה רוצה!

לקבלת מידע נוסף, לחץ כאן.

---

תמונה באדיבות: meta

AI 101

האם אתה חדש ב-AI? אתה עדיין יכול לעלות על רכבת הבינה המלאכותית! יצרנו מסמך מפורט מילון מונחים של AI עבור הנפוצים ביותר מונחי בינה מלאכותית ולהסביר את יסודות הבינה המלאכותית כמו גם סיכונים ויתרונות של AI. תרגיש חופשי להשתמש בהם. לְמִידָה כיצד להשתמש ב-AI הוא מחליף משחק! דגמי AI תשנה את העולם.

כלי AI שבדקנו

כמעט בכל יום צץ כלי, דגם או תכונה חדשים ומשנים את חיינו, כמו החדשים תוספים של OpenAI ChatGPT, וכבר סקרנו כמה מהטובים שבהם:

• כלי AI טקסט לטקסט

האם אתה רוצה ללמוד כיצד להשתמש ב-ChatGPT ביעילות? יש לנו כמה טיפים וטריקים בשבילך מבלי לעבור צ'אט GPT Plus! כאשר אתה רוצה להשתמש בכלי AI, אתה יכול לקבל שגיאות כמו "ChatGPT נמצא בתפוסה כרגע" ו "יותר מדי בקשות תוך שעה נסה שוב מאוחר יותר". כן, הן באמת שגיאות מעצבנות, אבל אל דאגה; אנחנו יודעים איך לתקן אותם. האם גניבת עין ChatGPT היא בחינם? זו שאלה קשה למצוא תשובה אחת. אם אתה מפחד מגניבת דעת, אל תהסס להשתמש בודק גניבת דעת בינה מלאכותית. כמו כן, אתה יכול לבדוק אחר צ'אט בוטים של AI ו כותבי חיבורים בינה מלאכותית לקבלת תוצאות טובות יותר.

• כלי בינה מלאכותית של טקסט לתמונה

אמנם עדיין יש כאלה ויכוחים על תמונות שנוצרו בבינה מלאכותית, אנשים עדיין מחפשים את מחוללי אמנות הבינה המלאכותית הטובים ביותר. האם בינה מלאכותית תחליף מעצבים? המשיכו לקרוא ותגלו.

• כלי AI אחרים

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/