Γνωρίστε το SAM, το νέο εργαλείο τμηματοποίησης εικόνων AI της Meta που ασχολείται με σύνθετες εικόνες για εσάς

Αποκαλύφθηκε το νέο Segment Anything Model της Meta. Το μοντέλο SAM είναι ένας νέος τρόπος δημιουργίας μάσκες υψηλής ποιότητας για τμηματοποίηση εικόνας.

Υπενθύμιση: Η τμηματοποίηση εικόνας είναι μια θεμελιώδης εργασία στην όραση υπολογιστών που στοχεύει να χωρίσει μια εικόνα σε περιοχές που αντιστοιχούν σε διαφορετικά αντικείμενα ή σημασιολογικές κατηγορίες και έχει πολλές εφαρμογές, όπως ανίχνευση αντικειμένων, κατανόηση σκηνής, επεξεργασία εικόνας και ανάλυση βίντεο.

Ωστόσο, η τμηματοποίηση εικόνων είναι επίσης ένα δύσκολο πρόβλημα, ειδικά όταν αντιμετωπίζουμε περίπλοκες σκηνές που περιέχουν πολλά αντικείμενα με διαφορετικά σχήματα, μεγέθη και εμφανίσεις. Επιπλέον, οι περισσότερες υπάρχουσες μέθοδοι τμηματοποίησης εικόνων απαιτούν μεγάλες ποσότητες σχολιασμένων δεδομένων για εκπαίδευση, η λήψη των οποίων μπορεί να είναι δαπανηρή και χρονοβόρα. Η Meta θέλει να λύσει αυτό το ζήτημα με το μοντέλο SAM.

Μοντέλο SAM: Τι είναι το νέο Segment Anything Model της Meta;

Το Segment Anything Model (SAM) είναι ένα νέο και ισχυρό μοντέλο τεχνητής νοημοσύνης που μπορεί να τμηματοποιήσει οποιοδήποτε αντικείμενο σε μια εικόνα ή ένα βίντεο με υψηλή ποιότητα και αποτελεσματικότητα. Η τμηματοποίηση είναι η διαδικασία διαχωρισμού ενός αντικειμένου από το φόντο ή άλλων αντικειμένων και δημιουργίας μιας μάσκας που περιγράφει το σχήμα και τα όριά του. Με το μοντέλο SAM, οι εργασίες επεξεργασίας, σύνθεσης, παρακολούθησης, αναγνώρισης και ανάλυσης θα γίνουν ευκολότερες.

Το SAM διαφέρει από άλλα μοντέλα τμηματοποίησης με διάφορους τρόπους, όπως:

• Το SAM είναι promptable, πράγμα που σημαίνει ότι μπορεί να λάβει διάφορες προτροπές εισαγωγής, όπως σημεία ή πλαίσια, για να καθορίσει ποιο αντικείμενο θα τμηματοποιηθεί. Για παράδειγμα, μπορείτε να σχεδιάσετε ένα πλαίσιο γύρω από το πρόσωπο ενός ατόμου και το μοντέλο Segment Anything θα δημιουργήσει μια μάσκα για το πρόσωπο. Μπορείτε επίσης να δώσετε πολλές προτροπές για να τμηματοποιήσετε πολλά αντικείμενα ταυτόχρονα. Το μοντέλο SAM μπορεί να χειριστεί περίπλοκες σκηνές με αποφράξεις, αντανακλάσεις και σκιές.
• Το SAM εκπαιδεύεται σε ένα τεράστιο σύνολο δεδομένων 11 εκατομμυρίων εικόνων και 1.1 δισεκατομμυρίων μασκών, το οποίο είναι το μεγαλύτερο σύνολο δεδομένων τμηματοποίησης μέχρι σήμερα. Αυτό το σύνολο δεδομένων καλύπτει ένα ευρύ φάσμα αντικειμένων και κατηγοριών, όπως ζώα, φυτά, οχήματα, έπιπλα, τρόφιμα και άλλα. Το SAM μπορεί να τμηματοποιήσει αντικείμενα που δεν έχει ξαναδεί, χάρη στην ικανότητα γενίκευσης και την ποικιλομορφία δεδομένων.
• Το SAM έχει ισχυρή απόδοση μηδενικής λήψης σε μια ποικιλία εργασιών τμηματοποίησης. Το Zero-shot σημαίνει ότι η SAM μπορεί να τμηματοποιήσει αντικείμενα χωρίς πρόσθετη εκπαίδευση ή λεπτομέρεια σε μια συγκεκριμένη εργασία ή τομέα. Για παράδειγμα, η SAM μπορεί να τμηματοποιήσει πρόσωπα, χέρια, μαλλιά, ρούχα και αξεσουάρ χωρίς προηγούμενη γνώση ή επίβλεψη. Το SAM μπορεί επίσης να τμηματοποιήσει τα αντικείμενα με διαφορετικούς τρόπους, όπως υπέρυθρες εικόνες ή χάρτες βάθους.

Το μοντέλο SAM επιτυγχάνει εντυπωσιακά αποτελέσματα σε διάφορα σημεία αναφοράς τμηματοποίησης εικόνας, όπως το COCO. Το SAM έχει επίσης καλύτερη απόδοση ή ταιριάζει με προηγούμενες πλήρως εποπτευόμενες μεθόδους σε πολλές εργασίες τμηματοποίησης μηδενικής λήψης, όπως τμηματοποίηση λογότυπων, κειμένου, προσώπων ή σκίτσων. Επιδεικνύει την ευελιξία και την ευρωστία του σε διαφορετικούς τομείς και σενάρια.

Στο μέλλον: Το έργο Segment Anything Model (μοντέλο SAM) βρίσκεται ακόμα στις πρώτες μέρες του. Σύμφωνα με το Meta, αυτές είναι μερικές από τις μελλοντικές εφαρμογές του μοντέλου Segment Anything:

• Τα μελλοντικά γυαλιά AR μπορεί να χρησιμοποιούν το SAM για να αναγνωρίζουν κοινά αντικείμενα και να παρέχουν χρήσιμες υπενθυμίσεις και οδηγίες.

• Το SAM έχει τη δυνατότητα να επηρεάσει πολλούς άλλους τομείς, όπως η γεωργία και η βιολογία. Κάποτε, μπορεί να ωφελήσει ακόμη και αγρότες και επιστήμονες.

Το μοντέλο SAM μπορεί να είναι μια σημαντική ανακάλυψη στην έρευνα για την όραση υπολογιστών και την τεχνητή νοημοσύνη. Καταδεικνύει τις δυνατότητες των μοντέλων θεμελίωσης για την όραση, τα οποία είναι μοντέλα που μπορούν να μάθουν από δεδομένα μεγάλης κλίμακας και να μεταφερθούν σε νέες εργασίες και τομείς.

Χαρακτηριστικά Segment Anything Model (μοντέλο SAM).

Ακολουθούν ορισμένες από τις δυνατότητες του μοντέλου SAM:

• Χρησιμοποιώντας το μοντέλο SAM, οι χρήστες μπορούν γρήγορα και εύκολα να τμηματοποιήσουν αντικείμενα επιλέγοντας μεμονωμένα σημεία που θα συμπεριλάβουν ή θα παραλείψουν από την τμηματοποίηση. Ένα πλαίσιο ορίων μπορεί επίσης να χρησιμοποιηθεί ως υπόδειξη για το μοντέλο.
• Όταν υπάρχει αβεβαιότητα σχετικά με το αντικείμενο που τμηματοποιείται, το μοντέλο SAM μπορεί να παράγει πολλές έγκυρες μάσκες, μια κρίσιμη και κρίσιμη ικανότητα για την επίλυση τμηματοποίησης στον πραγματικό κόσμο.
• Η αυτόματη ανίχνευση και η κάλυψη αντικειμένων είναι πλέον απλές με το Segment Anything Model.
• Μετά τον προυπολογισμό της ενσωμάτωσης εικόνας, το μοντέλο Segment Anything μπορεί να παρέχει μια μάσκα τμηματοποίησης για οποιαδήποτε προτροπή αμέσως, επιτρέποντας την αλληλεπίδραση σε πραγματικό χρόνο με το μοντέλο.

Εντυπωσιακό, έτσι δεν είναι; Ποια είναι λοιπόν η τεχνολογία πίσω από αυτό;

Πώς λειτουργεί το μοντέλο SAM;

Μία από τις πιο ενδιαφέρουσες ανακαλύψεις στο NLP και, πιο πρόσφατα, στην όραση υπολογιστών είναι η χρήση προσεγγίσεων «προτροπής» για να ενεργοποιηθεί η εκμάθηση μηδενικής λήψης και λίγων λήψεων σε νέα σύνολα δεδομένων και εργασίες χρησιμοποιώντας μοντέλα θεμελίωσης. Ο Meta βρήκε κίνητρο σε αυτόν τον τομέα.

Εάν δοθούν σημεία προσκηνίου/παρασκηνίου, ένα πρόχειρο πλαίσιο ή μάσκα, κείμενο ελεύθερης μορφής ή οποιαδήποτε άλλη είσοδος που υποδεικνύει τι πρέπει να τμηματοποιηθεί σε μια εικόνα, η ομάδα Meta AI δίδαξε στο Segment Anything Model να δημιουργήσει μια σωστή μάσκα τμηματοποίησης. Η ανάγκη για σωστή μάσκα υπονοεί απλώς ότι η έξοδος πρέπει να είναι η κατάλληλη μάσκα για ένα από τα πράγματα στα οποία μπορεί να αναφέρεται η προτροπή (για παράδειγμα, ένα σημείο σε ένα πουκάμισο θα μπορούσε να αντιπροσωπεύει είτε το πουκάμισο είτε το άτομο που το φοράει). Αυτή η εργασία χρησιμοποιείται για την προεκπαίδευση μοντέλων και για την καθοδήγηση της επίλυσης γενικών προβλημάτων τμηματοποίησης κατάντη.

Ο Meta παρατήρησε ότι η εργασία προεκπαίδευσης και η διαδραστική συλλογή δεδομένων επέβαλαν ορισμένους περιορισμούς στην κατασκευή του μοντέλου. Ειδικότερα, οι σχολιαστές τους πρέπει να είναι σε θέση να χρησιμοποιούν το Segment Anything Model σε ένα πρόγραμμα περιήγησης, διαδραστικά, σε πραγματικό χρόνο, σε μια CPU για να είναι αποτελεσματικό. Παρά το γεγονός ότι πρέπει να υπάρχει κάποιος συμβιβασμός μεταξύ ποιότητας και ταχύτητας για να ικανοποιηθεί η απαίτηση χρόνου εκτέλεσης, ανακαλύπτουν ότι μια απλή προσέγγιση παράγει ικανοποιητικά αποτελέσματα.

Στο πίσω μέρος, ένας κωδικοποιητής εικόνας δημιουργεί μια μοναδική ενσωμάτωση για την εικόνα, ενώ ένας ελαφρύς κωδικοποιητής μπορεί να μετατρέψει αμέσως οποιοδήποτε ερώτημα σε διάνυσμα ενσωμάτωσης. Στη συνέχεια, χρησιμοποιείται ένας ελαφρύς αποκωδικοποιητής για τη συγχώνευση αυτών των δύο πηγών δεδομένων προκειμένου να προβλεφθούν μάσκες τμηματοποίησης. Αφού υπολογιστεί η ενσωμάτωση εικόνας, η SAM μπορεί να απαντήσει σε κάθε ερώτημα σε ένα πρόγραμμα περιήγησης ιστού με ένα τμήμα σε περίπου 50 ms.

Το SAM είναι ένα χρήσιμο εργαλείο για δημιουργικούς επαγγελματίες και λάτρεις που θέλουν να επεξεργάζονται εικόνες και βίντεο με ευκολία και ευελιξία. Αλλά πρώτα, πρέπει να μάθετε πώς να έχετε πρόσβαση και να το χρησιμοποιείτε.

Πώς να χρησιμοποιήσετε το Segment Anything Model (μοντέλο SAM);

Το SAM αναπτύχθηκε από την Meta AI Research (πρώην Facebook AI Research) και είναι δημόσια διαθέσιμο στο GitHub. Μπορείτε επίσης να δοκιμάσετε το SAM online με ένα διαδήλωση ή κατεβάστε το σύνολο δεδομένων (SA-1B) με 1 δισεκατομμύριο μάσκες και 11 εκατομμύρια εικόνες. Το μοντέλο είναι αρκετά εύκολο στη χρήση. απλά ακολουθήστε αυτά τα βήματα:

• Κάντε λήψη της επίδειξης ή μεταβείτε στην επίδειξη μοντέλου Segment Anything.
• Ανεβάστε μια εικόνα ή επιλέξτε μια στη συλλογή.
• Προσθήκη και θεματικές περιοχές
  • Καλύψτε τις περιοχές προσθέτοντας πόντους. Επιλέξτε Προσθήκη περιοχής και, στη συνέχεια, επιλέξτε το αντικείμενο. Περιορίστε τη μάσκα επιλέγοντας Αφαίρεση περιοχής και, στη συνέχεια, επιλέξτε την περιοχή.

Στη συνέχεια, ολοκληρώστε την εργασία σας όπως θέλετε!

Για περισσότερες πληροφορίες, κάντε κλικ εδώ.

---

Ευγένεια εικόνας: Meta

AI 101

Είστε νέος στο AI; Μπορείτε ακόμα να μπείτε στο τρένο AI! Έχουμε δημιουργήσει μια λεπτομερή Γλωσσάρι AI για τα πιο συχνά χρησιμοποιούμενα όρους τεχνητής νοημοσύνης και εξηγήστε το βασικά στοιχεία της τεχνητής νοημοσύνης καθώς και η κινδύνους και τα οφέλη της τεχνητής νοημοσύνης. Μη διστάσετε να τα χρησιμοποιήσετε. Μάθηση πώς να χρησιμοποιήσετε το AI αλλάζει το παιχνίδι! Μοντέλα AI θα αλλάξει τον κόσμο.

Εργαλεία AI που εξετάσαμε

Σχεδόν κάθε μέρα, ένα νέο εργαλείο, μοντέλο ή δυνατότητα εμφανίζεται και αλλάζει τη ζωή μας, όπως το νέο Προσθήκες OpenAI ChatGPT, και έχουμε ήδη αναθεωρήσει μερικά από τα καλύτερα:

• Εργαλεία τεχνητής νοημοσύνης από κείμενο σε κείμενο

Θέλεις να μάθεις πώς να χρησιμοποιήσετε αποτελεσματικά το ChatGPT; Έχουμε μερικές συμβουλές και κόλπα για εσάς χωρίς να μεταβείτε σε Chat GPT Plus! Όταν θέλετε να χρησιμοποιήσετε το εργαλείο AI, μπορείτε να λάβετε σφάλματα όπως "Το ChatGPT είναι σε ισχύ αυτή τη στιγμή" και  "πάρα πολλά αιτήματα σε 1 ώρα δοκιμάστε ξανά αργότερα". Ναι, είναι πραγματικά ενοχλητικά σφάλματα, αλλά μην ανησυχείτε. ξέρουμε πώς να τα διορθώσουμε. Είναι δωρεάν η λογοκλοπή ChatGPT; Είναι δύσκολο να βρεις μια απάντηση. Εάν φοβάστε τη λογοκλοπή, μη διστάσετε να χρησιμοποιήσετε Έλεγχοι λογοκλοπής AI. Επίσης, μπορείτε να ελέγξετε άλλα Chatbots AI και  Συγγραφείς δοκιμίων AI για καλύτερα αποτελέσματα.

• Εργαλεία τεχνητής νοημοσύνης κειμένου σε εικόνα

Ενώ υπάρχουν ακόμη μερικά συζητήσεις για εικόνες που δημιουργούνται από τεχνητή νοημοσύνη, ο κόσμος εξακολουθεί να ψάχνει το καλύτερες γεννήτριες τέχνης AI. Η τεχνητή νοημοσύνη θα αντικαταστήσει τους σχεδιαστές? Συνεχίστε να διαβάζετε και μάθετε.

• Άλλα εργαλεία AI

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• πηγή: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/