Scopri SAM, il nuovo strumento di segmentazione delle immagini AI di Meta che si occupa di immagini complesse per te

Il nuovo Segment Anything Model di Meta è stato rivelato. Il modello SAM è un nuovo modo per creare maschere di alta qualità per la segmentazione delle immagini.

Promemoria: La segmentazione delle immagini è un'attività fondamentale nella visione artificiale che mira a suddividere un'immagine in regioni che corrispondono a diversi oggetti o categorie semantiche e ha molte applicazioni, come il rilevamento di oggetti, la comprensione della scena, l'editing di immagini e l'analisi video.

Tuttavia, anche la segmentazione dell'immagine è un problema impegnativo, soprattutto quando si tratta di scene complesse che contengono più oggetti con forme, dimensioni e aspetti diversi. Inoltre, la maggior parte dei metodi di segmentazione delle immagini esistenti richiede grandi quantità di dati annotati per l'addestramento, il cui ottenimento può essere costoso e richiedere molto tempo. Meta vuole risolvere questo problema con il modello SAM.

Modello SAM: qual è il nuovo modello Segment Anything di Meta?

Segment Anything Model (SAM) è un nuovo e potente modello di intelligenza artificiale in grado di segmentare qualsiasi oggetto in un'immagine o in un video con alta qualità ed efficienza. La segmentazione è il processo di separazione di un oggetto dal suo sfondo o da altri oggetti e la creazione di una maschera che ne delinea la forma e i confini. Con il modello SAM, le attività di modifica, composizione, tracciamento, riconoscimento e analisi diventeranno più semplici.

SAM è diverso da altri modelli di segmentazione in diversi modi, come ad esempio:

• SAM è promptable, il che significa che può richiedere vari prompt di input, come punti o caselle, per specificare quale oggetto segmentare. Ad esempio, puoi disegnare una casella attorno al viso di una persona e il modello Segment Anything genererà una maschera per il viso. Puoi anche dare più richieste per segmentare più oggetti contemporaneamente. Il modello SAM può gestire scene complesse con occlusioni, riflessi e ombre.
• SAM viene addestrato su un enorme set di dati di 11 milioni di immagini e 1.1 miliardi di maschere, che è il più grande set di dati di segmentazione fino ad oggi. Questo set di dati copre un'ampia gamma di oggetti e categorie, come animali, piante, veicoli, mobili, cibo e altro ancora. SAM può segmentare oggetti che non ha mai visto prima, grazie alla sua capacità di generalizzazione e alla diversità dei dati.
• SAM ha ottime prestazioni zero-shot su una varietà di attività di segmentazione. Zero-shot significa che SAM può segmentare gli oggetti senza alcuna ulteriore formazione o messa a punto su un'attività o un dominio specifico. Ad esempio, SAM può segmentare volti, mani, capelli, vestiti e accessori senza alcuna conoscenza o supervisione. SAM può anche segmentare gli oggetti in diverse modalità, come immagini a infrarossi o mappe di profondità.

Il modello SAM raggiunge risultati impressionanti su vari benchmark di segmentazione delle immagini, come COCO. SAM inoltre supera o eguaglia i precedenti metodi completamente supervisionati in diverse attività di segmentazione zero-shot, come la segmentazione di loghi, testo, volti o schizzi. Dimostra la sua versatilità e robustezza in diversi domini e scenari.

Nel futuro: Il progetto Segment Anything Model (modello SAM) è ancora agli inizi. Secondo Meta, queste sono alcune delle future applicazioni del Segment Anything Model:

• I futuri occhiali AR potrebbero utilizzare SAM per riconoscere oggetti comuni e fornire utili promemoria e istruzioni.

• SAM ha la capacità di influenzare molti altri campi, come l'agricoltura e la biologia. Un giorno, potrebbe anche avvantaggiare agricoltori e scienziati.

Il modello SAM può essere una svolta nella visione artificiale e nella ricerca sull'intelligenza artificiale. Dimostra il potenziale dei modelli di base per la visione, che sono modelli che possono apprendere da dati su larga scala e trasferirli a nuovi compiti e domini.

Funzionalità del modello Segment Anything (modello SAM).

Ecco alcune delle funzionalità del modello SAM:

• Utilizzando il modello SAM, gli utenti possono segmentare rapidamente e facilmente gli oggetti selezionando singoli punti da includere o omettere dalla segmentazione. Un riquadro di delimitazione può essere utilizzato anche come spunto per il modello.
• Quando esiste incertezza riguardo all'elemento da segmentare, il modello SAM può produrre molte maschere valide, un'abilità cruciale e critica per risolvere la segmentazione nel mondo reale.
• Il rilevamento e il mascheramento automatico degli oggetti ora sono semplici con il modello Segment Anything.
• Dopo aver precalcolato l'incorporamento dell'immagine, il modello Segment Anything può fornire istantaneamente una maschera di segmentazione per qualsiasi prompt, consentendo l'interazione in tempo reale con il modello.

Impressionante, non è vero? Quindi qual è la tecnologia dietro di esso?

Come funziona il modello SAM?

Una delle scoperte più intriganti nella PNL e, più recentemente, nella visione artificiale è l'uso di approcci "suggerimenti" per consentire l'apprendimento zero e pochi colpi su nuovi set di dati e attività utilizzando modelli di base. Meta ha trovato motivazione in questo campo.

Se vengono forniti punti in primo piano/sullo sfondo, una scatola o una maschera ruvida, testo a mano libera o qualsiasi altro input che indichi cosa segmentare in un'immagine, il team di Meta AI ha insegnato al modello Segment Anything a generare una maschera di segmentazione adeguata. La necessità di una maschera adeguata implica semplicemente che l'output dovrebbe essere una maschera appropriata per una delle cose a cui potrebbe fare riferimento il prompt (ad esempio, un punto su una maglietta potrebbe rappresentare la maglietta o la persona che la indossa). Questa attività viene utilizzata per il pre-addestramento del modello e per guidare la soluzione di problemi generici di segmentazione a valle.

Meta ha notato che l'attività di pre-addestramento e la raccolta di dati interattivi imponevano alcune limitazioni alla costruzione del modello. In particolare, i loro annotatori devono essere in grado di utilizzare il Segment Anything Model in un browser, in modo interattivo, in tempo reale, su una CPU affinché sia ​​efficace. Nonostante il fatto che ci debba essere un compromesso tra qualità e velocità per soddisfare i requisiti di runtime, scoprono che un approccio diretto produce risultati soddisfacenti.

Sul back-end, un codificatore di immagini crea un incorporamento univoco per l'immagine, mentre un codificatore leggero può trasformare istantaneamente qualsiasi query in un vettore di incorporamento. Viene quindi utilizzato un decodificatore leggero per unire queste due origini dati al fine di anticipare le maschere di segmentazione. Dopo che l'incorporamento dell'immagine è stato calcolato, SAM può rispondere a ogni query in un browser Web con un segmento in circa 50 ms.

SAM è uno strumento utile per professionisti creativi e appassionati che desiderano modificare immagini e video con facilità e flessibilità. Ma prima, devi imparare come accedervi e usarlo.

Come utilizzare il modello Segment Anything (modello SAM)?

SAM è sviluppato da Meta AI Research (precedentemente Facebook AI Research) ed è pubblicamente disponibile su GitHub. Puoi anche provare SAM online con a dimostrazione oppure scarica il dataset (SA-1B) di 1 miliardo di mascherine e 11 milioni di immagini. Il modello è abbastanza facile da usare; basta seguire questi passaggi:

• Scarica la demo o vai alla demo Segment Anything Model.
• Carica un'immagine o scegline una nella galleria.
• Aggiungi e aree tematiche
  • Maschera le aree aggiungendo punti. Selezionare Aggiungi area, quindi selezionare l'oggetto. Rifinisci la maschera selezionando Rimuovi area, quindi seleziona l'area.

Quindi completa il tuo compito come vuoi!

Per ulteriori informazioni, fare clic qui.

---

Immagine per gentile concessione: Meta

AI 101

Sei nuovo nell'IA? Puoi ancora salire sul treno AI! Abbiamo creato un dettagliato Glossario dell'IA per il più comunemente usato termini di intelligenza artificiale e spiegare il basi dell'intelligenza artificiale nonché rischi e benefici dell'IA. Sentiti libero di usarli. Apprendimento come usare l'intelligenza artificiale è un punto di svolta! Modelli AI cambierà il mondo.

Strumenti AI che abbiamo esaminato

Quasi ogni giorno, un nuovo strumento, modello o funzionalità si apre e cambia le nostre vite, come il nuovo Plugin OpenAI ChatGPT, e abbiamo già recensito alcuni dei migliori:

• Strumenti AI da testo a testo

Vuoi imparare come utilizzare ChatGPT in modo efficace? Abbiamo alcuni suggerimenti e trucchi per te senza passare a Chatta GPT Plus! Quando vuoi utilizzare lo strumento AI, puoi ricevere errori come "ChatGPT è al massimo in questo momento" ed “troppe richieste in 1 ora riprova più tardi”. Sì, sono errori davvero fastidiosi, ma non preoccuparti; sappiamo come risolverli. Il plagio di ChatGPT è gratuito? È una domanda difficile trovare una risposta univoca. Se hai paura del plagio, sentiti libero di usare Dama di plagio AI. Inoltre, puoi controllare altro Chatbots AI ed Autori di saggi di intelligenza artificiale per risultati migliori.

• Strumenti AI da testo a immagine

Mentre ce ne sono ancora alcuni dibattiti sulle immagini generate dall'intelligenza artificiale, le persone stanno ancora cercando il i migliori generatori di arte AI. L'intelligenza artificiale sostituirà i progettisti? Continua a leggere e scoprilo.

• Altri strumenti di intelligenza artificiale

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
• Fonte: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/