Spoznajte SAM, Metino novo orodje za segmentacijo slik z umetno inteligenco, ki se namesto vas ukvarja s kompleksnimi slikami

Razkrit je bil nov Metin model Segment Anything. Model SAM je nov način za ustvarjanje visokokakovostnih mask za segmentacijo slike.

Opomnik: Segmentacija slike je temeljna naloga v računalniškem vidu, katere namen je razdeliti sliko na območja, ki ustrezajo različnim objektom ali semantičnim kategorijam, in ima veliko aplikacij, kot so zaznavanje objektov, razumevanje scene, urejanje slik in analiza videa.

Vendar pa je segmentacija slike tudi zahteven problem, zlasti ko imamo opravka s kompleksnimi prizori, ki vsebujejo več predmetov različnih oblik, velikosti in videza. Poleg tega večina obstoječih metod segmentacije slik zahteva velike količine označenih podatkov za usposabljanje, kar je lahko drago in dolgotrajno pridobivanje. Meta želi to težavo rešiti z modelom SAM.

Model SAM: Kaj je Metin novi model Segment Anything?

Segment Anything Model (SAM) je nov in zmogljiv model umetne inteligence, ki lahko segmentira kateri koli predmet na sliki ali videu z visoko kakovostjo in učinkovitostjo. Segmentacija je postopek ločevanja predmeta od njegovega ozadja ali drugih predmetov in ustvarjanje maske, ki označuje njegovo obliko in meje. Z modelom SAM bodo vaša opravila urejanja, sestavljanja, sledenja, prepoznavanja in analize lažja.

SAM se od drugih modelov segmentacije razlikuje na več načinov, kot so:

• SAM je mogoče pozivati, kar pomeni, da lahko sprejme različne vhodne pozive, kot so točke ali polja, da določi, kateri predmet segmentirati. Na primer, lahko narišete okvir okoli obraza osebe in model Segment Anything bo ustvaril masko za obraz. Date lahko tudi več pozivov za segmentiranje več predmetov hkrati. Model SAM lahko obravnava kompleksne prizore z okluzijami, odsevi in ​​sencami.
• SAM se usposablja na ogromnem naboru podatkov z 11 milijoni slik in 1.1 milijarde mask, kar je največji nabor segmentiranih podatkov do danes. Ta nabor podatkov zajema široko paleto predmetov in kategorij, kot so živali, rastline, vozila, pohištvo, hrana in drugo. SAM lahko segmentira predmete, ki jih še nikoli ni videl, zahvaljujoč svoji sposobnosti posploševanja in raznolikosti podatkov.
• SAM ima močno zmogljivost zero shot pri različnih nalogah segmentacije. Zero-shot pomeni, da lahko SAM segmentira objekte brez dodatnega usposabljanja ali natančnega prilagajanja določene naloge ali domene. SAM lahko na primer segmentira obraze, roke, lase, oblačila in dodatke brez predhodnega znanja ali nadzora. SAM lahko tudi segmentira predmete na različne načine, kot so infrardeče slike ali zemljevidi globine.

Model SAM dosega impresivne rezultate na različnih merilih segmentacije slike, kot je COCO. SAM prav tako prekaša ali se ujema s predhodnimi popolnoma nadzorovanimi metodami pri več nalogah segmentacije z ničelnim strelom, kot je segmentiranje logotipov, besedila, obrazov ali skic. Dokazuje svojo vsestranskost in robustnost na različnih področjih in scenarijih.

V prihodnosti: Projekt Segment Anything Model (model SAM) je še vedno na začetku. Po mnenju Mete je to nekaj prihodnjih aplikacij modela Segment Anything:

• Prihodnja očala AR bodo morda uporabljala SAM za prepoznavanje običajnih predmetov ter zagotavljala koristne opomnike in navodila.

• SAM lahko vpliva na številna druga področja, kot sta kmetijstvo in biologija. Nekega dne bo morda celo koristilo kmetom in znanstvenikom.

Model SAM je lahko preboj v raziskavah računalniškega vida in umetne inteligence. Prikazuje potencial temeljnih modelov za vizijo, ki so modeli, ki se lahko učijo iz obsežnih podatkov in prenašajo na nove naloge in področja.

Funkcije modela Segment Anything (model SAM).

Tukaj je nekaj zmogljivosti modela SAM:

• Z uporabo modela SAM lahko uporabniki hitro in enostavno segmentirajo objekte tako, da izberejo posamezne točke, ki jih vključijo ali izpustijo iz segmentacije. Mejni okvir lahko uporabite tudi kot iztočnico za model.
• Kadar obstaja negotovost glede elementa, ki se segmentira, lahko model SAM ustvari veliko veljavnih mask, kar je ključna in kritična veščina za reševanje segmentacije v resničnem svetu.
• Samodejno zaznavanje predmetov in maskiranje sta zdaj preprosta z modelom Segment Anything.
• Po vnaprejšnjem izračunu vdelave slike lahko model Segment Anything takoj zagotovi masko segmentacije za kateri koli poziv, kar omogoča interakcijo z modelom v realnem času.

Impresivno, kajne? Kakšna je torej tehnologija za tem?

Kako deluje model SAM?

Eno najzanimivejših odkritij v NLP in v zadnjem času v računalniškem vidu je uporaba pristopov »spodbujanja« za omogočanje učenja z ničelnim in nekajkratnim učenjem na novih naborih podatkov in nalogah z uporabo temeljnih modelov. Meta je na tem področju našla motivacijo.

Če so bile podane točke ospredja/ozadja, okvir ali maska, prosto oblikovano besedilo ali kateri koli drug vnos, ki nakazuje, kaj segmentirati na sliki, je ekipa Meta AI model Segment Anything naučila ustvariti pravilno segmentacijsko masko. Potreba po ustrezni maski zgolj implicira, da mora biti rezultat ustrezna maska ​​za eno od stvari, na katere se lahko nanaša poziv (na primer, točka na srajci lahko predstavlja srajco ali osebo, ki jo nosi). Ta naloga se uporablja za predhodno usposabljanje modela in za vodenje rešitve generičnih problemov segmentacije na nižji stopnji.

Meta je opazila, da naloga pred usposabljanjem in interaktivno zbiranje podatkov postavljata določene omejitve pri konstrukciji modela. Zlasti morajo biti njihovi opombevalci sposobni uporabiti model Segment Anything v brskalniku, interaktivno, v realnem času, na CPE, da bo učinkovit. Kljub dejstvu, da mora obstajati kompromis med kakovostjo in hitrostjo, da se izpolni zahteva glede časa izvajanja, odkrijejo, da neposreden pristop daje zadovoljive rezultate.

Na zadnji strani slikovni kodirnik ustvari edinstveno vdelavo za sliko, medtem ko lahko lahek kodirnik takoj spremeni katero koli poizvedbo v vdelani vektor. Lahek dekoder se nato uporabi za združitev teh dveh virov podatkov, da se predvidevajo segmentacijske maske. Po izračunu vdelave slike lahko SAM odgovori na vsako poizvedbo v spletnem brskalniku s segmentom v približno 50 ms.

SAM je uporabno orodje za ustvarjalne profesionalce in navdušence, ki želijo urejati slike in videoposnetke z lahkoto in prilagodljivostjo. Toda najprej se morate naučiti, kako dostopati do njega in ga uporabljati.

Kako uporabljati model Segment Anything (model SAM)?

SAM je razvil Meta AI Research (prej Facebook AI Research) in je javno dostopen na GitHub. SAM lahko preizkusite tudi na spletu z a demo ali prenesite nabor podatkov (SA-1B) z 1 milijardo mask in 11 milijoni slik. Model je zelo enostaven za uporabo; samo sledite tem korakom:

• Prenesite predstavitev ali obiščite predstavitev modela Segment Anything.
• Naložite sliko ali jo izberite v galeriji.
• Dodajte in predmetna področja
  • Maskirajte območja z dodajanjem točk. Izberite Dodaj območje in nato izberite predmet. Izboljšajte masko tako, da izberete Odstrani območje, nato pa izberite območje.

Nato dokončajte svojo nalogo, kot želite!

Za več informacij, kliknite tukaj.

---

Image courtesy: Meta

AI 101

Ste novi v AI? Še vedno lahko vstopite na vlak z umetno inteligenco! Ustvarili smo podrobno AI glosar za najpogosteje uporabljene izrazi umetne inteligence in razložiti osnove umetne inteligence kot tudi tveganja in koristi umetne inteligence. Prosto jih uporabite. Učenje kako uporabljati AI je sprememba igre! AI modeli bo spremenila svet.

Orodja AI, ki smo jih pregledali

Skoraj vsak dan se pojavi novo orodje, model ali funkcija in spremeni naša življenja kot novo Vtičniki OpenAI ChatGPT, nekaj najboljših pa smo že pregledali:

• Orodja AI za pretvorbo besedila v besedilo

Ali se želite učiti kako učinkovito uporabljati ChatGPT? Za vas imamo nekaj nasvetov in trikov, ne da bi preklopili na Klepetajte GPT Plus! Ko želite uporabiti orodje AI, lahko dobite napake, kot je »ChatGPT je trenutno napolnjen" in "preveč zahtev v eni uri, poskusite znova pozneje". Da, res so moteče napake, a ne skrbite; vemo, kako jih popraviti. Ali je plagiat ChatGPT brezplačen? Težko je najti enoten odgovor. Če se bojite plagiatorstva, vas prosimo, da uporabite Umetna inteligenca za preverjanje plagiatorstva. Prav tako lahko preverite druge AI klepeti in Pisci esejev o AI za boljše rezultate.

• Orodja AI za pretvorbo besedila v sliko

Medtem ko jih je še nekaj razprave o slikah, ustvarjenih z umetno inteligenco, ljudje še vedno iščejo najboljši umetniški generatorji AI. Bo AI nadomestil oblikovalce? Nadaljujte z branjem in ugotovite.

• Druga orodja AI

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
• vir: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/