Tutustu SAM:iin, Metan uuteen tekoälykuvan segmentointityökaluun, joka käsittelee monimutkaisia ​​kuvia puolestasi

Metan uusi Segment Anything -malli paljastettiin. SAM-malli on uusi tapa luoda korkealaatuisia maskeja kuvan segmentointiin.

Muistutus: Kuvan segmentointi on tietokonenäön perustehtävä, jonka tarkoituksena on jakaa kuva alueisiin, jotka vastaavat erilaisia ​​​​objekteja tai semanttisia luokkia ja jolla on monia sovelluksia, kuten kohteen havaitseminen, kohtauksen ymmärtäminen, kuvankäsittely ja videoanalyysi.

Kuvien segmentointi on kuitenkin myös haastava ongelma, varsinkin kun käsitellään monimutkaisia ​​kohtauksia, jotka sisältävät useita eri muotoisia, kokoisia ja ulkonäköisiä objekteja. Lisäksi useimmat olemassa olevat kuvan segmentointimenetelmät vaativat suuria määriä annotoitua dataa koulutukseen, jonka saaminen voi olla kallista ja aikaavievää. Meta haluaa ratkaista tämän ongelman SAM-mallilla.

SAM-malli: Mikä on Metan uusi Segment Anything -malli?

Segment Anything Model (SAM) on uusi ja tehokas tekoälymalli, joka voi segmentoida minkä tahansa kohteen kuvassa tai videossa laadukkaasti ja tehokkaasti. Segmentointi on prosessi, jossa objekti erotetaan sen taustasta tai muista objekteista ja luodaan maski, joka hahmottaa sen muodon ja rajat. SAM-mallin avulla muokkaus-, kompositio-, seuranta-, tunnistus- ja analysointitehtävät helpottuvat.

SAM eroaa muista segmentointimalleista useilla tavoilla, kuten:

• SAM on kehotettavissa, mikä tarkoittaa, että se voi käyttää erilaisia ​​​​syöttökehotteita, kuten pisteitä tai laatikoita, määrittääkseen segmentoitavan objektin. Voit esimerkiksi piirtää laatikon henkilön kasvojen ympärille, jolloin Segment Anything -malli luo maskin kasvoille. Voit myös antaa useita kehotteita segmentoidaksesi useita objekteja kerralla. SAM-malli pystyy käsittelemään monimutkaisia ​​kohtauksia, joissa on tukkeumia, heijastuksia ja varjoja.
• SAM on koulutettu 11 miljoonan kuvan ja 1.1 miljardin maskin massiiviseen tietojoukkoon, joka on tähän mennessä suurin segmentointitietojoukko. Tämä tietojoukko kattaa laajan valikoiman esineitä ja luokkia, kuten eläimiä, kasveja, ajoneuvoja, huonekaluja, ruokaa ja paljon muuta. SAM voi segmentoida objekteja, joita se ei ole koskaan ennen nähnyt, kiitos sen yleistyskyvyn ja tiedon monimuotoisuuden.
• SAM:lla on vahva nollasuorituskyky erilaisissa segmentointitehtävissä. Zero-shot tarkoittaa, että SAM voi segmentoida objekteja ilman lisäkoulutusta tai hienosäätöä tietyssä tehtävässä tai toimialueella. SAM voi esimerkiksi segmentoida kasvot, kädet, hiukset, vaatteet ja asusteet ilman ennakkotietoa tai valvontaa. SAM voi myös segmentoida objekteja eri muodoissa, kuten infrapunakuvissa tai syvyyskartoissa.

SAM-mallilla saavutetaan vaikuttavia tuloksia erilaisissa kuvien segmentoinnin mittareissa, kuten COCO. SAM myös ylittää tai vastaa aiempia täysin valvottuja menetelmiä useissa nolla-segmentointitehtävissä, kuten logojen, tekstin, kasvojen tai luonnosten segmentoinnissa. Se osoittaa monipuolisuutensa ja kestävyytensä eri aloilla ja skenaarioissa.

Tulevaisuudessa: Segment Anything Model (SAM-malli) -projekti on vielä alkuaikoinaan. Metan mukaan nämä ovat joitain Segment Anything -mallin tulevista sovelluksista:

• Tulevat AR-lasit voivat käyttää SAM:ia tavallisten esineiden tunnistamiseen ja hyödyllisten muistutusten ja ohjeiden tarjoamiseen.

• SAM:lla on kyky vaikuttaa moniin muihin aloihin, kuten maatalouteen ja biologiaan. Jonain päivänä se saattaa jopa hyödyttää maanviljelijöitä ja tiedemiehiä.

SAM-malli voi olla läpimurto tietokonenäön ja tekoälyn tutkimuksessa. Se havainnollistaa näkemisen perusmallien potentiaalia. Ne ovat malleja, jotka voivat oppia laajamittaisesta tiedosta ja siirtää uusia tehtäviä ja alueita.

Segmentoi Anything Model (SAM-malli) ominaisuudet

Tässä on joitain SAM-mallin ominaisuuksia:

• SAM-mallin avulla käyttäjät voivat segmentoida objekteja nopeasti ja helposti valitsemalla yksittäisiä pisteitä, jotka sisällytetään segmentointiin tai jätetään pois. Rajalaatikkoa voidaan käyttää myös mallin vihjeenä.
• Kun segmentoitavan kohteen suhteen on epävarmuutta, SAM-malli voi tuottaa monia kelvollisia maskeja, mikä on ratkaiseva ja kriittinen taito segmentoinnin ratkaisemisessa todellisessa maailmassa.
• Automaattinen objektin tunnistus ja peittäminen ovat nyt yksinkertaisia ​​Segment Anything -mallin avulla.
• Kuvan upotuksen esilaskemisen jälkeen Segment Anything -malli voi tarjota segmentointimaskin mille tahansa kehotteeseen välittömästi, mikä mahdollistaa reaaliaikaisen vuorovaikutuksen mallin kanssa.

Vaikuttavaa, eikö? Joten mikä tekniikka sen takana on?

Kuinka SAM-malli toimii?

Yksi kiehtovimmista löydöistä NLP:ssä ja viime aikoina myös tietokonenäön alalla on "kehottelevien" lähestymistapojen käyttö mahdollistaakseen nolla- ja muutaman otoksen oppimisen uusissa tietojoukoissa ja tehtävissä perustusmalleja käyttäen. Meta löysi motivaatiota tällä alalla.

Jos annettiin etu-/taustapisteitä, karkea laatikko tai maski, vapaamuotoinen teksti tai mikä tahansa muu syöte, joka osoittaa, mitä kuvassa segmentoidaan, Meta AI -tiimi opetti Segment Anything -mallin luomaan oikean segmentointimaskin. Oikean maskin tarve tarkoittaa vain sitä, että tulosteen tulee olla sopiva maski jollekin asialle, johon kehote saattaa viitata (esimerkiksi piste paidassa voi edustaa joko paitaa tai sitä käyttävää henkilöä). Tätä tehtävää käytetään mallin esikoulutukseen ja ohjaamaan yleisten loppupään segmentointiongelmien ratkaisua.

Meta huomasi, että esikoulutustehtävä ja interaktiivinen tiedonkeruu asettivat tiettyjä rajoituksia mallin rakentamiselle. Erityisesti niiden tekijöiden on kyettävä hyödyntämään Segment Anything -mallia selaimessa interaktiivisesti, reaaliajassa suorittimella, jotta se olisi tehokas. Huolimatta siitä, että laadun ja nopeuden välillä on tehtävä kompromisseja suoritusaikavaatimuksen täyttämiseksi, he huomaavat, että suoraviivainen lähestymistapa tuottaa tyydyttäviä tuloksia.

Takaosassa kuvakooderi luo ainutlaatuisen upotuksen kuvalle, kun taas kevyt enkooderi voi muuttaa minkä tahansa kyselyn välittömästi upotusvektoriksi. Sitten käytetään kevyttä dekooderia yhdistämään nämä kaksi tietolähdettä segmentointimaskien ennakoimiseksi. Kun kuvan upottaminen on laskettu, SAM voi vastata jokaiseen verkkoselaimen kyselyyn segmentillä noin 50 ms:ssa.

SAM on hyödyllinen työkalu luoville ammattilaisille ja harrastajille, jotka haluavat muokata kuvia ja videoita helposti ja joustavasti. Mutta ensin sinun on opittava pääsemään ja käyttämään sitä.

Kuinka Segment Anything -mallia (SAM-malli) käytetään?

SAM:n on kehittänyt Meta AI Research (aiemmin Facebook AI Research), ja se on julkisesti saatavilla osoitteessa GitHub. Voit myös kokeilla SAM:ia verkossa a esittely tai lataa 1 miljardin maskin ja 1 miljoonan kuvan tietojoukko (SA-11B). Malli on melko helppokäyttöinen; seuraa vain näitä ohjeita:

• Lataa demo tai siirry Segment Anything Model -esittelyyn.
• Lataa kuva tai valitse kuva galleriasta.
• Lisää ja aihealueita
  • Maski alueet lisäämällä pisteitä. Valitse Lisää alue ja valitse sitten objekti. Tarkenna maskia valitsemalla Poista alue ja valitsemalla sitten alue.

Suorita sitten tehtäväsi haluamallasi tavalla!

Saat lisätietoja napsauttamalla tätä.

---

Kuvamateriaali: Meta

AI 101

Oletko uusi tekoälyssä? Vielä ehdit AI-junaan! Olemme luoneet yksityiskohtaisen AI sanasto yleisimmin käytetyille tekoälyn termejä ja selittää tekoälyn perusteet sekä tekoälyn riskejä ja etuja. Käytä niitä vapaasti. Oppiminen kuinka käyttää tekoälyä on pelin vaihtaja! AI-mallit muuttaa maailmaa.

Olemme tarkistaneet tekoälytyökalut

Melkein joka päivä uusi työkalu, malli tai ominaisuus ponnahtaa esiin ja muuttaa elämäämme, kuten uusi OpenAI ChatGPT -laajennukset, ja olemme jo arvioineet joitain parhaista:

• Tekstistä tekstiksi tekoälytyökalut

Haluatko oppia kuinka ChatGPT:tä käytetään tehokkaasti? Meillä on joitain vinkkejä ja temppuja sinulle ilman vaihtamista Chat GPT Plus! Kun haluat käyttää tekoälytyökalua, saatat saada virheitä, kuten "ChatGPT on tällä hetkellä täynnä" ja "liian monta pyyntöä 1 tunnin aikana, yritä myöhemmin uudelleen". Kyllä, ne ovat todella ärsyttäviä virheitä, mutta älä huoli; tiedämme kuinka korjata ne. Onko ChatGPT:n plagiointi ilmaista? Yksittäistä vastausta on vaikea löytää. Jos pelkäät plagiointia, käytä sitä vapaasti Tekoälyn plagiointitarkistus. Voit myös tarkistaa muut AI chatbotit ja AI esseen kirjoittajat parempia tuloksia.

• Tekstistä kuvaksi tekoälytyökalut

Vaikka niitä on vieläkin keskustelua tekoälyn luomista kuvista, ihmiset etsivät edelleen parhaat AI-taidegeneraattorit. Korvaako tekoäly suunnittelijat? Jatka lukemista ja ota selvää.

• Muut AI-työkalut

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/