Ismerje meg a SAM-ot, a Meta új mesterséges intelligencia-képszegmentáló eszközét, amely összetett képekkel foglalkozik Ön helyett

Bemutatták a Meta új Segment Anything modelljét. A SAM-modell egy új módja annak, hogy kiváló minőségű maszkokat készítsünk a képszegmentáláshoz.

Emlékeztető: A képszegmentálás a számítógépes látás egyik alapvető feladata, amelynek célja, hogy a képet olyan régiókra osztja fel, amelyek különböző objektumoknak vagy szemantikai kategóriáknak felelnek meg, és számos alkalmazással rendelkezik, például objektumészlelés, jelenetmegértés, képszerkesztés és videoelemzés.

Ugyanakkor a képszegmentálás is kihívást jelent, különösen akkor, ha olyan összetett jelenetekkel foglalkozunk, amelyek több, eltérő alakú, méretű és megjelenésű objektumot tartalmaznak. Ezenkívül a legtöbb létező képszegmentációs módszer nagy mennyiségű megjegyzéssel ellátott adatot igényel a betanításhoz, ami költséges és időigényes lehet. A Meta ezt a problémát a SAM modellel akarja megoldani.

SAM modell: Mi a Meta új Segment Anything modellje?

A Segment Anything Model (SAM) egy új és hatékony mesterséges intelligencia-modell, amely kiváló minőségben és hatékonysággal képes szegmentálni egy képen vagy videón bármely tárgyat. A szegmentálás az a folyamat, amikor egy objektumot elválasztanak a hátterétől vagy más objektumoktól, és létrehoznak egy maszkot, amely körvonalazza az alakját és határait. A SAM-modellel a szerkesztési, összeállítási, nyomon követési, felismerési és elemzési feladatai könnyebbé válnak.

A SAM több szempontból is különbözik a többi szegmentációs modelltől, például:

• A SAM kérhető, ami azt jelenti, hogy különféle beviteli promptokat, például pontokat vagy dobozokat vehet igénybe a szegmentálandó objektum meghatározásához. Például rajzolhat egy négyzetet egy személy arca köré, és a Szegmentál bármit modell maszkot generál az arc számára. Több objektum szegmentálására is több felszólítást adhat egyszerre. A SAM modell képes kezelni az összetett jeleneteket elzáródásokkal, tükröződésekkel és árnyékokkal.
• A SAM-ot 11 millió képből és 1.1 milliárd maszkból álló hatalmas adatkészletre képezték ki, amely az eddigi legnagyobb szegmentációs adatkészlet. Ez az adatkészlet tárgyak és kategóriák széles skáláját fedi le, például állatokat, növényeket, járműveket, bútorokat, élelmiszereket stb. A SAM általánosító képességének és az adatok sokféleségének köszönhetően olyan objektumokat tud szegmentálni, amelyeket még soha nem látott.
• A SAM kiváló teljesítményt nyújt számos szegmentálási feladatban. A Zero-shot azt jelenti, hogy a SAM minden további képzés vagy finomhangolás nélkül szegmentálhatja az objektumokat egy adott feladaton vagy tartományon. Például a SAM minden előzetes tudás vagy felügyelet nélkül szegmentálhatja az arcokat, a kezeket, a hajat, a ruhákat és a kiegészítőket. A SAM különböző módokon is szegmentálhat objektumokat, például infravörös képeket vagy mélységtérképeket.

A SAM modell lenyűgöző eredményeket ér el a különböző képszegmentációs benchmarkokon, például a COCO-n. A SAM több nullapontos szegmentálási feladatban is felülmúlja vagy megfelel a korábbi teljesen felügyelt módszereknek, mint például a logók, szövegek, arcok vagy vázlatok szegmentálása. Demonstrálja sokoldalúságát és robusztusságát a különböző tartományokban és forgatókönyvekben.

A jövőben: A Segment Anything Model (SAM-modell) projekt még a kezdeti szakaszban van. A Meta szerint ezek a Segment Anything modell jövőbeli alkalmazásai:

• A jövőbeli AR-szemüvegek SAM-ot használhatnak a hétköznapi tárgyak felismerésére, valamint hasznos emlékeztetők és utasítások biztosítására.

• A SAM számos más területet is érinthet, például a mezőgazdaságot és a biológiát. Egy napon akár a gazdálkodók és a tudósok hasznára is válhat.

A SAM-modell áttörést jelenthet a számítógépes látás és a mesterséges intelligencia kutatásában. Bemutatja a látás alapmodelleiben rejlő lehetőségeket, amelyek olyan modellek, amelyek tanulhatnak a nagyszabású adatokból, és átvihetők új feladatokra és tartományokra.

Segment Anything Model (SAM modell) jellemzői

Íme néhány a SAM modell képességei közül:

• A SAM-modell használatával a felhasználók gyorsan és egyszerűen szegmentálhatják az objektumokat a szegmentálásba bevonandó vagy elhagyandó egyes pontok kiválasztásával. A határoló doboz is használható a modellhez.
• Ha bizonytalanság áll fenn a szegmentálandó elemet illetően, a SAM-modell számos érvényes maszkot tud előállítani, ami döntő és kritikus képesség a valós világban történő szegmentálás megoldásához.
• Az automatikus objektumészlelés és maszkolás most már egyszerű a Segment Anything modellel.
• A képbeágyazás előzetes kiszámítása után a Segment Anything Model azonnal szegmentációs maszkot tud biztosítani bármely kéréshez, lehetővé téve a valós idejű interakciót a modellel.

Lenyűgöző, nem? Tehát mi a technológia mögötte?

Hogyan működik a SAM modell?

Az egyik legérdekesebb felfedezés az NLP-ben és újabban a számítógépes látásban a „felszólító” megközelítések alkalmazása, amelyek lehetővé teszik a nulla és néhány lépéses tanulást új adatkészleteken és feladatokon alapmodellek segítségével. Meta motivációt talált ezen a területen.

Ha adott előtér-/háttérpontokat, durva keretet vagy maszkot, szabad formájú szöveget vagy bármilyen más bemenetet, amely jelzi, hogy mit kell szegmentálni a képen, a Meta AI csapata megtanította a Segment Anything Model-t megfelelő szegmentációs maszk létrehozására. A megfelelő maszk szükségessége pusztán azt jelenti, hogy a kimenetnek megfelelő maszknak kell lennie az egyik olyan dologhoz, amelyre a felszólítás hivatkozhat (például egy pont az ingen az inget vagy az azt viselő személyt jelképezheti). Ez a feladat a modell előképzésére és az általános downstream szegmentációs problémák megoldására szolgál.

Meta észrevette, hogy az előképzési feladat és az interaktív adatgyűjtés bizonyos korlátokat szab a modellalkotásnak. Konkrétan, a jelölőiknek képesnek kell lenniük a Segment Anything Model böngészőben való, interaktív, valós időben, CPU-n történő felhasználására, hogy az hatékony legyen. Annak ellenére, hogy kompromisszumot kell kötni a minőség és a sebesség között a futási idő követelményeinek teljesítéséhez, rájönnek, hogy az egyszerű megközelítés kielégítő eredményeket hoz.

A hátoldalon egy képkódoló egyedi beágyazást hoz létre a képhez, míg egy könnyű kódoló bármilyen lekérdezést azonnal beágyazási vektorgá alakíthat. Ezután egy könnyű dekódert használnak a két adatforrás egyesítésére, hogy előre jelezzék a szegmentációs maszkokat. A képbeágyazás kiszámítása után a SAM körülbelül 50 ms alatt tud válaszolni minden lekérdezésre egy webböngészőben egy szegmenssel.

A SAM hasznos eszköz azoknak a kreatív szakembereknek és rajongóknak, akik könnyedén és rugalmasan szeretnének szerkeszteni képeket és videókat. De először meg kell tanulnod elérni és használni.

Hogyan kell használni a Segment Anything modellt (SAM-modell)?

A SAM-ot a Meta AI Research (korábban Facebook AI Research) fejlesztette ki, és nyilvánosan elérhető itt GitHub. A SAM-ot online is kipróbálhatja a demó vagy töltse le az 1 milliárd maszkból és 1 millió képből álló adatkészletet (SA-11B). A modell használata meglehetősen egyszerű; csak kövesse az alábbi lépéseket:

• Töltse le a demót, vagy nyissa meg a Segment Anything Model bemutatót.
• Tölts fel egy képet, vagy válassz egyet a galériában.
• Tématerületek hozzáadása
  • Maszkolja a területeket pontok hozzáadásával. Válassza a Terület hozzáadása lehetőséget, majd válassza ki az objektumot. Finomítsa a maszkot a Terület eltávolítása lehetőség kiválasztásával, majd válassza ki a területet.

Ezután végezze el a feladatát, ahogy akarja!

További információért kattintson itt.

---

Kép jóvoltából: meta

AI 101

Új vagy az AI-ban? Még mindig fel lehet szállni az AI vonatra! Készítettünk egy részletes AI szószedet a leggyakrabban használt mesterséges intelligencia kifejezések és magyarázza el a a mesterséges intelligencia alapjai valamint az AI kockázatai és előnyei. Nyugodtan használja őket. Tanulás hogyan kell használni az AI-t egy játékváltó! AI modellek meg fogja változtatni a világot.

Áttekintett AI-eszközök

Szinte minden nap felbukkan egy-egy új eszköz, modell vagy funkció, és az újhoz hasonlóan megváltoztatja életünket OpenAI ChatGPT bővítmények, és már áttekintettünk néhányat a legjobbak közül:

• Szöveg-szöveg AI-eszközök

Akarsz tanulni hogyan kell hatékonyan használni a ChatGPT-t? Van néhány tippünk és trükkünk a váltás nélkül Chat GPT Plus! Amikor az AI eszközt szeretné használni, olyan hibákat kaphat, mint a „A ChatGPT jelenleg teljes kapacitással rendelkezik” és a „Túl sok kérés 1 óra alatt, próbálkozzon újra később”. Igen, ezek valóban bosszantó hibák, de ne aggódj; tudjuk, hogyan javítsuk ki őket. Ingyenes a ChatGPT plágium? Nehéz kérdésre egyetlen választ találni. Ha félsz a plágiumtól, nyugodtan használd AI plágiumellenőrzők. Ezenkívül ellenőrizheti a többit is AI csevegőrobotok és a AI esszéírók a jobb eredmények érdekében.

• Szöveg-kép AI eszközök

Miközben még vannak viták a mesterséges intelligencia által generált képekről, az emberek még mindig keresik a legjobb AI művészeti generátorok. Az AI felváltja a tervezőket?? Olvass tovább és tudd meg.

• Egyéb AI-eszközök

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/