Maak kennis met SAM, Meta's nieuwe AI-beeldsegmentatietool die complexe afbeeldingen voor u afhandelt

Meta's nieuwe Segment Anything Model werd onthuld. Het SAM-model is een nieuwe manier om hoogwaardige maskers te maken voor beeldsegmentatie.

Reminder: Beeldsegmentatie is een fundamentele taak in computervisie die tot doel heeft een beeld op te splitsen in regio's die overeenkomen met verschillende objecten of semantische categorieën en heeft vele toepassingen, zoals objectdetectie, begrip van scènes, beeldbewerking en video-analyse.

Beeldsegmentatie is echter ook een uitdagend probleem, vooral wanneer het gaat om complexe scènes die meerdere objecten bevatten met verschillende vormen, afmetingen en uiterlijken. Bovendien vereisen de meeste bestaande methoden voor beeldsegmentatie grote hoeveelheden geannoteerde gegevens voor training, wat kostbaar en tijdrovend kan zijn om te verkrijgen. Meta wil dit probleem oplossen met het SAM-model.

SAM-model: wat is het nieuwe Segment Anything-model van Meta?

Segment Anything Model (SAM) is een nieuw en krachtig kunstmatige-intelligentiemodel dat elk object in een afbeelding of video met hoge kwaliteit en efficiëntie kan segmenteren. Segmentatie is het proces van het scheiden van een object van zijn achtergrond of andere objecten en het creëren van een masker dat zijn vorm en grenzen schetst. Met het SAM-model worden uw bewerkings-, samenstellings-, tracking-, herkennings- en analysetaken eenvoudiger.

SAM verschilt op verschillende manieren van andere segmentatiemodellen, zoals:

• SAM is promptable, wat betekent dat er verschillende invoerprompts nodig zijn, zoals punten of vakken, om aan te geven welk object moet worden gesegmenteerd. U kunt bijvoorbeeld een kader rond het gezicht van een persoon tekenen en het Segment Anything-model genereert een masker voor het gezicht. U kunt ook meerdere prompts geven om meerdere objecten tegelijk te segmenteren. Het SAM-model kan complexe scènes met occlusies, reflecties en schaduwen aan.
• SAM is getraind op een enorme dataset van 11 miljoen afbeeldingen en 1.1 miljard maskers, de grootste segmentatiedataset tot nu toe. Deze dataset omvat een breed scala aan objecten en categorieën, zoals dieren, planten, voertuigen, meubels, voedsel en meer. SAM kan objecten segmenteren die het nog nooit eerder heeft gezien, dankzij zijn generalisatievermogen en datadiversiteit.
• SAM heeft sterke zero-shot-prestaties bij een verscheidenheid aan segmentatietaken. Zero-shot betekent dat SAM objecten kan segmenteren zonder extra training of afstemming op een specifieke taak of domein. SAM kan bijvoorbeeld gezichten, handen, haar, kleding en accessoires segmenteren zonder enige voorkennis of supervisie. SAM kan objecten ook in verschillende modaliteiten segmenteren, zoals infraroodbeelden of dieptekaarten.

Het SAM-model behaalt indrukwekkende resultaten op verschillende benchmarks voor beeldsegmentatie, zoals COCO. SAM presteert ook beter dan of komt overeen met eerdere volledig gecontroleerde methoden bij verschillende zero-shot segmentatietaken, zoals het segmenteren van logo's, tekst, gezichten of schetsen. Het demonstreert zijn veelzijdigheid en robuustheid in verschillende domeinen en scenario's.

In de toekomst: Het project Segment Anything Model (SAM-model) staat nog in de kinderschoenen. Volgens Meta zijn dit enkele van de toekomstige toepassingen van het Segment Anything Model:

• Toekomstige AR-brillen kunnen SAM gebruiken om alledaagse objecten te herkennen en nuttige herinneringen en instructies te geven.

• SAM heeft de mogelijkheid om veel andere gebieden te beïnvloeden, zoals landbouw en biologie. Op een dag kan het zelfs boeren en wetenschappers ten goede komen.

Het SAM-model kan een doorbraak betekenen in onderzoek naar computervisie en kunstmatige intelligentie. Het demonstreert het potentieel van basismodellen voor visie, dit zijn modellen die kunnen leren van grootschalige gegevens en kunnen worden overgedragen naar nieuwe taken en domeinen.

Segment Anything Model (SAM-model) functies

Hier zijn enkele mogelijkheden van het SAM-model:

• Met behulp van het SAM-model kunnen gebruikers snel en gemakkelijk objecten segmenteren door individuele punten te selecteren om op te nemen in of weg te laten uit de segmentatie. Een begrenzingskader kan ook worden gebruikt als richtsnoer voor het model.
• Wanneer er onzekerheid bestaat over het item dat wordt gesegmenteerd, kan het SAM-model veel geldige maskers produceren, een cruciale en kritische vaardigheid voor het oplossen van segmentatie in de echte wereld.
• Automatische objectdetectie en maskering zijn nu eenvoudig met het Segment Anything Model.
• Na het vooraf berekenen van de inbedding van de afbeelding, kan het Segment Anything Model onmiddellijk een segmentatiemasker bieden voor elke prompt, waardoor real-time interactie met het model mogelijk wordt.

Indrukwekkend, niet? Dus wat is de technologie erachter?

Hoe werkt het SAM-model?

Een van de meest intrigerende ontdekkingen in NLP en, meer recentelijk, in computervisie is het gebruik van "prompting"-benaderingen om zero-shot en few-shot leren mogelijk te maken op nieuwe datasets en taken met behulp van basismodellen. Meta vond motivatie op dit gebied.

Als voorgrond-/achtergrondpunten, een ruw kader of masker, vrije tekst of enige andere invoer die aangeeft wat er in een afbeelding moet worden gesegmenteerd, leerde het Meta AI-team het Segment Anything-model om een ​​goed segmentatiemasker te genereren. De behoefte aan een goed masker houdt alleen in dat de uitvoer een geschikt masker moet zijn voor een van de dingen waarnaar de prompt verwijst (een punt op een shirt kan bijvoorbeeld het shirt of de persoon die het draagt ​​voorstellen). Deze taak wordt gebruikt voor model pre-training en om de oplossing van generieke stroomafwaartse segmentatieproblemen te begeleiden.

Meta merkte op dat de pre-trainingstaak en interactieve gegevensverzameling bepaalde beperkingen oplegden aan de modelconstructie. Met name hun annotators moeten het Segment Anything Model in een browser, interactief, in realtime, op een CPU kunnen gebruiken om effectief te zijn. Ondanks het feit dat er een compromis moet zijn tussen kwaliteit en snelheid om aan de runtime-eis te voldoen, ontdekken ze dat een eenvoudige aanpak bevredigende resultaten oplevert.

Aan de achterkant creëert een afbeeldingsencoder een unieke inbedding voor de afbeelding, terwijl een lichtgewicht encoder elke zoekopdracht onmiddellijk kan omzetten in een inbeddingsvector. Een lichtgewicht decoder wordt vervolgens gebruikt om deze twee gegevensbronnen samen te voegen om te anticiperen op segmentatiemaskers. Nadat de beeldinbedding is berekend, kan SAM op elke vraag in een webbrowser met een segment in ongeveer 50 ms reageren.

SAM is een handige tool voor creatieve professionals en liefhebbers die gemakkelijk en flexibel afbeeldingen en video's willen bewerken. Maar eerst moet u leren hoe u het kunt openen en gebruiken.

Hoe het Segment Anything Model (SAM-model) te gebruiken?

SAM is ontwikkeld door Meta AI Research (voorheen Facebook AI Research) en is openbaar beschikbaar op GitHub. U kunt SAM ook online uitproberen met een demonstratie of download de dataset (SA-1B) van 1 miljard maskers en 11 miljoen afbeeldingen. Het model is vrij eenvoudig te gebruiken; volg gewoon deze stappen:

• Download de demo of ga naar de Segment Anything Model demo.
• Upload een afbeelding of kies er een uit de galerij.
• Voeg en onderwerpgebieden toe
  • Masker gebieden door punten toe te voegen. Selecteer Gebied toevoegen en selecteer vervolgens het object. Verfijn het masker door Gebied verwijderen te selecteren en selecteer vervolgens het gebied.

Voltooi dan je taak zoals je wilt!

Voor meer informatie klikt u op hier.

---

Image courtesy: meta

AI 101

Ben je nieuw bij AI? Je kunt nog steeds op de AI-trein stappen! We hebben een gedetailleerde gemaakt AI-woordenlijst voor de meest gebruikte termen voor kunstmatige intelligentie en leg uit basisprincipes van kunstmatige intelligentie alsmede de risico's en voordelen van AI. Gebruik ze gerust. Aan het leren hoe AI te gebruiken is een spelwisselaar! AI-modellen zal de wereld veranderen.

AI-tools die we hebben beoordeeld

Bijna elke dag duikt er een nieuwe tool, model of functie op die ons leven verandert, net als het nieuwe OpenAI ChatGPT-plug-ins, en we hebben al enkele van de beste beoordeeld:

• Tekst-naar-tekst AI-tools

Wil je leren hoe ChatGPT effectief te gebruiken? We hebben enkele tips en trucs voor je zonder over te schakelen naar Chat GPT Plus! Wanneer u de AI-tool wilt gebruiken, kunt u fouten krijgen zoals "ChatGPT is op dit moment vol” en "te veel verzoeken binnen 1 uur, probeer het later opnieuw". Ja, het zijn echt vervelende fouten, maar maak je geen zorgen; we weten hoe we ze moeten repareren. Is ChatGPT-plagiaat gratis? Het is een moeilijke vraag om één antwoord te vinden. Als je bang bent voor plagiaat, gebruik het dan gerust AI-plagiaatcontrole. U kunt ook andere controleren AI-chatbots en AI-essayschrijvers voor betere resultaten.

• AI-tools voor tekst-naar-afbeelding

Terwijl er nog enkele zijn debatten over door kunstmatige intelligentie gegenereerde afbeeldingen, mensen zijn nog steeds op zoek naar de beste AI-kunstgeneratoren. Zal AI ontwerpers vervangen?? Blijf lezen en ontdek het.

• Andere AI-tools

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
• Bron: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/