Découvrez SAM, le nouvel outil de segmentation d'images IA de Meta qui traite pour vous des images complexes

Le nouveau Segment Anything Model de Meta a été révélé. Le modèle SAM est une nouvelle façon de créer des masques de haute qualité pour la segmentation d'images.

Rappel: La segmentation d'images est une tâche fondamentale en vision par ordinateur qui vise à partitionner une image en régions correspondant à différents objets ou catégories sémantiques et a de nombreuses applications, telles que la détection d'objets, la compréhension de scènes, l'édition d'images et l'analyse vidéo.

Cependant, la segmentation des images est également un problème difficile, en particulier lorsqu'il s'agit de scènes complexes contenant plusieurs objets de formes, de tailles et d'apparences variables. De plus, la plupart des méthodes de segmentation d'images existantes nécessitent de grandes quantités de données annotées pour la formation, ce qui peut être coûteux et long à obtenir. Meta veut résoudre ce problème avec le modèle SAM.

Modèle SAM : Qu'est-ce que le nouveau modèle Segment Anything de Meta ?

Segment Anything Model (SAM) est un nouveau et puissant modèle d'intelligence artificielle qui peut segmenter n'importe quel objet dans une image ou une vidéo avec une qualité et une efficacité élevées. La segmentation est le processus de séparation d'un objet de son arrière-plan ou d'autres objets et de création d'un masque qui décrit sa forme et ses limites. Avec le modèle SAM, vos tâches d'édition, de composition, de suivi, de reconnaissance et d'analyse seront plus faciles.

SAM est différent des autres modèles de segmentation de plusieurs manières, telles que :

• SAM est invitable, ce qui signifie qu'il peut prendre diverses invites d'entrée, telles que des points ou des cases, pour spécifier l'objet à segmenter. Par exemple, vous pouvez dessiner un cadre autour du visage d'une personne et le modèle Segment Anything générera un masque pour le visage. Vous pouvez également donner plusieurs invites pour segmenter plusieurs objets à la fois. Le modèle SAM peut gérer des scènes complexes avec des occlusions, des réflexions et des ombres.
• SAM est formé sur un ensemble de données massif de 11 millions d'images et 1.1 milliard de masques, qui est le plus grand ensemble de données de segmentation à ce jour. Cet ensemble de données couvre un large éventail d'objets et de catégories, tels que les animaux, les plantes, les véhicules, les meubles, la nourriture, etc. SAM peut segmenter des objets qu'il n'a jamais vus auparavant, grâce à sa capacité de généralisation et à la diversité des données.
• SAM a d'excellentes performances zéro coup sur une variété de tâches de segmentation. Zero-shot signifie que SAM peut segmenter des objets sans aucune formation ou ajustement supplémentaire sur une tâche ou un domaine spécifique. Par exemple, SAM peut segmenter les visages, les mains, les cheveux, les vêtements et les accessoires sans aucune connaissance ou supervision préalable. SAM peut également segmenter des objets dans différentes modalités, telles que des images infrarouges ou des cartes de profondeur.

Le modèle SAM obtient des résultats impressionnants sur divers benchmarks de segmentation d'images, tels que COCO. SAM surpasse ou égale également les méthodes antérieures entièrement supervisées sur plusieurs tâches de segmentation sans coup sûr, telles que la segmentation de logos, de texte, de visages ou de croquis. Il démontre sa polyvalence et sa robustesse dans différents domaines et scénarios.

A l'avenir: Le projet Segment Anything Model (modèle SAM) en est encore à ses débuts. Selon Meta, voici quelques-unes des futures applications du Segment Anything Model :

• Les futures lunettes AR pourraient utiliser SAM pour reconnaître des objets courants et fournir des rappels et des instructions utiles.

• SAM a la capacité d'affecter de nombreux autres domaines, tels que l'agriculture et la biologie. Un jour, cela pourrait même profiter aux agriculteurs et aux scientifiques.

Le modèle SAM peut être une percée dans la recherche sur la vision par ordinateur et l'intelligence artificielle. Il démontre le potentiel des modèles de base pour la vision, qui sont des modèles qui peuvent apprendre à partir de données à grande échelle et être transférés à de nouvelles tâches et domaines.

Fonctionnalités du modèle Segment Anything Model (modèle SAM)

Voici quelques-unes des fonctionnalités du modèle SAM :

• À l'aide du modèle SAM, les utilisateurs peuvent rapidement et facilement segmenter des objets en sélectionnant des points individuels à inclure ou à omettre de la segmentation. Une zone de délimitation peut également être utilisée comme repère pour le modèle.
• Lorsqu'il existe une incertitude concernant l'élément segmenté, le modèle SAM peut produire de nombreux masques valides, une compétence cruciale et critique pour résoudre la segmentation dans le monde réel.
• La détection et le masquage automatiques d'objets sont désormais simples avec le modèle Segment Anything.
• Après avoir précalculé l'intégration de l'image, le modèle Segment Anything peut fournir instantanément un masque de segmentation pour toute invite, permettant une interaction en temps réel avec le modèle.

Impressionnant, n'est-ce pas ? Alors, quelle est la technologie derrière cela?

Comment fonctionne le modèle SAM ?

L'une des découvertes les plus intrigantes de la PNL et, plus récemment, de la vision par ordinateur est l'utilisation d'approches «invitantes» pour permettre un apprentissage instantané et ponctuel sur de nouveaux ensembles de données et de nouvelles tâches à l'aide de modèles de base. Meta a trouvé la motivation dans ce domaine.

Si des points de premier plan/d'arrière-plan, une boîte ou un masque approximatif, du texte de forme libre ou toute autre entrée indiquant ce qu'il faut segmenter dans une image, l'équipe Meta AI a appris au modèle Segment Anything à générer un masque de segmentation approprié. La nécessité d'un masque approprié implique simplement que la sortie doit être un masque approprié pour l'une des choses auxquelles l'invite peut se référer (par exemple, un point sur une chemise peut représenter soit la chemise, soit la personne qui la porte). Cette tâche est utilisée pour la pré-formation du modèle et pour guider la solution des problèmes génériques de segmentation en aval.

Meta a remarqué que la tâche de préformation et la collecte interactive de données imposaient certaines limites à la construction du modèle. En particulier, leurs annotateurs doivent pouvoir utiliser le Segment Anything Model dans un navigateur, de manière interactive, en temps réel, sur un processeur pour qu'il soit efficace. Malgré le fait qu'il doit y avoir un compromis entre la qualité et la vitesse pour répondre à l'exigence de temps d'exécution, ils découvrent qu'une approche simple produit des résultats satisfaisants.

En arrière-plan, un encodeur d'image crée une intégration unique pour l'image, tandis qu'un encodeur léger peut transformer instantanément n'importe quelle requête en un vecteur d'intégration. Un décodeur léger est ensuite utilisé pour fusionner ces deux sources de données afin d'anticiper les masques de segmentation. Une fois l'incorporation d'image calculée, SAM peut répondre à chaque requête dans un navigateur Web avec un segment en 50 ms environ.

SAM est un outil utile pour les professionnels de la création et les passionnés qui souhaitent éditer des images et des vidéos avec facilité et flexibilité. Mais d'abord, vous devez apprendre à y accéder et à l'utiliser.

Comment utiliser le Segment Anything Model (modèle SAM) ?

SAM est développé par Meta AI Research (anciennement Facebook AI Research), et il est accessible au public sur GitHub. Vous pouvez également essayer SAM en ligne avec un demo ou téléchargez le jeu de données (SA-1B) de 1 milliard de masques et 11 millions d'images. Le modèle est assez facile à utiliser ; suivez simplement ces étapes:

• Téléchargez la démo ou accédez à la démo Segment Anything Model.
• Téléchargez une image ou choisissez-en une dans la galerie.
• Ajouter et domaines
  • Masquez des zones en ajoutant des points. Sélectionnez Ajouter une zone, puis sélectionnez l'objet. Affinez le masque en sélectionnant Supprimer la zone, puis sélectionnez la zone.

Ensuite, terminez votre tâche comme vous le souhaitez !

Pour plus d'informations, cliquez sur ici.

---

Image courtoisie: Meta

AI 101

Êtes-vous nouveau à l'IA? Vous pouvez toujours monter dans le train AI ! Nous avons créé une fiche détaillée Glossaire IA pour le plus couramment utilisé termes d'intelligence artificielle et expliquer le bases de l'intelligence artificielle la risques et avantages de l'IA. N'hésitez pas à les utiliser. Apprentissage comment utiliser l'IA change la donne ! Modèles AI va changer le monde.

Outils d'IA que nous avons examinés

Presque chaque jour, un nouvel outil, modèle ou fonctionnalité apparaît et change nos vies, comme le nouveau Plugins OpenAI ChatGPT, et nous avons déjà passé en revue certains des meilleurs :

• Outils d'IA texte-texte

Voulez-vous apprendre comment utiliser ChatGPT efficacement ? Nous avons quelques trucs et astuces pour vous sans passer à Chat GPT Plus! Lorsque vous souhaitez utiliser l'outil AI, vous pouvez obtenir des erreurs telles que "ChatGPT est à pleine capacité en ce moment » et les  « trop de demandes en 1 heure, réessayez plus tard ». Oui, ce sont des erreurs vraiment ennuyeuses, mais ne vous inquiétez pas ; nous savons comment les réparer. Le plagiat ChatGPT est-il gratuit ? C'est une question difficile à trouver une réponse unique. Si vous avez peur du plagiat, n'hésitez pas à utiliser Vérificateurs de plagiat AI. En outre, vous pouvez vérifier d'autres Chatbots d'IA et les  Rédacteurs d'essais sur l'IA pour de meilleurs résultats.

• Outils d'IA de conversion de texte en image

Alors qu'il y a encore quelques débats sur les images générées par l'intelligence artificielle, les gens recherchent toujours meilleurs générateurs d'art AI. L'IA remplacera-t-elle les designers? Continuez à lire et découvrez.

• Autres outils d'IA

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
• La source: https://dataconomy.com/2023/04/sam-model-meta-segment-anything-model-mask/