La start-up de modélisation texte en 3D Luma lève 43 millions de dollars lors du dernier cycle

Republié par Platon

Suiveurs: 0

Luma, un logiciel de création de startups d'IA générative qui transforme les descriptions textuelles en modèles 3D correspondants, vient de lever 43 millions de dollars (34 millions de livres sterling) dans le cadre d'un cycle de financement de série B dirigé par Andreesen Horowitz, Nvidia et d'autres.

Fondée en 2021 par le PDG Amit Jain, ancien ingénieur système travaillant sur la vision par ordinateur chez Apple, et le CTO Alex Yu, étudiant diplômé de l'Université de Californie à Berkeley, Luma AI développe des logiciels d'apprentissage automatique qui vont bien au-delà de ce que nous faisons. J'ai vu la plupart des réseaux de neurones génératifs existants.

Contrairement aux modèles texte-image qui émettent des bitmaps plats d'art numérique, Luma utilise l'IA pour créer à partir de photos, de vidéos ou de descriptions textuelles des modèles tridimensionnels d'objets qui peuvent être téléchargés, manipulés, modifiés et rendus selon les besoins.

Le nouveau venu, basé à Palo Alto, en Californie, a déjà lancé cette technologie sous la forme d'une application appelée Genie – disponible via le Web, sous le nom d'application Luma iOS et via Discord – capable de convertir des images et des vidéos en scènes 3D ou de produire de la 3D. modèles d’objets décrits par l’utilisateur. Ces modèles fabriqués par machine peuvent être prévisualisés à l'écran et exportés vers des packages artistiques tels que Blender, des moteurs de jeu populaires comme Unreal ou Unity, ainsi que d'autres outils pour une utilisation ultérieure.

Capture d'écran du Génie de Luma créant un vautour tenant une tasse de café

Capture d'écran de la tentative de Génie de créer un vautour tenant une tasse de café pour nous… Ceci a été généré à partir de l'invite simple : un vautour avec une tasse de café. Cliquez pour agrandir

« Nous pensons que la multimodalité est essentielle au renseignement », affirment les fondateurs de l’entreprise. jailli dans un communiqué annonçant leur dernier cycle de financement lundi. « Pour aller au-delà des modèles linguistiques et construire des systèmes plus conscients, plus performants et plus utiles, la prochaine étape du changement de fonction viendra de la vision. Nous travaillons donc à la formation et à la mise à l’échelle de modèles de base multimodaux pour des systèmes capables de voir et de comprendre, de montrer et d’expliquer, et éventuellement d’interagir avec notre monde pour apporter des changements.

Luma affirme utiliser diverses techniques exclusives de vision par ordinateur, de la segmentation d'images au maillage, pour générer ces modèles 3D à partir d'images et de descriptions. Les modèles pourraient bien finir par être utilisés dans des jeux vidéo, des applications de réalité virtuelle, des simulations ou des tests robotiques.

Certaines personnes peuvent trouver cette technologie plutôt utile si elles ont une idée pour quelque chose impliquant des graphiques 3D ou une scène 3D et qu'elles n'ont pas le talent ou les compétences de l'artiste pour créer les modèles nécessaires. Ils peuvent désormais demander à Luma de générer ces actifs et de les importer dans la suite logicielle ou le moteur dont ils disposent.

La technologie du nouveau venu pourrait être utilisée pour le prototypage ou le test de systèmes 3D avant qu’un artiste humain plus qualifié ne soit amené à créer de meilleurs modèles – ou la production de Genie peut être suffisamment bonne pour votre production particulière.

Nous avons joué avec le système et avons trouvé que le résultat de Genie avait l'air plutôt mignon, mais qu'il ne convient peut-être pas à tout le monde à ce stade ; les exemples donnés par le nouveau venu semblaient meilleurs que ce que nous pouvions proposer, peut-être parce qu'ils ont été produits via l'API payante de la startup alors que nous utilisions la version gratuite.

C'est payé interface coûte un dollar par pop pour construire un modèle ou une scène à partir des actifs fournis. Le secteur fait même valoir que c'est moins cher et plus rapide que de s'appuyer sur un concepteur humain. Si vous parvenez à surpasser Génie, vous n’avez rien à craindre pour le moment.

Luma avait déjà levé 20 millions de dollars lors d'un tour de table de série A dirigé par Amplify Partners, Nventures (la branche d'investissement de Nvidia) et General Catalyst. Parmi les autres investisseurs figuraient Matrix Partners, South Park Commons et Remote First Capital. Après avoir levé jusqu'à présent un total de plus de 70 millions de dollars, sa valorisation est estimé entre 200 et 300 millions de dollars. ®