Réseaux de neurones ouverts : l'intersection de l'IA et du web3

de Rishin Sharma et Jake Brukhman.

Un merci spécial à tous ceux qui ont donné leur avis sur cette pièce, notamment Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Source : image générée par l'IA à partir de Lexica.art, un moteur de recherche de diffusion stable

L’innovation technologique ne s’arrête jamais, et cela est particulièrement vrai pour l’intelligence artificielle. Au cours des dernières années, nous avons vu la popularité des modèles d’apprentissage profond réapparaître en tant que précurseurs de l’IA. Également appelé les réseaux de neurones, ces modèles sont composés de couches de nœuds densément interconnectées qui transmettent des informations les unes aux autres, imitant grossièrement la construction du cerveau humain. Au début des années 2010, les modèles les plus avancés comportaient des millions de paramètres, des modèles fortement supervisés utilisés pour l’analyse et la classification spécifiques des sentiments. Les modèles les plus avancés d'aujourd'hui tels que Studio de rêve, GPT-3, DALL-E2et Image approchent le billion de paramètres et accomplissent des tâches complexes, voire créatives, qui rivalisent avec le travail humain. Prenez, par exemple, l'image d'en-tête ou le résumé de cet article de blog. Les deux ont été produits par l’intelligence artificielle. Nous commençons tout juste à voir les implications sociales et culturelles de ces modèles dans la mesure où ils façonnent la façon dont nous apprenons de nouvelles choses, interagissons les uns avec les autres et nous exprimons de manière créative.

Cependant, une grande partie du savoir-faire technique, des ensembles de données clés et de la capacité informatique nécessaires à la formation de grands réseaux neuronaux sont aujourd’hui fermés et contrôlés par des sociétés « Big Tech » comme Google et Meta. Alors que les répliques de modèles open source tels que GPT-NeoX, DALLE-mégaet BLOOM ont été menés par des organisations, notamment StabilitéIA, Eleuther IAet Étreindre, web3 est sur le point de dynamiser encore plus l’IA open source.

« Une couche d'infrastructure Web3 pour l'IA pourrait introduire des éléments de développement open source, de propriété et de gouvernance communautaires, ainsi que d'accès universel qui créeraient de nouveaux modèles et une plus grande efficacité dans le développement de ces nouvelles technologies. »

En outre, de nombreux cas d’utilisation critiques du Web3 seront améliorés par l’adoption des technologies d’IA. Depuis NFT d'art génératif Aux paysages métaversaux, l’IA trouvera de nombreux cas d’utilisation dans le web3. L’IA open source s’inscrit dans la philosophie ouverte, décentralisée et démocratisée du Web3 et représente une alternative à l’IA fournie par Big Tech, qui ne sera probablement pas ouverte de sitôt.

Modèles de fondation sont des réseaux de neurones entraînés sur de vastes ensembles de données pour effectuer des tâches qui nécessiteraient normalement un comportement humain intelligent. Ces modèles ont donné des résultats impressionnants.

Modèles de langage tels que ceux d'OpenAI GPT-3, LaMDA de Googleet NLG Megatron-Turing de Nvidia avoir la capacité de comprendre et de produire un langage naturel, de résumer et de synthétiser du texte, et même écrire du code informatique.

DALLE-2 est celui d'OpenAI modèle de diffusion texte-image qui peut produire des images uniques à partir d’un texte écrit. DeepMind, la division IA de Google, a produit des modèles concurrents, notamment PaLM, un modèle de langage de paramètres 540B, et Imagen, son propre modèle de génération d'images qui surpasse DALLE-2 sur DrawBench et COCO FID Benchmarks. Imagen produit notamment des résultats plus photoréalistes et a la capacité d'épeler.

Modèles d'apprentissage par renforcement tels que ceux de Google AlphaGo ont vaincu le champion du monde de go humain tout en découvrant de nouvelles stratégies et techniques de jeu qui n'ont pas fait surface au cours des trois mille ans d'histoire du jeu.

La course à la construction de modèles de fondations complexes a déjà commencé avec les Big Tech à la pointe de l’innovation. Aussi passionnant que soient les progrès dans ce domaine, il existe un thème clé qui suscite des préoccupations.

Au cours de la dernière décennie, à mesure que les modèles d’IA sont devenus plus sophistiqués, ils sont également devenus de plus en plus fermés au public.

Les géants de la technologie investissent massivement dans la production de tels modèles et conservent les données et le code en tant que technologies propriétaires tout en préservant leur avantage concurrentiel grâce à leurs économies d'échelle pour la formation et le calcul de modèles.

Pour tout tiers, la production de modèles de fondation est un processus gourmand en ressources et comportant trois goulots d’étranglement majeurs : données, calcul, ainsi que monétisation.

C’est ici que nous constatons les premières avancées des thèmes Web3 pour résoudre certains de ces problèmes.

Les ensembles de données étiquetés sont essentiels pour créer des modèles efficaces. Les systèmes d’IA apprennent en généralisant à partir d’exemples au sein d’ensembles de données et s’améliorent continuellement au fur et à mesure de leur formation au fil du temps. Cependant, la compilation et l’étiquetage d’ensembles de données de qualité nécessitent des connaissances et un traitement spécialisés en plus des ressources informatiques. Les grandes entreprises technologiques disposent souvent d'équipes de données internes spécialisées dans le travail avec de grands ensembles de données propriétaires et Systèmes IP pour former leurs modèles et sont peu incités à ouvrir l’accès à la production ou à la distribution de leurs données.

Il existe déjà des communautés qui rendent la formation modèle ouverte et accessible à une communauté mondiale de chercheurs. Voici quelques exemples:

1. Exploration commune, un référentiel public de dix années de données Internet, peut être utilisé pour la formation générale. (Cependant recherche montre que des ensembles de données plus précis et plus épurés peuvent améliorer les connaissances générales inter-domaines et les capacités de généralisation en aval des modèles.)
2. LAION est une organisation à but non lucratif visant à mettre des modèles et des ensembles de données d'apprentissage automatique à grande échelle à la disposition du grand public et à les publier. LAION5B, un ensemble de données de paires image-texte filtré par CLIP de 5.85 milliards qui, lors de sa publication, est devenu le plus grand ensemble de données image-texte ouvertement accessible au monde.
3. Eleuther IA est un collectif décentralisé qui a publié l'un des plus grands ensembles de données textuelles open source appelé La pile. The Pile est un ensemble de données en anglais de 825.18 Gio pour la modélisation linguistique qui utilise 22 sources de données différentes.

Actuellement, ces communautés sont organisées de manière informelle et comptent sur les contributions d'une large base de bénévoles. Pour dynamiser leurs efforts, les récompenses symboliques peuvent être utilisées comme mécanisme pour créer des ensembles de données open source. Les jetons pourraient être émis en fonction de contributions, telles que l'étiquetage d'un grand ensemble de données texte-image, et une communauté DAO pourrait valider ces affirmations. En fin de compte, les grands modèles peuvent émettre des jetons à partir d'un pool commun, et les revenus en aval provenant des produits construits sur ces modèles peuvent s'accumuler sur la valeur du jeton. De cette façon, les contributeurs d'ensembles de données peuvent détenir une participation dans les grands modèles grâce à leurs jetons et les chercheurs pourront monétiser les ressources du bâtiment à l'air libre.

La compilation d’ensembles de données open source bien construits est essentielle pour élargir l’accessibilité de la recherche aux grands modèles et améliorer les performances des modèles. Les ensembles de données texte-image peuvent être étendus en augmentant la taille et les filtres pour différents types d'images pour des résultats plus précis. Des ensembles de données non anglophones seront nécessaires pour former des modèles de langage naturel que les populations non anglophones pourront utiliser. Au fil du temps, nous pouvons obtenir ces résultats beaucoup plus rapidement et de manière plus ouverte grâce à une approche web3.

Le calcul requis pour former des réseaux neuronaux à grande échelle est l’un des principaux goulots d’étranglement des modèles de base. Au cours de la dernière décennie, la demande de calcul pour la formation des modèles d’IA a augmenté. doublé tous les 3.4 mois. Au cours de cette période, les modèles d'IA sont passés de la reconnaissance d'images à l'utilisation d'algorithmes d'apprentissage par renforcement, en passant par la victoire sur des champions humains dans des jeux de stratégie et l'utilisation de transformateurs pour entraîner des modèles de langage. Par exemple, le GPT-3 d’OpenAI comptait 175 milliards de paramètres et a nécessité 3,640 XNUMX pétaFLOPS-jours pour s’entraîner. Cela prendrait deux semaines sur le superordinateur le plus rapide du monde et plus d'un millénaire pour un ordinateur portable standard. Alors que la taille des modèles ne cesse de croître, le calcul reste un goulot d’étranglement dans l’avancement du domaine.

Les supercalculateurs d'IA nécessitent un matériel spécifique optimisé pour effectuer les opérations mathématiques nécessaires à la formation des réseaux de neurones, tels que les unités de traitement graphique (GPU) ou les circuits intégrés spécifiques à une application (ASIC). Aujourd'hui, la plupart du matériel optimisé pour ce type de calcul est contrôlé par quelques fournisseurs de services cloud oligopolistiques comme Google Cloud, Amazon Web Services, Microsoft Azure et IBM Cloud.

Il s’agit du prochain carrefour majeur où nous voyons l’allocation de calcul décentralisée via des réseaux publics et ouverts gagner du terrain. La gouvernance décentralisée peut être utilisée pour financer et allouer des ressources afin de former des projets menés par la communauté. De plus, un modèle de marché décentralisé peut être ouvertement accessible dans toutes les zones géographiques, de sorte que tout chercheur puisse accéder aux ressources informatiques. Imaginez un système de primes qui finance de manière participative une formation modélisée en émettant des jetons. Les financements participatifs réussis recevront un calcul prioritaire pour leur modèle et feront avancer les innovations là où la demande est forte. Par exemple, s'il existe une demande importante de la part du DAO pour produire un modèle GPT en espagnol ou en hindi pour servir des pans plus larges de la population, la recherche peut se concentrer sur ce domaine.

Déjà, des entreprises comme GenSyn travaillent sur le lancement de protocoles pour encourager et coordonner un accès matériel alternatif, rentable et basé sur le cloud pour le calcul d'apprentissage en profondeur. Au fil du temps, un réseau informatique mondial partagé et décentralisé construit avec une infrastructure web3 deviendra plus rentable à mettre à l'échelle et nous servira mieux alors que nous explorons collectivement la frontière de l'intelligence artificielle.

Les ensembles de données et le calcul permettront cette thèse : des modèles d'IA open source. Au cours des dernières années, les grands modèles sont devenus de plus en plus privés, car l'investissement en ressources nécessaire à leur production a poussé les projets à devenir fermés.

Prenez OpenAI. OpenAI a été fondée en 2015 en tant que laboratoire de recherche à but non lucratif ayant pour mission de produire une intelligence artificielle générale au profit de toute l’humanité, un contraste frappant avec les leaders de l’IA de l’époque, Google et Facebook. Au fil du temps, une concurrence féroce et des pressions pour obtenir des financements ont érodé les idéaux de transparence et de code open source à mesure qu'OpenAI évoluait vers un modèle à but lucratif et signé un énorme Accord commercial d'un milliard de dollars avec Microsoft. De plus, une récente controverse a entouré leur modèle de conversion texte-image, DALLE-2, pour sa censure généralisée. (Par exemple, DALLE-2 a interdit les termes « arme à feu », « exécution », « attaque », « Ukraine » et les images de célébrités ; une censure aussi grossière empêche des invites telles que « Lebron James attaque le panier » ou « un programmeur exécutant un programme ». ligne de code'.) L'accès à la version bêta privée de ces modèles présente un biais géographique implicite pour les utilisateurs occidentaux, qui empêchent de larges pans de la population mondiale d'interagir et d'informer ces modèles.

Ce n’est pas ainsi que l’intelligence artificielle devrait être diffusée : gardée, surveillée et préservée par quelques grandes entreprises technologiques. Comme dans le cas de la blockchain, les nouvelles technologies doivent être appliquées aussi équitablement que possible afin que leurs avantages ne soient pas concentrés entre quelques-uns qui y ont accès. Les progrès cumulés en matière d’intelligence artificielle doivent être exploités ouvertement dans différents secteurs, zones géographiques et communautés pour découvrir collectivement les cas d’utilisation les plus intéressants et parvenir à un consensus sur l’utilisation équitable de l’IA. Garder les modèles de fondation open source peut garantir que la censure soit évitée et que les préjugés soient soigneusement surveillés à la vue du public.

Avec une structure de jetons pour les modèles de fondation généralisés, il sera possible de regrouper un plus grand pool de contributeurs pouvant monétiser leur travail tout en publiant du code open source. Des projets comme OpenAI, construits avec une thèse open source en tête, ont dû se tourner vers une entreprise financée de manière autonome pour rivaliser pour les talents et les ressources. Le Web3 permet aux projets open source d’être aussi lucratifs financièrement et de rivaliser davantage avec ceux menés par les investissements privés des Big Tech. De plus, les innovateurs qui construisent des produits sur des modèles open source peuvent avoir la certitude que l’IA sous-jacente est transparente. L’effet en aval sera l’adoption et la commercialisation rapides de nouveaux cas d’utilisation de l’intelligence artificielle. Dans l'espace web3, cela inclut les applications de sécurité qui effectuent des analyses prédictives pour les vulnérabilités des contrats intelligents et les tirages de tapis, générateurs d'images qui peut être utilisé pour créer des NFT et créer des paysages métaverses, personnalités de l'IA numérique qui peut exister en chaîne pour préserver la propriété individuelle, et bien plus encore.

L’intelligence artificielle est aujourd’hui l’une des technologies qui progressent le plus rapidement et qui aura d’immenses implications sur notre société dans son ensemble. Aujourd’hui, le domaine est dominé par les grandes technologies, car les investissements financiers dans les talents, les données et le calcul créent des fossés importants pour le développement open source. L'intégration du web3 dans la couche d'infrastructure de l'IA est une étape cruciale à franchir pour garantir que les systèmes d'intelligence artificielle sont construits de manière équitable, ouverte et accessible. Nous voyons déjà des modèles ouverts adopter une position d’innovation publique rapide dans des espaces ouverts comme Twitter et HuggingFace et la cryptographie peut dynamiser ces efforts à l’avenir.

Voici ce que l’équipe CoinFund recherche à l’intersection de l’IA et de la cryptographie :

1. Des équipes avec une intelligence artificielle ouverte au cœur de leur mission
2. Communautés qui organisent des ressources publiques telles que les données et le calcul pour aider à créer des modèles d'IA
3. Produits qui utilisent l'IA pour apporter la créativité, la sécurité et l'innovation à une adoption généralisée

Si vous construisez un projet à l'intersection de l'IA et du Web3, discutez avec nous en contactant CoinFund sur Twitter ou par courriel rishin@coinfund.io or jake@coinfund.io.