Reti neurali aperte: l'intersezione di AI e web3

di Rishin Sharma e Jake Brukhman.

Un ringraziamento speciale a tutti coloro che hanno fornito feedback su questo pezzo, inclusi Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Fonte: immagine generata dall'intelligenza artificiale da Lexica.art, un motore di ricerca a diffusione stabile

L'innovazione tecnologica non si ferma mai, e questo è particolarmente vero per l'intelligenza artificiale. Negli ultimi anni, abbiamo visto riemergere la popolarità dei modelli di deep learning come precursori dell'IA. Indicato anche come reti neurali, questi modelli sono costituiti da strati di nodi densamente interconnessi che si passano le informazioni l'uno attraverso l'altro, imitando approssimativamente la struttura del cervello umano. All'inizio degli anni 2010, i modelli più avanzati avevano milioni di parametri, modelli fortemente supervisionati utilizzati per analisi e classificazioni specifiche del sentiment. I modelli più avanzati di oggi come Studio dei sogni, GPT-3, DALL-MI2e Immagine si stanno avvicinando a un trilione di parametri e stanno portando a termine compiti complessi e persino creativi che competono con il lavoro umano. Prendi, ad esempio, l'immagine di intestazione o il riepilogo di questo post sul blog. Entrambi sono stati prodotti dall'intelligenza artificiale. Stiamo appena iniziando a vedere le implicazioni sociali e culturali di questi modelli mentre modellano il modo in cui apprendiamo cose nuove, interagiamo gli uni con gli altri ed esprimiamo noi stessi in modo creativo.

Tuttavia, gran parte del know-how tecnico, dei set di dati chiave e della capacità computazionale di addestrare grandi reti neurali oggi sono closed source e controllati da aziende "Big Tech" come Google e Meta. Mentre replica modelli open source come GPT-NeoX, DALLE-megae FIORITURA sono stati guidati da organizzazioni tra cui Stabilità AI, Eleuthera AIe abbracciare il viso, web3 è pronto a potenziare ancora di più l'IA open source.

“Un livello di infrastruttura web3 per l'intelligenza artificiale potrebbe introdurre elementi di sviluppo open source, proprietà e governance della comunità e accesso universale che creano nuovi modelli ed efficienze nello sviluppo di queste nuove tecnologie."

Inoltre, molti casi d'uso critici per web3 saranno migliorati dall'adozione delle tecnologie AI. Da NFT di arte generativa ai paesaggi metaversali, l'IA troverà molti casi d'uso nel web3. L'intelligenza artificiale open source si inserisce nell'etica aperta, decentralizzata e democratizzata del web3 e rappresenta un'alternativa all'intelligenza artificiale fornita da Big Tech, che non è probabile che diventi aperta a breve.

Modelli di fondazione sono reti neurali addestrate su vasti set di dati per eseguire attività che normalmente richiederebbero un comportamento umano intelligente. Questi modelli hanno creato alcuni risultati impressionanti.

Modelli linguistici come quelli di OpenAI GPT-3, LaMDA di Googlee Megatron-Turing NLG di Nvidia avere la capacità di comprendere e produrre un linguaggio naturale, riassumere e sintetizzare il testo e persino scrivere il codice del computer.

DALLE-2 è di OpenAI modello di diffusione da testo a immagine in grado di produrre immagini uniche dal testo scritto. La divisione AI di Google, DeepMind, ha prodotto modelli concorrenti tra cui PaLM, un modello di linguaggio parametrico 540B, e Imagen, il proprio modello di generazione di immagini che supera DALLE-2 su DrawBench e COCO FID Benchmarks. Imagen produce in particolare risultati più fotorealistici e ha la capacità di scrivere.

Modelli di apprendimento per rinforzo come quelli di Google AlphaGo hanno sconfitto il campione del mondo di Go umano scoprendo nuove strategie e tecniche di gioco che non sono emerse nei tremila anni di storia del gioco.

La corsa per costruire modelli di fondazione complessi è già iniziata con Big Tech in prima linea nell'innovazione. Per quanto entusiasmante sia l'avanzamento del settore, c'è un tema chiave che desta preoccupazione.

Nell'ultimo decennio, man mano che i modelli di intelligenza artificiale sono diventati più sofisticati, sono diventati anche sempre più chiusi al pubblico.

I giganti della tecnologia stanno investendo molto nella produzione di tali modelli e conservando dati e codice come tecnologie proprietarie, preservando al contempo il loro fossato competitivo attraverso i vantaggi delle loro economie di scala per l'addestramento e il calcolo dei modelli.

Per qualsiasi terza parte, la produzione di modelli di fondazione è un processo ad alta intensità di risorse con tre principali colli di bottiglia: dati, calcolo, ed monetazione.

Qui è dove vediamo le prime incursioni dei temi web3 nella risoluzione di alcuni di questi problemi.

I set di dati etichettati sono fondamentali per la creazione di modelli efficaci. I sistemi di intelligenza artificiale apprendono generalizzando da esempi all'interno di set di dati e migliorano continuamente man mano che vengono addestrati nel tempo. Tuttavia, la compilazione e l'etichettatura di set di dati di qualità richiedono conoscenze ed elaborazioni specializzate oltre alle risorse computazionali. Le grandi aziende tecnologiche avranno spesso team di dati interni specializzati nel lavorare con set di dati proprietari di grandi dimensioni e sistemi IP per addestrare i loro modelli e hanno pochi incentivi ad aprire l'accesso alla produzione o alla distribuzione dei loro dati.

Esistono già comunità che stanno rendendo la formazione modello aperta e accessibile a una comunità globale di ricercatori. Ecco alcuni esempi:

1. Scansione comune, un archivio pubblico di dieci anni di dati Internet, può essere utilizzato per la formazione generale. (Anche se la ricerca mostra che set di dati più precisi e pared possono migliorare la conoscenza generale interdominio e le capacità di generalizzazione a valle dei modelli.)
2. LAION è un'organizzazione senza scopo di lucro che mira a rendere disponibili al pubblico e rilasciati modelli e set di dati di apprendimento automatico su larga scala LAION5B, un set di dati di 5.85 miliardi di coppie di immagini-testo filtrate tramite CLIP che al momento del rilascio è diventato il più grande set di dati di immagini-testo apertamente accessibile al mondo.
3. Eleuthera AI è un collettivo decentralizzato che ha rilasciato uno dei più grandi set di dati di testo open source chiamato Il mucchio. The Pile è un set di dati in lingua inglese da 825.18 GiB per la modellazione linguistica che utilizza 22 diverse origini dati.

Attualmente, queste comunità sono organizzate in modo informale e si basano sui contributi di un'ampia base di volontari. Per potenziare i loro sforzi, le ricompense in token possono essere utilizzate come meccanismo per creare set di dati open source. I token potrebbero essere emessi sulla base di contributi, come l'etichettatura di un grande set di dati di immagini di testo, e una comunità DAO potrebbe convalidare tali affermazioni. In definitiva, i modelli di grandi dimensioni possono emettere token da un pool comune e le entrate a valle dei prodotti costruiti su tali modelli possono accumularsi fino al valore del token. In questo modo i contributori del set di dati possono detenere una partecipazione nei modelli di grandi dimensioni attraverso i loro token e i ricercatori saranno in grado di monetizzare le risorse di costruzione allo scoperto.

La compilazione di set di dati open source ben costruiti è fondamentale per ampliare l'accessibilità alla ricerca per modelli di grandi dimensioni e migliorare le prestazioni dei modelli. I set di dati di immagini di testo possono essere espansi aumentando le dimensioni e i filtri per diversi tipi di immagini per risultati più precisi. Saranno necessari set di dati non in inglese per addestrare modelli di linguaggio naturale che le popolazioni non anglofone possono utilizzare. Nel tempo, possiamo raggiungere questi risultati molto più velocemente e in modo più aperto utilizzando un approccio web3.

Il calcolo necessario per addestrare reti neurali su larga scala è uno dei maggiori colli di bottiglia nei modelli di base. Negli ultimi dieci anni, la domanda di calcolo nell'addestramento dei modelli di intelligenza artificiale è aumentata raddoppiato ogni 3.4 mesi. Durante questo periodo, i modelli di intelligenza artificiale sono passati dal riconoscimento delle immagini all'utilizzo di algoritmi di apprendimento per rinforzo, al superamento di campioni umani nei giochi di strategia e all'utilizzo di trasformatori per addestrare modelli linguistici. Ad esempio, il GPT-3 di OpenAI aveva 175 miliardi di parametri e impiegava 3,640 petaFLOPS-giorni per l'addestramento. Ciò richiederebbe due settimane sul supercomputer più veloce del mondo e oltre un millennio per un computer portatile standard. Poiché le dimensioni dei modelli continuano a crescere, il calcolo rimane un collo di bottiglia nell'avanzamento del campo.

I supercomputer IA richiedono hardware specifico ottimizzato per eseguire le operazioni matematiche necessarie per l'addestramento delle reti neurali, come le unità di elaborazione grafica (GPU) o i circuiti integrati specifici per l'applicazione (ASIC). Oggi, la maggior parte dell'hardware ottimizzato per questo tipo di calcolo è controllato da pochi fornitori di servizi cloud oligopolistici come Google Cloud, Amazon Web Services, Microsoft Azure e IBM Cloud.

Questa è la prossima grande intersezione in cui vediamo l'allocazione di calcolo decentralizzata attraverso reti pubbliche e aperte che guadagnano terreno. La governance decentralizzata può essere utilizzata per finanziare e allocare risorse per formare progetti guidati dalla comunità. Inoltre, un modello di mercato decentralizzato può essere apertamente accessibile in tutte le aree geografiche in modo tale che qualsiasi ricercatore possa accedere alle risorse di calcolo. Immagina un sistema di taglie che finanzia la formazione del modello tramite il crowdfunding emettendo token. I crowdfunding di successo riceveranno un calcolo prioritario per il loro modello e spingeranno avanti le innovazioni dove c'è una forte domanda. Ad esempio, se c'è una domanda significativa da parte del DAO per produrre un modello GPT spagnolo o hindi per servire fasce più ampie della popolazione, la ricerca può essere focalizzata su quel dominio.

Già, alle aziende piace GenSyn stanno lavorando al lancio di protocolli per incentivare e coordinare l'accesso hardware alternativo, economico e basato su cloud per il calcolo del deep learning. Nel corso del tempo, una rete di elaborazione globale condivisa e decentralizzata, costruita con l'infrastruttura web3, diventerà più conveniente da scalare e ci servirà meglio mentre esploriamo collettivamente la frontiera dell'intelligenza artificiale.

I set di dati e il calcolo consentiranno questa tesi: modelli di intelligenza artificiale open source. Negli ultimi anni, i modelli di grandi dimensioni sono diventati sempre più privati ​​poiché l'investimento di risorse necessario per produrli ha spinto i progetti a diventare closed-source.

Prendi OpenAI. OpenAI è stata fondata nel 2015 come laboratorio di ricerca senza scopo di lucro con la missione di produrre intelligenza artificiale generale a beneficio di tutta l'umanità, in netto contrasto con i leader dell'IA dell'epoca, Google e Facebook. Nel corso del tempo, la feroce concorrenza e la pressione per i finanziamenti hanno eroso gli ideali di trasparenza e codice open-source mentre OpenAI si è trasformato in un modello a scopo di lucro e ha firmato un massiccio Accordo commerciale da 1 miliardo di dollari con Microsoft. Inoltre, recenti polemiche hanno circondato il loro modello text-to-image, DALLE-2, per la sua censura generalizzata. (Ad esempio, DALLE-2 ha bandito i termini "pistola", "esecuzione", "attacco", "Ucraina" e immagini di celebrità; tale rozza censura impedisce suggerimenti come "Lebron James che attacca il canestro" o "un programmatore che esegue un riga di codice'.) L'accesso alla beta privata per questi modelli ha un pregiudizio geografico implicito per gli utenti occidentali per impedire ad ampie fasce della popolazione globale di interagire e informare questi modelli.

Non è così che dovrebbe essere diffusa l'intelligenza artificiale: custodita, sorvegliata e preservata da poche grandi aziende tecnologiche. Come nel caso della blockchain, la nuova tecnologia dovrebbe essere applicata nel modo più equo possibile in modo che i suoi benefici non siano concentrati tra i pochi che hanno accesso. I progressi complessi nell'intelligenza artificiale dovrebbero essere sfruttati apertamente in diversi settori, aree geografiche e comunità per scoprire collettivamente i casi d'uso più coinvolgenti e raggiungere un consenso sull'uso corretto dell'IA. Mantenere i modelli di fondazione open source può garantire che la censura sia prevenuta e che i pregiudizi siano attentamente monitorati sotto la vista del pubblico.

Con una struttura a token per modelli di base generalizzati, sarà possibile aggregare un pool più ampio di contributori che possono monetizzare il proprio lavoro rilasciando codice open source. Progetti come OpenAI, costruiti pensando a una tesi open source, hanno dovuto trasformarsi in un'azienda finanziata a sé stante per competere per talenti e risorse. Web3 consente ai progetti open source di essere redditizi dal punto di vista finanziario e rivaleggiare ulteriormente con quelli guidati da investimenti privati ​​di Big Tech. Inoltre, gli innovatori che realizzano prodotti sulla base di modelli open source possono costruire con la certezza che vi sia trasparenza nell'intelligenza artificiale sottostante. L'effetto a valle di ciò sarà la rapida adozione e il go-to-market di nuovi casi d'uso dell'intelligenza artificiale. Nello spazio web3, questo include applicazioni di sicurezza che conducono analisi predittive per le vulnerabilità dei contratti intelligenti e i pull-pull, generatori di immagini che può essere utilizzato per coniare NFT e creare paesaggi metaversi, personalità dell'intelligenza artificiale digitale che possono esistere sulla catena per preservare la proprietà individuale e molto altro ancora.

L'intelligenza artificiale è oggi una delle tecnologie in più rapida evoluzione che avrà enormi implicazioni sulla nostra società nel suo complesso. Oggi, il campo è dominato dalla grande tecnologia poiché gli investimenti finanziari in talento, dati e calcolo creano fossati significativi per lo sviluppo open source. L'integrazione di web3 nel livello infrastrutturale dell'IA è un passo cruciale da compiere per garantire che i sistemi di intelligenza artificiale siano costruiti in modo equo, aperto e accessibile. Stiamo già vedendo modelli aperti assumere una posizione di rapida innovazione pubblica in spazi aperti come Twitter e HuggingFace e le criptovalute possono potenziare questi sforzi andando avanti.

Ecco cosa sta cercando il team di CoinFund all'intersezione tra AI e cripto:

1. Team con intelligenza artificiale aperta al centro della loro missione
2. Comunità che stanno curando risorse pubbliche come dati e calcolo per aiutare a costruire modelli di intelligenza artificiale
3. Prodotti che utilizzano l'intelligenza artificiale per portare creatività, sicurezza e innovazione nell'adozione mainstream

Se stai costruendo un progetto sull'intersezione tra AI e web3, chatta con noi contattando CoinFund su Twitter o di scrivere un'e-mail a rishin@coinfund.io or jake@coinfund.io.