Rețele neuronale deschise: intersecția dintre AI și web3

de Rishin Sharma și Jake Brukhman.

Mulțumiri speciale tuturor celor care au oferit feedback cu privire la această piesă, inclusiv Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Sursa: Imagine generată de AI de la Lexica.art, un motor de căutare de difuzie stabilă

Inovația tehnologică nu se odihnește niciodată, iar acest lucru este valabil mai ales pentru inteligența artificială. În ultimii ani, am văzut popularitatea modelelor de învățare profundă reapărând ca precursori în AI. Denumit și ca rețele neuronale, aceste modele sunt compuse din straturi dens interconectate de noduri care trec informații unul prin celălalt, imitând aproximativ construcția creierului uman. La începutul anilor 2010, cele mai avansate modele aveau milioane de parametri, modele puternic supravegheate utilizate pentru analiza și clasificarea sentimentelor specifice. Cele mai avansate modele din ziua de azi precum studio de vis, GPT-3, DALL-E2, și Imagine se apropie de un trilion de parametri și realizează sarcini complexe și chiar creative care rivalizează cu munca umană. Luați, de exemplu, imaginea antet sau rezumatul acestei postări de blog. Ambele au fost produse de inteligența artificială. Abia începem să vedem implicațiile sociale și culturale ale acestor modele, deoarece modelează modul în care învățăm lucruri noi, interacționăm unul cu celălalt și ne exprimăm creativ.

Cu toate acestea, o mare parte din cunoștințele tehnice, seturile de date cheie și capacitatea de calcul de a antrena astăzi rețele neuronale mari sunt surse închise și sunt protejate de companii „Big Tech”, precum Google și Meta. În timp ce replica modele open source, cum ar fi GPT-NeoX, DALLE-mega, și A INFLORI au fost în frunte cu organizații inclusiv StabilitateAI, Eleuther AI, și Față îmbrățișată, web3 este gata să supraalimenteze AI open source și mai mult.

„Un strat de infrastructură web3 pentru AI ar putea introduce elemente de dezvoltare open source, proprietate și guvernare comunității și acces universal care creează noi modele și eficiență în dezvoltarea acestor noi tehnologii.Matei 22:21

În plus, multe cazuri critice de utilizare pentru web3 vor fi îmbunătățite prin adoptarea tehnologiilor AI. Din NFT-uri de artă generativă la peisajele metaversale, AI va găsi multe cazuri de utilizare în web3. AI cu sursă deschisă se încadrează în etosul deschis, descentralizat și democratizat al web3 și reprezintă o alternativă la IA oferită de Big Tech, care nu va deveni deschis în curând.

Modele de fundație sunt rețele neuronale antrenate pe seturi extinse de date pentru a îndeplini sarcini care ar necesita în mod normal un comportament uman inteligent. Aceste modele au creat niște rezultate impresionante.

Modele de limbaj precum OpenAI GPT-3, LaMDA de la Google, și Megatron-Turing NLG de la Nvidia au capacitatea de a înțelege și de a produce limbaj natural, de a rezuma și de a sintetiza text și chiar scrie codul computerului.

DALLE-2 este al lui OpenAI model de difuzie text-la-imagine care pot produce imagini unice din textul scris. Divizia de inteligență artificială a Google, DeepMind, a produs modele concurente, inclusiv PaLM, un model de limbaj cu parametri 540B, și Imagen, propriul model de generare de imagini care depășește DALLE-2 pe DrawBench și COCO FID Benchmarks. Imagen produce în special rezultate fotorealiste și are capacitatea de a scrie.

Modele de învățare de consolidare, cum ar fi Google AlphaGo l-au învins pe uman Go campion mondial în timp ce descoperă strategii noi și tehnici de joc care nu au apărut în istoria de trei mii de ani a jocului.

Cursa pentru a construi modele complexe de fundație a început deja cu Big Tech în fruntea inovației. Oricât de interesantă este progresul domeniului, există o temă cheie care este îngrijorătoare.

În ultimul deceniu, pe măsură ce modelele de inteligență artificială au devenit mai sofisticate, au devenit, de asemenea, din ce în ce mai închise publicului.

Giganții tehnologiei investesc masiv în producerea unor astfel de modele și în păstrarea datelor și a codului ca tehnologii proprietare, păstrând în același timp șansa lor competitivă prin avantajele lor economice de scară pentru formarea și calculul modelelor.

Pentru orice terță parte, producerea de modele de fundație este un proces care necesită mult resurse, cu trei blocaje majore: date, calculează, și generarea de bani.

Aici vedem incursiuni timpurii ale temelor web3 în rezolvarea unora dintre aceste probleme.

Seturile de date etichetate sunt esențiale pentru construirea de modele eficiente. Sistemele AI învață generalizând din exemple din seturile de date și se îmbunătățesc continuu pe măsură ce sunt antrenate în timp. Cu toate acestea, compilarea și etichetarea setului de date de calitate necesită cunoștințe și procesare specializate în plus față de resursele de calcul. Companiile mari de tehnologie vor avea adesea echipe interne de date specializate în lucrul cu seturi de date mari, proprietare și sisteme IP să-și antreneze modelele și să aibă puține stimulente să deschidă accesul la producția sau distribuția datelor lor.

Există deja comunități care fac formarea model deschisă și accesibilă unei comunități globale de cercetători. Aici sunt cateva exemple:

1. Crawl comun, un depozit public de zece ani de date pe internet, poate fi folosit pentru instruire generală. (Deşi cercetarile arata că seturi de date mai precise și reduse pot îmbunătăți cunoștințele generale interdomeniale și capacitățile de generalizare în aval ale modelelor.)
2. LAION este o organizație non-profit care își propune să pună la dispoziția publicului larg modele de învățare automată la scară largă și seturi de date LAION5B, un set de date de perechi imagine-text filtrat de 5.85 miliarde CLIP, care la lansare a devenit cel mai mare set de date imagine-text accesibil în mod deschis din lume.
3. Eleuther AI este un colectiv descentralizat care a lansat unul dintre cele mai mari seturi de date text open source numite Mormanul. The Pile este un set de date în limba engleză de 825.18 GiB pentru modelarea limbii care utilizează 22 de surse de date diferite.

În prezent, aceste comunități sunt organizate informal și se bazează pe contribuțiile unei baze extinse de voluntari. Pentru a le spori eforturile, recompensele token pot fi folosite ca mecanism pentru a crea seturi de date open-source. Tokenurile ar putea fi emise pe baza contribuțiilor, cum ar fi etichetarea unui set de date text-imagine mare, iar o comunitate DAO ar putea valida astfel de afirmații. În cele din urmă, modelele mari pot emite jetoane dintr-un grup comun, iar veniturile din aval din produsele construite pe deasupra modelelor menționate pot acumula la valoarea token-ului. În acest fel, colaboratorii setului de date pot deține o miză în modelele mari prin jetoanele lor, iar cercetătorii vor putea să monetizeze resursele clădirii în mod deschis.

Compilarea seturi de date open source bine construite este esențială pentru extinderea accesibilității cercetării pentru modele mari și îmbunătățirea performanței modelului. Seturile de date text-imagine pot fi extinse prin creșterea dimensiunii și a filtrelor pentru diferite tipuri de imagini pentru rezultate mai bine reglate. Seturi de date non-engleze vor fi necesare pentru formarea modelelor de limbaj natural pe care populațiile care nu vorbesc engleza le pot folosi. În timp, putem obține aceste rezultate mult mai rapid și mai deschis folosind o abordare web3.

Calculul necesar pentru antrenarea rețelelor neuronale la scară largă este unul dintre cele mai mari blocaje în modelele de fundație. În ultimul deceniu, cererea de calcul în modelele de instruire AI a crescut dublat la fiecare 3.4 luni. În această perioadă, modelele AI au trecut de la recunoașterea imaginilor la utilizarea algoritmilor de învățare de întărire la învingerea campionilor umani în jocurile de strategie și utilizarea transformatoarelor pentru a antrena modele de limbaj. De exemplu, GPT-3 de la OpenAI a avut 175 de miliarde de parametri și a avut nevoie de 3,640 petaFLOPS-zile pentru a se antrena. Acest lucru ar dura două săptămâni pe cel mai rapid supercomputer din lume și peste un mileniu pentru a calcula un laptop standard. Pe măsură ce dimensiunile modelelor continuă să crească, calculul rămâne un blocaj în progresul în domeniu.

Supercalculatoarele AI necesită hardware specific optimizat pentru efectuarea operațiunilor matematice necesare antrenării rețelelor neuronale, cum ar fi unitățile de procesare grafică (GPU) sau circuite integrate specifice aplicației (ASIC). Astăzi, cea mai mare parte a hardware-ului optimizat pentru acest tip de calcul este controlată de câțiva furnizori de servicii cloud oligopoliști, cum ar fi Google Cloud, Amazon Web Services, Microsoft Azure și IBM Cloud.

Aceasta este următoarea intersecție majoră în care vedem că alocarea descentralizată de calcul prin rețele publice deschise câștigă teren. Guvernanța descentralizată poate fi utilizată pentru a finanța și a aloca resurse pentru instruirea proiectelor conduse de comunitate. În plus, un model de piață descentralizat poate fi accesibil în mod deschis în toate zonele geografice, astfel încât orice cercetător să poată accesa resursele de calcul. Imaginați-vă un sistem de recompense care modelează formarea prin crowdfunding prin emiterea de jetoane. Crowdfunding-urile de succes vor primi un calcul prioritizat pentru modelul lor și vor promova inovații acolo unde există o cerere mare. De exemplu, dacă există o cerere semnificativă din partea DAO pentru a produce un model GPT spaniol sau hindi pentru a deservi segmente mai mari ale populației, cercetarea se poate concentra pe acel domeniu.

Deja companiilor le place GenSyn lucrează la lansarea de protocoale pentru a stimula și coordona accesul hardware alternativ, eficient din punct de vedere al costurilor și bazat pe cloud pentru calculul de deep learning. De-a lungul timpului, o rețea globală de calcul partajată, descentralizată, construită cu infrastructura web3, va deveni mai eficientă din punct de vedere al costurilor la scară și ne va servi mai bine pe măsură ce explorăm în mod colectiv frontiera inteligenței artificiale.

Seturile de date și calculul vor permite această teză: modele open source AI. În ultimii câțiva ani, modelele mari au devenit din ce în ce mai private, deoarece investițiile în resurse necesare pentru a le produce au împins proiectele să devină surse închise.

Luați OpenAI. OpenAI a fost fondat în 2015 ca laborator de cercetare nonprofit cu misiunea de a produce inteligență generală artificială în beneficiul întregii umanități, un contrast puternic față de liderii AI la acea vreme, Google și Facebook. De-a lungul timpului, concurența acerbă și presiunea pentru finanțare au erodat idealurile de transparență și codul de sursă deschisă, pe măsură ce OpenAI a trecut la un model pentru profit și a semnat un masiv Acord comercial de un miliard de dolari cu Microsoft. În plus, recenta controversă a înconjurat modelul lor text-to-image, DALLE-2, pentru cenzura sa generalizată. (De exemplu, DALLE-2 a interzis termenii „pușcă, „execută, „ataca”, „Ucraina” și imaginile celebrităților; o astfel de cenzură grosolană împiedică solicitări precum „Lebron James atacă coșul” sau „un programator care execută un Linia de cod'.) Accesul la beta privată pentru aceste modele are o prejudecată geografică implicită pentru utilizatorii occidentali, pentru a împiedica mari zone din populația globală să interacționeze și să informeze aceste modele.

Nu așa ar trebui să fie diseminată inteligența artificială: păzită, supravegheată și păstrată de câteva companii mari de tehnologie. Ca și în cazul blockchain-ului, tehnologia nouă ar trebui aplicată cât mai echitabil posibil, astfel încât beneficiile sale să nu fie concentrate printre puținii care au acces. Progresul sporit în inteligența artificială ar trebui să fie valorificat în mod deschis în diferite industrii, zone geografice și comunități pentru a descoperi în mod colectiv cele mai interesante cazuri de utilizare și pentru a ajunge la un consens cu privire la utilizarea corectă a AI. Menținerea modelelor de fundație open source poate asigura că cenzura este prevenită și părtinirea este monitorizată cu atenție în vederea publicului.

Cu o structură de simboluri pentru modele de fundație generalizate, va fi posibilă agregarea unui grup mai mare de colaboratori care își pot monetiza munca în timp ce lansează codul open source. Proiecte precum OpenAI construite având în vedere o teză open source au trebuit să se transforme într-o companie finanțată independent pentru a concura pentru talent și resurse. Web3 permite proiectelor open source să fie la fel de profitabile din punct de vedere financiar și să rivalizeze în continuare cu cele care sunt conduse de investiții private de Big Tech. În plus, inovatorii care construiesc produse pe deasupra modelelor open source pot construi cu încredere că există transparență în IA subiacentă. Efectul în aval al acestui lucru va fi adoptarea rapidă și lansarea pe piață pentru cazuri noi de utilizare a inteligenței artificiale. În spațiul web3, aceasta include aplicații de securitate care efectuează analize predictive pentru vulnerabilitățile contractelor inteligente și tragerile de covor, generatoare de imagini care poate fi folosit pentru a bate NFT-uri și pentru a crea peisaje metaverse, personalități digitale AI care pot exista în lanț pentru a păstra proprietatea individuală și multe altele.

Inteligența artificială este una dintre tehnologiile cu cea mai rapidă evoluție în prezent, care va avea implicații imense asupra societății noastre în ansamblu. Astăzi, domeniul este dominat de tehnologia mare, deoarece investițiile financiare în talent, date și calcul creează șanțuri semnificative pentru dezvoltarea open source. Integrarea web3 în stratul de infrastructură al AI este un pas crucial de făcut pentru a ne asigura că sistemele de inteligență artificială sunt construite într-un mod corect, deschis și accesibil. Vedem deja că modelele deschise iau o poziție de inovație publică rapidă în spații deschise precum Twitter și HuggingFace, iar cripto poate supraalimenta aceste eforturi în continuare.

Iată ce caută echipa CoinFund la intersecția dintre AI și cripto:

1. Echipe cu inteligență artificială deschisă în centrul misiunii lor
2. Comunitățile care organizează resurse publice, cum ar fi datele și calculul, pentru a ajuta la construirea modelelor AI
3. Produse care utilizează inteligența artificială pentru a aduce creativitate, securitate și inovație la adoptarea generală

Dacă construiți un proiect la intersecția dintre AI și web3, discutați cu noi contactând CoinFund pe Twitter sau e-mail rishin@coinfund.io or jake@coinfund.io.