Avatud närvivõrgud: AI ja veebi3 ristumiskoht

autor Rishin Sharma ja Jake Brukhman.

Eriline tänu kõigile, kes selle teose kohta tagasisidet andsid, sealhulgas Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Allikas: AI-ga loodud pilt stabiilsest difusiooniotsingumootorist Lexica.art

Tehnoloogiline innovatsioon ei puhka kunagi ja see kehtib eriti tehisintellekti kohta. Viimastel aastatel oleme näinud, et süvaõppe mudelid on AI-s taas esile kerkinud. Viidatud ka kui närvivõrgud, koosnevad need mudelid tihedalt ühendatud sõlmekihtidest, mis edastavad teavet üksteisest läbi, jäljendades ligikaudu inimaju ehitust. 2010. aastate alguses oli kõige arenenumatel mudelitel miljoneid parameetreid, tugevalt jälgitud mudeleid, mida kasutati konkreetse meeleolu analüüsiks ja klassifitseerimiseks. Tänapäeva kõige arenenumad mudelid nagu unistuste stuudio, GPT-3, DALL-E2ja Pilt lähenevad triljonile parameetrile ning täidavad keerulisi ja isegi loomingulisi ülesandeid, mis konkureerivad inimtööga. Võtke näiteks selle blogipostituse päise pilt või kokkuvõte. Mõlemad on toodetud tehisintellekti poolt. Me alles hakkame nägema nende mudelite sotsiaalseid ja kultuurilisi mõjusid, kuna need kujundavad seda, kuidas me uusi asju õpime, üksteisega suhtleme ja end loominguliselt väljendame.

Kuid suur osa tehnilisest oskusteabest, võtmeandmetest ja arvutuslikust võimekusest suurte närvivõrkude treenimiseks on tänapäeval suletud lähtekoodiga ja nende käsutuses on "Big Tech" ettevõtted, nagu Google ja Meta. Kuigi replica avatud lähtekoodiga mudelid nagu GPT-NeoX, DALLE-megaja BLOOM on juhtinud organisatsioonid, sealhulgas StabiilsusAI, Eleuther AIja Kallistav Nägu, web3 on valmis avatud lähtekoodiga AI-le veelgi rohkem laadima.

"AI veebi3 infrastruktuuri kiht AI jaoks võiks tutvustada avatud lähtekoodiga arenduse, kogukonna omandi ja juhtimise ning universaalse juurdepääsu elemente, mis loovad uusi mudeleid ja tõhusust nende uute tehnoloogiate arendamisel."

Lisaks täiustatakse tehisintellekti tehnoloogiate kasutuselevõtuga palju veebi3 kriitilisi kasutusjuhtumeid. Alates generatiivse kunsti NFT-d metaversaalsete maastike jaoks leiab AI veebis 3 palju kasutusjuhtumeid. Avatud lähtekoodiga AI sobib web3 avatud, detsentraliseeritud ja demokratiseeritud eetosse ning kujutab endast alternatiivi Big Techi pakutavale tehisintellektile, mis tõenäoliselt niipea ei avane.

Vundamendi mudelid on närvivõrgud, mis on treenitud ulatuslikel andmekogudel, et täita ülesandeid, mis tavaliselt nõuavad intelligentset inimkäitumist. Need mudelid on andnud muljetavaldavaid tulemusi.

Keelemudelid nagu OpenAI GPT-3, Google'i LaMDAja Nvidia Megatron-Turing NLG on võimeline mõistma ja tootma loomulikku keelt, tegema kokkuvõtteid ja sünteesima teksti ning isegi kirjutage arvutikood.

DALLE-2 on OpenAI oma tekstist pildiks difusioonimudel mis võivad kirjalikust tekstist luua ainulaadseid pilte. Google'i tehisintellekti divisjon DeepMind on tootnud konkureerivaid mudeleid, sealhulgas PaLM, 540B parameetriga keelemudel ja Imagen, oma piltide genereerimise mudel, mis edestab DALLE-2 DrawBenchi ja COCO FID võrdlusnäitajate osas. Imagen annab märkimisväärselt fotorealistlikumaid tulemusi ja sellel on võime õigekirja.

Õppimismudelite tugevdamine, näiteks Google'i oma AlphaGo on alistanud human Go maailmameister avastades samal ajal uudseid strateegiaid ja mängutehnikaid, mida pole mängu kolme tuhande aastase ajaloo jooksul esile kerkinud.

Võistlus keeruliste vundamendimudelite ehitamiseks on Big Techiga innovatsiooni esirinnas juba alanud. Nii põnev kui ka valdkonna edenemine on, on murettekitav võtmeteema.

Viimase kümnendi jooksul, kui AI mudelid on muutunud keerukamaks, on need muutunud ka avalikkusele üha suletumaks.

Tehnikahiiglased investeerivad suuri investeeringuid selliste mudelite tootmisesse ning andmete ja koodide säilitamisse patenteeritud tehnoloogiatena, säilitades samal ajal oma konkurentsieeliseid mastaabisäästu eeliste kaudu mudelite koolitamisel ja arvutamisel.

Iga kolmanda osapoole jaoks on vundamendimudelite tootmine ressursimahukas protsess, millel on kolm peamist kitsaskohta: andmed, arvutamine, ja Monetiseerimine.

Siin on koht, kus me näeme web3 teemade varajast edusamme mõne probleemi lahendamisel.

Märgistatud andmekogumid on tõhusate mudelite loomiseks kriitilise tähtsusega. AI-süsteemid õpivad andmekogumite näidete põhjal üldistades ja täiustuvad pidevalt, kui neid aja jooksul treenitakse. Kvaliteetne andmekogumite koostamine ja märgistamine nõuab aga lisaks arvutusressurssidele ka eriteadmisi ja -töötlust. Suurtel tehnoloogiaettevõtetel on sageli sisemised andmerühmad, mis on spetsialiseerunud suurte, patenteeritud andmekogumitega töötamiseks IP-süsteemid koolitada oma mudeleid ja neil on vähe stiimuleid avada juurdepääs oma andmete tootmisele või levitamisele.

Juba on kogukondi, kes muudavad mudelkoolituse avatuks ja kättesaadavaks ülemaailmsele teadlaste kogukonnale. siin on mõned näidised:

1. Ühine indekseerimine, kümne aasta internetiandmete avalikku hoidlat, saab kasutada üldkoolituseks. (Kuigi uuringud näitavad et täpsemad, eraldatud andmestikud võivad parandada üldisi domeenidevahelisi teadmisi ja mudelite allavoolu üldistusvõimet.)
2. LAION on mittetulundusühing, mille eesmärk on teha laiaulatuslikud masinõppemudelid ja andmestikud üldsusele kättesaadavaks ja avaldada LAION5B, 5.85 miljardi CLIP-filtriga pildi-teksti paari andmekogum, millest pärast avaldamist sai suurim vabalt juurdepääsetav pildi-teksti andmekogum maailmas.
3. Eleuther AI on detsentraliseeritud kollektiiv, mis andis välja ühe suurima avatud lähtekoodiga tekstiandmestiku nimega Kuhi. Pile on 825.18 GiB ingliskeelne andmestik keele modelleerimiseks, mis kasutab 22 erinevat andmeallikat.

Praegu on need kogukonnad organiseeritud mitteametlikult ja toetuvad paljude vabatahtlike panusele. Nende jõupingutuste suurendamiseks saab sümboolseid hüvesid kasutada avatud lähtekoodiga andmekogumite loomise mehhanismina. Märke saab väljastada panuste põhjal, nagu näiteks suure tekstipildi andmestiku sildistamine, ja DAO kogukond võiks selliseid väiteid kinnitada. Lõppkokkuvõttes saavad suured mudelid väljastada žetoone ühisest kogumist ja nende mudelite peale ehitatud toodetest saadav tulu võib koguneda märgi väärtuseks. Nii saavad andmekogumi kaastöötajad oma žetoonide kaudu oma osa suurtes mudelites ja teadlased saavad avatud hooneressursse raha teenida.

Hästi koostatud avatud lähtekoodiga andmekogumite koostamine on kriitilise tähtsusega suurte mudelite uurimise juurdepääsetavuse laiendamiseks ja mudeli jõudluse parandamiseks. Tekstikujutiste andmekogumeid saab laiendada, suurendades erinevat tüüpi kujutiste suurust ja filtreid täpsemate tulemuste saamiseks. Mitte-ingliskeelseid andmekogumeid on vaja loomuliku keele mudelite koolitamiseks, mida muukeelsed elanikkonnad saavad kasutada. Aja jooksul saavutame need tulemused palju kiiremini ja avatumalt, kasutades web3 lähenemist.

Suuremahuliste närvivõrkude koolitamiseks vajalik arvutus on vundamendimudelite üks suurimaid kitsaskohti. Viimase kümnendi jooksul on AI mudelite väljaõppes nõudlus arvutamise järele kasvanud kahekordistus iga 3.4 kuu järel. Selle aja jooksul on tehisintellekti mudelid jõudnud pildituvastusest tugevdavate õppealgoritmide kasutamiseni, strateegiamängudes inimtšempionide võitmiseni ja keelemudelite treenimiseks trafode kasutamiseni. Näiteks OpenAI GPT-3-l oli 175 miljardit parameetrit ja selle treenimiseks kulus 3,640 petaFLOPS-päeva. Selleks kuluks maailma kiireimas superarvutis kaks nädalat ja tavalise sülearvuti arvutamiseks üle aastatuhande. Kuna mudelite suurused ainult kasvavad, jääb arvutamine valdkonna edendamise kitsaskohaks.

Tehisintellekti superarvutid vajavad spetsiaalset riistvara, mis on optimeeritud närvivõrkude treenimiseks vajalike matemaatiliste toimingute tegemiseks, nagu graafikaprotsessorid (GPU-d) või rakendusspetsiifilised integraallülitused (ASIC-id). Tänapäeval juhivad enamikku seda tüüpi arvutuste jaoks optimeeritud riistvarast mõned oligopoolsed pilveteenuse pakkujad, nagu Google Cloud, Amazon Web Services, Microsoft Azure ja IBM Cloud.

See on järgmine suurem ristmik, kus me näeme detsentraliseeritud arvutuste jaotamist avalike avatud võrkude kaudu. Detsentraliseeritud juhtimist võib kasutada kogukonna juhitud projektide koolitamiseks ja ressursside eraldamiseks. Lisaks võib detsentraliseeritud turumudel olla avatud kõigis geograafilistes piirkondades, nii et igal teadlasel on juurdepääs arvutusressurssidele. Kujutage ette bounty-süsteemi, mis rahastab mudelikoolitusi žetoonide väljastamise kaudu. Edukad ühisrahastamised saavad oma mudeli jaoks eelisjärjekorras arvutusi ja edendavad uuendusi seal, kus on suur nõudlus. Näiteks kui DAO-l on märkimisväärne nõudlus Hispaania või Hindi GPT mudeli tootmiseks, et teenindada suuremaid elanikkonnarühmi, võib uurimistöö keskenduda sellele valdkonnale.

Juba ettevõtetele meeldib GenSyn tegelevad protokollide käivitamisega, et ergutada ja koordineerida alternatiivset, kulutõhusat ja pilvepõhist riistvarajuurdepääsu süvaõppe arvutamiseks. Aja jooksul muutub jagatud, detsentraliseeritud ülemaailmne arvutusvõrk, mis on üles ehitatud web3 infrastruktuuriga, kuluefektiivsemaks mastaabiks ja teenindab meid paremini, kui uurime ühiselt tehisintellekti piiri.

Andmestikud ja arvutused võimaldavad seda lõputööd: avatud lähtekoodiga AI mudelid. Viimastel aastatel on suured mudelid muutunud üha privaatsemaks, kuna nende tootmiseks vajalikud ressursiinvesteeringud on sundinud projekte muutuma suletud lähtekoodiga.

Võtke OpenAI. OpenAI asutati 2015. aastal mittetulundusliku uurimislaboratooriumina, mille missiooniks on toota tehisintellekti kogu inimkonna hüvanguks, mis on terav kontrast tollaste tehisintellekti juhtidele Google'ile ja Facebookile. Aja jooksul on karm konkurents ja surve rahastamisele õõnestanud läbipaistvuse ja avatud lähtekoodiga koodide ideaale, kuna OpenAI läks üle kasumit teeniv mudel ja allkirjastas massilise 1 miljard dollarit kommertsleping Microsoftiga. Lisaks on hiljutised vaidlused ümbritsenud nende tekstist pildiks muutmise mudelit DALLE-2, selle üldistatud tsensuuri pärast. (Näiteks on DALLE-2 keelanud terminid "relv", "hukkama", "rünnak", "Ukraina" ja kuulsuste pildid; selline toores tsensuur takistab selliseid viipeid nagu "Lebron James ründab korvi" või "programmeerija hukkamas" Juurdepääs nende mudelite privaatsele beetaversioonile on lääne kasutajate jaoks kaudne geograafiline eelarvamus, mis takistab suurel hulgal maailma elanikkonnast nende mudelitega suhtlemast ja teavitamisest.

Tehisintellekti ei tohiks levitada nii: seda valvavad, kontrollivad ja säilitavad mõned suured tehnoloogiaettevõtted. Nagu plokiahela puhul, tuleks uudset tehnoloogiat rakendada võimalikult võrdselt, et selle eelised ei koonduks nende väheste hulka, kellel on juurdepääs. Tehisintellekti edusamme tuleks avalikult kasutada erinevates tööstusharudes, geograafilistes piirkondades ja kogukondades, et ühiselt avastada kõige kaasahaaravamad kasutusjuhtumid ja jõuda tehisintellekti õiglase kasutamise osas üksmeelele. Vundamendimudelite avatud lähtekoodiga hoidmine võib tagada tsensuuri vältimise ja eelarvamuste hoolika jälgimise avalikkuse ees.

Üldiste alusmudelite märgistruktuuriga on võimalik koondada suurem hulk kaastöölisi, kes saavad oma tööd raha teenida, vabastades samal ajal koodi avatud lähtekoodiga. Sellised projektid nagu OpenAI, mis on loodud avatud lähtekoodiga lõputööd silmas pidades, on pidanud muutuma iseseisvaks rahastatud ettevõtteks, et konkureerida talentide ja ressursside pärast. Web3 võimaldab avatud lähtekoodiga projektidel olla rahaliselt sama tulus ja konkureerida veelgi nendega, mida juhivad Big Techi erainvesteeringud. Lisaks saavad avatud lähtekoodiga mudelitele tooteid ehitavad uuendajad olla kindlad, et aluseks olev tehisintellekt on läbipaistev. Selle järelmõju on uudsete tehisintellekti kasutusjuhtude kiire kasutuselevõtt ja turule toomine. Web3 ruumis hõlmab see turvarakendused mis viivad läbi nutikate lepingute haavatavuste ja vaibatõmbluste ennustavat analüüsi, pildigeneraatorid mida saab kasutada NFT-de vermimiseks ja metaverssete maastike loomiseks, digitaalsed AI isiksused mis võivad ahelas eksisteerida, et säilitada individuaalset omandiõigust ja palju muud.

Tehisintellekt on tänapäeval üks kiiremini arenevaid tehnoloogiaid, millel on tohutu mõju meie ühiskonnale tervikuna. Tänapäeval domineerib selles valdkonnas suur tehnoloogia, kuna rahalised investeeringud talentidesse, andmetesse ja arvutusse loovad märkimisväärseid takistusi avatud lähtekoodiga arendamisele. Web3 integreerimine tehisintellekti infrastruktuurikihti on otsustava tähtsusega samm tagamaks, et tehisintellektisüsteemid ehitatakse üles viisil, mis on õiglane, avatud ja juurdepääsetav. Me juba näeme, et avatud mudelid võtavad avatud ruumides, nagu Twitter ja HuggingFace, kiire avaliku innovatsiooni positsiooni ning krüptotehnoloogia võib neid jõupingutusi edasi liikuda.

Siin on see, mida CoinFundi meeskond AI ja krüpto ristumiskohast otsib:

1. Meeskonnad, kelle missiooni keskmes on avatud tehisintellekt
2. Kogukonnad, mis kureerivad avalikke ressursse, nagu andmeid ja arvutusi, et aidata luua tehisintellekti mudeleid
3. Tooted, mis kasutavad tehisintellekti loovuse, turvalisuse ja innovatsiooni toomiseks tavakasutusse

Kui ehitate projekti tehisintellekti ja web3 ristumiskohas, vestelge meiega, võttes ühendust CoinFundiga aadressil puperdama või e-mail rishin@coinfund.io or jake@coinfund.io.