Odprte nevronske mreže: presečišče AI in spleta3

avtorja Rishin Sharma & Jake Brukhman.

Posebna zahvala vsem, ki so podali povratne informacije o tem delu, vključno z Nickom Yakovenkom, Davidom Pakmanom, Janom Coppensom, AC, Evanom Fengom, Adi Sidemanom.

Vir: slika, ustvarjena z AI iz Lexica.art, stabilnega difuzijskega iskalnika

Tehnološke inovacije nikoli ne počivajo, še posebej pa to velja za umetno inteligenco. V zadnjih nekaj letih smo bili priča priljubljenosti modelov globokega učenja, ki se ponovno pojavljajo kot predhodniki v AI. Imenovan tudi kot nevronske mreže, so ti modeli sestavljeni iz gosto medsebojno povezanih plasti vozlišč, ki prenašajo informacije drug skozi drugega, kar grobo posnema konstrukcijo človeških možganov. V začetku leta 2010 so imeli najnaprednejši modeli na milijone parametrov, močno nadzorovane modele, ki so se uporabljali za specifično analizo čustev in klasifikacijo. Današnji najnaprednejši modeli kot npr sanjski studio, GPT-3, DALL-E2in Slika se približujejo bilijonu parametrov in opravljajo kompleksne in celo ustvarjalne naloge, ki tekmujejo s človeškim delom. Vzemimo za primer sliko glave ali povzetek te objave v spletnem dnevniku. Oboje je ustvarila umetna inteligenca. Šele začenjamo opažati družbene in kulturne posledice teh modelov, saj oblikujejo, kako se učimo novih stvari, komuniciramo drug z drugim in se ustvarjalno izražamo.

Vendar je večina tehničnega znanja, ključnih podatkovnih nizov in računalniških zmožnosti za urjenje velikih nevronskih mrež danes zaprtokodna in prepuščena »velikim tehnološkim« podjetjem, kot sta Google in Meta. Medtem ko replika odprtokodnih modelov, kot je npr GPT-NeoX, DALLE-megain BLOOM so jih vodile organizacije, vključno z Stabilnost AI, Eleuther AIin HuggingFace, je web3 pripravljen še bolj napolniti odprtokodno umetno inteligenco.

»Infrastrukturna plast web3 za umetno inteligenco bi lahko uvedla elemente odprtokodnega razvoja, lastništva in upravljanja skupnosti ter univerzalnega dostopa, ki ustvarja nove modele in učinkovitost pri razvoju teh novih tehnologij."

Poleg tega bodo številni kritični primeri uporabe za web3 izboljšani s sprejetjem tehnologij umetne inteligence. Od generativne umetnosti NFT do metaverzalnih pokrajin bo umetna inteligenca v web3 našla številne primere uporabe. Odprtokodni AI se ujema z odprtim, decentraliziranim in demokratiziranim etosom web3 in predstavlja alternativo AI, ki ga ponuja Big Tech, ki verjetno ne bo kmalu odprt.

Modeli temeljev so nevronske mreže, usposobljene na obsežnih zbirkah podatkov za opravljanje nalog, ki bi običajno zahtevale inteligentno človeško vedenje. Ti modeli so ustvarili nekaj impresivnih rezultatov.

Jezikovni modeli, kot je OpenAI GPT-3, Googlova LaMDAin Nvidijin Megatron-Turing NLG imeti sposobnost razumevanja in ustvarjanja naravnega jezika, povzemanja in sintetiziranja besedila in celo napisati računalniško kodo.

DALLE-2 je OpenAI model difuzije besedila v sliko ki lahko ustvari edinstvene slike iz napisanega besedila. Googlov oddelek za umetno inteligenco DeepMind je izdelal konkurenčne modele, vključno s PaLM, jezikovnim modelom parametrov 540B, in Imagen, lastnim modelom za generiranje slik, ki prekaša DALLE-2 na merilih DrawBench in COCO FID. Imagen daje predvsem bolj fotorealistične rezultate in ima možnost črkovanja.

Modeli učenja s krepitvijo, kot je Googlov AlphaGo so premagali human Go svetovni prvak medtem ko odkriva nove strategije in tehnike igranja, ki se v tritisočletni zgodovini igre še niso pojavile.

Dirka za izdelavo kompleksnih modelov temeljev se je že začela z Big Techom na čelu inovacij. Čeprav je napredek na tem področju razburljiv, obstaja ključna tema, ki je zaskrbljujoča.

V zadnjem desetletju, ko so modeli AI postali bolj izpopolnjeni, so postali tudi vse bolj zaprti za javnost.

Tehnični velikani veliko vlagajo v izdelavo takšnih modelov ter ohranjanje podatkov in kode kot lastniške tehnologije, hkrati pa ohranjajo svoj konkurenčni jarek s prednostmi svoje ekonomije obsega za usposabljanje modelov in računanje.

Za katero koli tretjo osebo je izdelava temeljnih modelov proces, ki zahteva veliko virov in ima tri glavna ozka grla: podatki, računanje, in Monetizacija.

Tukaj vidimo zgodnje prodore tem web3 pri reševanju nekaterih od teh težav.

Označeni nizi podatkov so ključnega pomena za izdelavo učinkovitih modelov. Sistemi umetne inteligence se učijo s posploševanjem iz primerov v nizih podatkov in se nenehno izboljšujejo, ko se sčasoma usposabljajo. Vendar kakovostno zbiranje podatkovnih nizov in označevanje zahtevata poleg računalniških virov tudi specializirano znanje in obdelavo. Velika tehnološka podjetja imajo pogosto notranje podatkovne skupine, specializirane za delo z velikimi lastniškimi nabori podatkov in IP sistemi za usposabljanje svojih modelov in imajo malo spodbude za odprtje dostopa do proizvodnje ali distribucije svojih podatkov.

Že obstajajo skupnosti, ki ustvarjajo modelno usposabljanje odprto in dostopno svetovni skupnosti raziskovalcev. Tukaj je nekaj primerov:

1. Navadni pajk, javno skladišče desetletnih internetnih podatkov, se lahko uporablja za splošno usposabljanje. (Čeprav Raziskave kažejo, da lahko natančnejši, razporejeni nabori podatkov izboljšajo splošno znanje med domenami in zmožnosti posploševanja na nižji stopnji modelov.)
2. LAION je neprofitna organizacija, katere cilj je dati obsežne modele strojnega učenja in nabore podatkov na voljo širši javnosti ter jih objaviti LAION5B, 5.85 milijard nabora podatkov parov slika-besedilo, filtriranih s CLIP, ki je po objavi postal največji odprto dostopen nabor podatkov slika-besedilo na svetu.
3. Eleuther AI je decentraliziran kolektiv, ki je izdal enega največjih naborov odprtokodnih besedilnih podatkov, imenovan Kup. Pile je nabor podatkov v angleškem jeziku 825.18 GiB za jezikovno modeliranje, ki uporablja 22 različnih virov podatkov.

Trenutno so te skupnosti organizirane neformalno in se zanašajo na prispevke široke baze prostovoljcev. Da bi povečali njihova prizadevanja, je mogoče nagrade žetonov uporabiti kot mehanizem za ustvarjanje odprtokodnih naborov podatkov. Žetoni bi se lahko izdali na podlagi prispevkov, kot je označevanje velikega nabora besedilnih in slikovnih podatkov, in skupnost DAO bi lahko potrdila takšne trditve. Konec koncev lahko veliki modeli izdajajo žetone iz skupnega bazena, prihodki od izdelkov, zgrajenih na podlagi omenjenih modelov, pa se lahko prištejejo vrednosti žetona. Na ta način lahko prispevajoči nabor podatkov prek svojih žetonov pridobijo delež v velikih modelih, raziskovalci pa bodo lahko monetizirali vire gradnje na prostem.

Zbiranje dobro zgrajenih odprtokodnih naborov podatkov je ključnega pomena za razširitev raziskovalne dostopnosti za velike modele in izboljšanje učinkovitosti modela. Nabore besedilnih in slikovnih podatkov je mogoče razširiti s povečanjem velikosti in filtrov za različne vrste slik za natančnejše rezultate. Neangleški nabori podatkov bodo potrebni za usposabljanje modelov naravnega jezika, ki jih lahko uporablja neangleško govoreče prebivalstvo. Sčasoma lahko s pristopom web3 te rezultate dosežemo veliko hitreje in bolj odprto.

Računanje, potrebno za usposabljanje obsežnih nevronskih mrež, je eno največjih ozkih grl v temeljnih modelih. V zadnjem desetletju se je povečalo povpraševanje po računalništvu pri usposabljanju modelov AI podvojila vsake 3.4 meseca. V tem obdobju so modeli umetne inteligence prešli od prepoznavanja slik do uporabe algoritmov učenja okrepitve do premagovanja človeških prvakov v strateških igrah in uporabe transformatorjev za urjenje jezikovnih modelov. Na primer, GPT-3 OpenAI je imel 175 milijard parametrov in je za usposabljanje potreboval 3,640 petaFLOPS dni. To bi trajalo dva tedna na najhitrejšem superračunalniku na svetu in več kot tisočletje za računanje standardnega prenosnika. Ker velikosti modelov le še rastejo, računalništvo ostaja ozko grlo pri napredku tega področja.

Superračunalniki z umetno inteligenco zahtevajo posebno strojno opremo, optimizirano za izvajanje matematičnih operacij, potrebnih za usposabljanje nevronskih mrež, kot so grafične procesne enote (GPU) ali integrirana vezja, specifična za aplikacijo (ASIC). Danes večino strojne opreme, optimizirane za to vrsto računanja, nadzoruje nekaj oligopolnih ponudnikov storitev v oblaku, kot so Google Cloud, Amazon Web Services, Microsoft Azure in IBM Cloud.

To je naslednje večje križišče, kjer vidimo, da se decentralizirana dodelitev računalništva prek javnih, odprtih omrežij vse bolj uveljavlja. Decentralizirano upravljanje se lahko uporablja za financiranje in dodeljevanje virov za usposabljanje projektov, ki jih vodi skupnost. Poleg tega je lahko model decentralizirane tržnice odprto dostopen po geografskih območjih, tako da lahko vsak raziskovalec dostopa do računalniških virov. Predstavljajte si sistem nagrad, ki z izdajanjem žetonov modelira usposabljanje z množičnim financiranjem. Uspešno množično financiranje bo prejelo prednostno računanje za svoj model in spodbujalo inovacije tam, kjer je veliko povpraševanje. Na primer, če obstaja veliko povpraševanje DAO po izdelavi španskega ali hindijskega modela GPT, ki bi služil večjim skupinam prebivalstva, se lahko raziskava osredotoči na to področje.

Že podjetja, kot GenSyn delajo na lansiranju protokolov za spodbujanje in usklajevanje alternativnega, stroškovno učinkovitega in v oblaku temelječega dostopa do strojne opreme za računalništvo z globokim učenjem. Sčasoma bo skupno decentralizirano globalno računalniško omrežje, zgrajeno z infrastrukturo web3, postalo stroškovno učinkovitejše za prilagajanje in nam bo bolje služilo, ko skupaj raziskujemo meje umetne inteligence.

Nabori podatkov in računanje bodo omogočili to tezo: odprtokodni modeli AI. V zadnjih nekaj letih so veliki modeli postali vse bolj zasebni, saj so naložbe v vire, potrebne za njihovo proizvodnjo, spodbudile projekte, da postanejo zaprtokodni.

Vzemite OpenAI. OpenAI je bil ustanovljen leta 2015 kot neprofitni raziskovalni laboratorij z misijo proizvajanja umetne splošne inteligence v korist celotnega človeštva, kar je ostro nasprotje od vodilnih v AI takrat, Googla in Facebooka. Sčasoma sta ostra konkurenca in pritisk za financiranje spodkopala ideale preglednosti in odprtokodne kode, ko je OpenAI prešel na profitni model in podpisal množično Komercialna pogodba z Microsoftom v vrednosti 1 milijarde dolarjev. Poleg tega je nedavna polemika obkrožala njihov model besedila v sliko, DALLE-2, zaradi svoje splošne cenzure. (DALLE-2 je na primer prepovedal izraze »pištola«, »usmrtiti«, »napadi«, »Ukrajina« in podobe slavnih oseb; takšna surova cenzura preprečuje pozive, kot sta »Lebron James napada koš« ali »programer izvaja vrstica kode'.) Dostop do zasebne različice beta za te modele ima implicitno geografsko pristranskost za zahodne uporabnike, da bi velike dele svetovnega prebivalstva odrezali od interakcije in obveščanja teh modelov.

Umetne inteligence ne bi smeli razširjati tako: varovana, nadzorovana in ohranjena s strani nekaj velikih tehnoloških podjetij. Tako kot v primeru verige blokov je treba novo tehnologijo uporabljati čim bolj pravično, da se njene koristi ne koncentrirajo med redkimi, ki imajo dostop. Sestavljeni napredek na področju umetne inteligence je treba odkrito uporabiti v različnih panogah, geografskih območjih in skupnostih, da bi skupaj odkrili najbolj privlačne primere uporabe in dosegli soglasje o pošteni uporabi umetne inteligence. Ohranjanje odprtokodnih modelov temeljev lahko zagotovi preprečitev cenzure in skrbno spremljanje pristranskosti v javnosti.

S strukturo žetonov za splošne temeljne modele bo mogoče združiti večjo skupino sodelavcev, ki bodo lahko monetizirali svoje delo, medtem ko bodo izdajali odprtokodno kodo. Projekti, kot je OpenAI, zgrajeni z odprtokodno tezo v mislih, so se morali preusmeriti v samostojno financirano podjetje, da bi tekmovali za talente in vire. Web3 omogoča, da so odprtokodni projekti tako finančno donosni in še bolj konkurenčni tistim, ki jih vodijo zasebne naložbe Big Tech. Poleg tega lahko inovatorji, ki gradijo izdelke na podlagi odprtokodnih modelov, gradijo z zaupanjem, da je v osnovni umetni inteligenci preglednost. Nadaljnji učinek tega bo hitro sprejemanje in trženje novih primerov uporabe umetne inteligence. V prostoru web3 to vključuje varnostne aplikacije ki izvaja napovedno analitiko za ranljivosti pametnih pogodb in vlečenje preprog, generatorji slik ki se lahko uporabljajo za kovanje NFT-jev in ustvarjanje pokrajin metaverse, osebnosti digitalne umetne inteligence ki lahko obstajajo v verigi, da ohranijo individualno lastništvo, in še veliko več.

Umetna inteligenca je danes ena najhitreje napredujočih tehnologij, ki bo imela ogromne posledice za našo družbo kot celoto. Danes na tem področju prevladuje velika tehnologija, saj finančne naložbe v talente, podatke in računalništvo ustvarjajo pomembne jarke za odprtokodni razvoj. Integracija web3 v infrastrukturno plast umetne inteligence je ključni korak, da zagotovimo, da so sistemi umetne inteligence zgrajeni na pravičen, odprt in dostopen način. Že vidimo, da odprti modeli zavzemajo položaj hitre javne inovacije v odprtih prostorih, kot sta Twitter in HuggingFace, in kripto lahko ta prizadevanja pospeši.

Tukaj je tisto, kar ekipa CoinFund išče na stičišču AI in kripto:

1. Ekipe z odprto umetno inteligenco v središču njihove misije
2. Skupnosti, ki skrbijo za javne vire, kot so podatki in računalništvo, za pomoč pri gradnji modelov umetne inteligence
3. Izdelki, ki uporabljajo umetno inteligenco za vnos ustvarjalnosti, varnosti in inovativnosti v splošno sprejetje

Če gradite projekt na stičišču AI in web3, poklepetajte z nami tako, da se obrnete na CoinFund na Twitter ali e-pošta rishin@coinfund.io or jake@coinfund.io.