Åbne neurale netværk: skæringspunktet mellem AI og web3

af Rishin Sharma & Jake Brukhman.

Særlig tak til alle, der gav feedback på dette stykke, inklusive Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Kilde: AI-genereret billede fra Lexica.art, en stabil diffusionssøgemaskine

Teknologisk innovation hviler aldrig, og det gælder især for kunstig intelligens. I løbet af de sidste par år har vi set populariteten af ​​deep learning-modeller genopstå som forløbere inden for AI. Også omtalt som neurale netværk, består disse modeller af tæt indbyrdes forbundne lag af noder, der passerer information gennem hinanden, hvilket groft efterligner konstruktionen af ​​den menneskelige hjerne. I begyndelsen af ​​2010'erne havde de mest avancerede modeller millioner af parametre, stærkt overvågede modeller, der blev brugt til specifik sentimentanalyse og klassificering. Dagens mest avancerede modeller som f.eks DreamStudio, GPT-3, DALL-E2og Billede nærmer sig en trillion parametre og udfører komplekse og endda kreative opgaver, der konkurrerer med menneskeligt arbejde. Tag for eksempel dette blogindlægs overskriftsbillede eller resumé. Begge blev produceret af kunstig intelligens. Vi er lige begyndt at se de sociale og kulturelle implikationer af disse modeller, da de former, hvordan vi lærer nye ting, interagerer med hinanden og udtrykker os kreativt.

Men meget af den tekniske knowhow, nøgledatasæt og beregningsevnen til at træne store neurale netværk i dag er lukket kilde og lukket af "Big Tech"-virksomheder som Google og Meta. Mens replika open source-modeller som f.eks GPT-NeoX, DALLE-megaog BLOOM været ledet af organisationer, bl.a StabilitetAI, Eleuther AIog KrammerFace, web3 er klar til at superlade open source AI endnu mere.

"Et web3-infrastrukturlag til kunstig intelligens kunne introducere elementer af open source-udvikling, fællesskabsejerskab og -styring og universel adgang, der skaber nye modeller og effektivitet i udviklingen af ​​disse nye teknologier."

Ydermere vil mange kritiske use cases for web3 blive forbedret ved indførelse af AI-teknologier. Fra generative kunst NFT'er til metaversale landskaber, vil AI finde mange use cases i web3. Open source AI passer ind i web3's åbne, decentraliserede og demokratiserede etos og repræsenterer et alternativ til AI'en leveret af Big Tech, som sandsynligvis ikke bliver åben i den nærmeste fremtid.

Fundamentmodeller er neurale netværk trænet på omfattende datasæt til at udføre opgaver, der normalt ville kræve intelligent menneskelig adfærd. Disse modeller har skabt nogle imponerende resultater.

Sprogmodeller såsom OpenAI's GPT-3, Googles LaMDAog Nvidias Megatron-Turing NLG har evnen til at forstå og producere naturligt sprog, opsummere og syntetisere tekst og endda skrive computerkode.

DALLE-2 er OpenAI's tekst-til-billede spredningsmodel der kan producere unikke billeder ud fra skrevet tekst. Googles AI-afdeling DeepMind har produceret konkurrerende modeller, herunder PaLM, en 540B parametersprogmodel, og Imagen, sin egen billedgenereringsmodel, der overgår DALLE-2 på DrawBench og COCO FID Benchmarks. Imagen producerer især mere fotorealistiske resultater og har evnen til at stave.

Forstærkende læringsmodeller som f.eks. Googles AlphaGo har besejret human Go verdensmester mens du opdager nye strategier og spilleteknikker, der ikke er dukket op i spillets tre tusinde år lange historie.

Kapløbet om at bygge komplekse fundamentmodeller er allerede begyndt med Big Tech på forkant med innovation. Lige så spændende som udviklingen på området er, er der et nøgletema, der bekymrer.

I løbet af det seneste årti, efterhånden som AI-modeller er blevet mere sofistikerede, er de også blevet mere og mere lukkede for offentligheden.

Tech-giganter investerer kraftigt i at producere sådanne modeller og bevare data og kode som proprietære teknologier, mens de bevarer deres konkurrencedygtige voldgrav gennem deres stordriftsfordele til modeltræning og beregning.

For enhver tredjepart er fremstilling af fundamentmodeller en ressourcekrævende proces med tre store flaskehalse: data, beregne, , monetarisering.

Det er her, vi ser tidlige indtog af web3-temaer i løsningen af ​​nogle af disse problemer.

Mærkede datasæt er afgørende for opbygning af effektive modeller. AI-systemer lærer ved at generalisere fra eksempler i datasæt og forbedres løbende, efterhånden som de trænes over tid. Kvalitetsdatasætkompilering og -mærkning kræver dog specialiseret viden og bearbejdning ud over beregningsressourcer. Store teknologivirksomheder vil ofte have interne datateams, der er specialiseret i at arbejde med store, proprietære datasæt og IP systemer at træne deres modeller og har ringe incitament til at åbne adgang til produktion eller distribution af deres data.

Der er allerede fællesskaber, der gør modeltræning åben og tilgængelig for et globalt samfund af forskere. Her er nogle eksempler:

1. Almindelig gennemgang, et offentligt lager af ti års internetdata, kan bruges til generel træning. (Selvom forskning viser at mere præcise, parrede datasæt kan forbedre modellernes generelle viden på tværs af domæner og downstream-generaliseringskapaciteter.)
2. LAION er en non-profit organisation, der har til formål at gøre store maskinlæringsmodeller og datasæt tilgængelige for offentligheden og frigivet LAION5B, et 5.85 milliarder CLIP-filtreret billed-tekst-pardatasæt, der ved udgivelsen blev det største åbent tilgængelige billed-tekst-datasæt i verden.
3. Eleuther AI er et decentraliseret kollektiv, der udgav et af de største open source tekstdatasæt kaldet Bunken. The Pile er et 825.18 GiB engelsksproget datasæt til sprogmodellering, der bruger 22 forskellige datakilder.

I øjeblikket er disse fællesskaber organiseret uformelt og er afhængige af bidrag fra en bred frivilligbase. For at øge deres indsats kan token-belønninger bruges som en mekanisme til at skabe open source-datasæt. Tokens kunne udsendes baseret på bidrag, såsom mærkning af et stort tekst-billeddatasæt, og et DAO-fællesskab kunne validere sådanne påstande. I sidste ende kan store modeller udstede tokens fra en fælles pulje, og downstream-indtægter fra produkter bygget oven på nævnte modeller kan tilfalde tokenværdien. På denne måde kan datasætbidragydere holde en andel i de store modeller gennem deres tokens, og forskere vil være i stand til at tjene penge på bygningsressourcer i det fri.

Kompilering af velkonstruerede open source-datasæt er afgørende for at udvide forskningstilgængeligheden for store modeller og forbedre modellens ydeevne. Tekst-billeddatasæt kan udvides ved at øge størrelsen og filtrene for forskellige typer billeder for mere finjusterede resultater. Ikke-engelske datasæt vil være nødvendige for at træne naturlige sprogmodeller, som ikke-engelsktalende befolkninger kan bruge. Med tiden kan vi opnå disse resultater meget hurtigere og mere åbent ved hjælp af en web3-tilgang.

Den beregning, der kræves for at træne store neurale netværk, er en af ​​de største flaskehalse i fundamentmodeller. I løbet af det seneste årti har efterspørgslen efter computere til træning af AI-modeller været fordobles hver 3.4 måned. I denne periode er AI-modeller gået fra billedgenkendelse til at bruge forstærkende læringsalgoritmer til at slå menneskelige mestre i strategispil og bruge transformere til at træne sprogmodeller. For eksempel havde OpenAI's GPT-3 175 milliarder parametre og tog 3,640 petaFLOPS-dage at træne. Dette ville tage to uger på verdens hurtigste supercomputer og over et årtusinde for en almindelig bærbar computer at beregne. Da modelstørrelser kun fortsætter med at vokse, er computer fortsat en flaskehals i udviklingen af ​​feltet.

AI-supercomputere kræver specifik hardware, der er optimeret til at udføre de matematiske operationer, der er nødvendige for at træne neurale netværk, såsom Graphics Processing Units (GPU'er) eller Application-Specific Integrated Circuits (ASIC'er). I dag styres det meste af hardwaren, der er optimeret til denne type beregninger, af nogle få oligopolistiske cloud-tjenesteudbydere som Google Cloud, Amazon Web Services, Microsoft Azure og IBM Cloud.

Dette er det næste store kryds, hvor vi ser decentraliseret computerallokering gennem offentlige, åbne netværk vinde indpas. Decentral styring kan bruges til at finansiere og allokere ressourcer til at træne samfundsdrevne projekter. Yderligere kan en decentraliseret markedspladsmodel være åbent tilgængelig på tværs af geografiske områder, således at enhver forsker kan få adgang til computerressourcer. Forestil dig et dusørsystem, der crowdfunder modeltræning ved at udstede tokens. Succesfulde crowdfundings vil modtage prioriteret beregning af deres model og skubbe innovationer frem, hvor der er stor efterspørgsel. For eksempel, hvis der er betydelig efterspørgsel fra DAO om at producere en spansk eller hindi GPT-model til at betjene større dele af befolkningen, kan forskning fokuseres på dette domæne.

Allerede nu kan virksomheder godt lide GenSyn arbejder på at lancere protokoller for at tilskynde til og koordinere alternativ, omkostningseffektiv og cloud-baseret hardwareadgang til deep learning-beregning. Over tid vil et delt, decentraliseret globalt computernetværk bygget med web3-infrastruktur blive mere omkostningseffektivt at skalere og bedre tjene os, når vi i fællesskab udforsker grænsen for kunstig intelligens.

Datasæt og beregning vil muliggøre denne afhandling: open source AI-modeller. I løbet af de sidste par år er store modeller blevet mere og mere private, da de ressourceinvesteringer, der er nødvendige for at producere dem, har skubbet projekter til at blive lukket kilde.

Tag OpenAI. OpenAI blev grundlagt i 2015 som et nonprofit forskningslaboratorium med missionen at producere kunstig generel intelligens til gavn for hele menneskeheden, en skarp kontrast fra lederne inden for kunstig intelligens på det tidspunkt, Google og Facebook. Over tid har hård konkurrence og pres om finansiering udhulet idealer om gennemsigtighed og open-sourcing-kode, da OpenAI skiftede til en for-profit model og underskrev en massiv $1 milliard kommerciel aftale med Microsoft. Yderligere har nylige kontroverser omgivet deres tekst-til-billede model, DALLE-2, for dens generaliserede censur. (F.eks. har DALLE-2 forbudt udtrykkene 'pistol, 'udfør', 'angreb', 'Ukraine' og billeder af berømtheder; sådan rå censur forhindrer prompter såsom 'Lebron James angriber kurven' eller 'en programmør, der udfører en linje af kode'.) Adgang til den private beta for disse modeller har en implicit geografisk skævhed for vestlige brugere til at afskære store dele af den globale befolkning fra at interagere og informere disse modeller.

Det er ikke sådan kunstig intelligens skal formidles: bevogtet, overvåget og bevaret af nogle få store teknologivirksomheder. Som i tilfældet med blockchain, bør ny teknologi anvendes så retfærdigt som muligt, så dens fordele ikke koncentreres blandt de få, der har adgang. Sammenfattende fremskridt inden for kunstig intelligens bør udnyttes åbent på tværs af forskellige industrier, geografier og samfund for i fællesskab at opdage de mest engagerende use cases og nå en konsensus om fair brug af AI. At holde grundlagsmodeller open source kan sikre, at censur forhindres, og bias overvåges omhyggeligt under offentlig visning.

Med en symbolsk struktur for generaliserede fundamentmodeller vil det være muligt at samle en større pulje af bidragydere, der kan tjene penge på deres arbejde, mens de frigiver kode open source. Projekter som OpenAI bygget med en open source-afhandling i tankerne har været nødt til at dreje til en selvstændig finansieret virksomhed for at konkurrere om talent og ressourcer. Web3 tillader open source-projekter at være lige så økonomisk lukrative og konkurrere yderligere med dem, der ledes af private investeringer fra Big Tech. Yderligere kan innovatører, der bygger produkter oven på open source-modeller, bygge med tillid til, at der er gennemsigtighed i den underliggende AI. Nedstrømseffekten af ​​dette vil være den hurtige adoption og go-to-market for nye kunstig intelligens-brugssager. I web3-rummet omfatter dette sikkerhedsapplikationer der udfører forudsigende analyser for intelligente kontraktsårbarheder og rug-pull, billedgeneratorer der kan bruges til at præge NFT'er og skabe metaverse landskaber, digitale AI-personligheder der kan eksistere på kæden for at bevare individuelt ejerskab og meget mere.

Kunstig intelligens er en af ​​de hurtigst fremadskridende teknologier i dag, som vil have enorme konsekvenser for vores samfund som helhed. I dag er feltet domineret af big tech, da finansielle investeringer i talent, data og computere skaber betydelige voldgrave til open source-udvikling. Integration af web3 i infrastrukturlaget for AI er et afgørende skridt at tage for at sikre, at kunstig intelligens-systemer er bygget på en måde, der er fair, åben og tilgængelig. Vi ser allerede åbne modeller indtage en position med hurtig, offentlig innovation i åbne rum som Twitter og HuggingFace, og krypto kan overlade disse bestræbelser fremadrettet.

Her er, hvad CoinFund-teamet leder efter i skæringspunktet mellem AI og krypto:

1. Hold med åben kunstig intelligens i kernen af ​​deres mission
2. Fællesskaber, der kuraterer offentlige ressourcer som data og computere for at hjælpe med at bygge AI-modeller
3. Produkter, der bruger AI til at bringe kreativitet, sikkerhed og innovation til mainstream-adoption

Hvis du bygger et projekt på krydsfeltet mellem AI og web3, kan du chatte med os ved at kontakte CoinFund på Twitter eller e-mail rishin@coinfund.io or jake@coinfund.io.