Åpne nevrale nettverk: skjæringspunktet mellom AI og web3

av Rishin Sharma og Jake Brukhman.

Spesiell takk til alle som ga tilbakemeldinger på dette stykket, inkludert Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Kilde: AI-generert bilde fra Lexica.art, en stabil spredningssøkemotor

Teknologisk innovasjon hviler aldri, og dette gjelder spesielt for kunstig intelligens. I løpet av de siste årene har vi sett populariteten til dyplæringsmodeller dukke opp igjen som forløpere innen AI. Også referert til som nevrale nettverk, består disse modellene av tett sammenkoblede lag med noder som sender informasjon gjennom hverandre, og etterligner grovt sett konstruksjonen av den menneskelige hjernen. På begynnelsen av 2010-tallet hadde de mest avanserte modellene millioner av parametere, tungt overvåkede modeller som ble brukt til spesifikk sentimentanalyse og klassifisering. Dagens mest avanserte modeller som f.eks drømmestudio, GPT-3, DALL-E2og Bilde nærmer seg en billion parametere og utfører komplekse og til og med kreative oppgaver som konkurrerer med menneskelig arbeid. Ta for eksempel dette blogginnleggets overskriftsbilde eller sammendrag. Begge ble produsert av kunstig intelligens. Vi har akkurat begynt å se de sosiale og kulturelle implikasjonene av disse modellene når de former hvordan vi lærer nye ting, samhandler med hverandre og uttrykker oss kreativt.

Imidlertid er mye av den tekniske kunnskapen, nøkkeldatasettene og beregningsevnen til å trene store nevrale nettverk i dag lukket kildekode og lukket av "Big Tech"-selskaper som Google og Meta. Mens repliker åpen kildekode-modeller som f.eks GPT-NeoX, DALLE-megaog BLOOM har vært ledet av organisasjoner inkludert StabilitetAI, Eleuther AIog Klem ansikt, web3 er klar til å superlade åpen kildekode AI enda mer.

"Et web3-infrastrukturlag for AI kan introdusere elementer av åpen kildekode-utvikling, fellesskapseierskap og styring, og universell tilgang som skaper nye modeller og effektivitet i utviklingen av disse nye teknologiene."

Videre vil mange kritiske brukstilfeller for web3 bli forbedret ved å ta i bruk AI-teknologier. Fra generative kunst-NFT-er til metaversale landskap vil AI finne mange bruksområder i web3. Åpen kildekode AI passer inn i den åpne, desentraliserte og demokratiserte etosen til web3 og representerer et alternativ til AI levert av Big Tech, som sannsynligvis ikke vil bli åpen med det første.

Fundamentmodeller er nevrale nettverk trent på omfattende datasett for å utføre oppgaver som normalt ville kreve intelligent menneskelig atferd. Disse modellene har skapt noen imponerende resultater.

Språkmodeller som OpenAI's GPT-3, Googles LaMDAog Nvidias Megatron-Turing NLG ha evnen til å forstå og produsere naturlig språk, oppsummere og syntetisere tekst, og til og med skrive datamaskinkode.

DALLE-2 er OpenAI sin tekst-til-bilde spredningsmodell som kan produsere unike bilder fra skrevet tekst. Googles AI-avdeling DeepMind har produsert konkurrerende modeller inkludert PaLM, en 540B parameterspråkmodell, og Imagen, sin egen bildegenereringsmodell som overgår DALLE-2 på DrawBench og COCO FID Benchmarks. Imagen produserer spesielt mer fotorealistiske resultater og har evnen til å stave.

Forsterkende læringsmodeller som Googles AlphaGo har beseiret human Go verdensmester mens du oppdager nye strategier og spilleteknikker som ikke har dukket opp i spillets tre tusen år lange historie.

Kappløpet om å bygge komplekse fundamentmodeller har allerede startet med Big Tech i spissen for innovasjon. Så spennende som utviklingen av feltet er, er det et sentralt tema som er bekymrende.

I løpet av det siste tiåret, ettersom AI-modeller har blitt mer sofistikerte, har de også blitt stadig mer lukket for publikum.

Tekniske giganter investerer tungt i å produsere slike modeller og beholde data og kode som proprietære teknologier samtidig som de bevarer deres konkurransedyktige vollgrav gjennom deres stordriftsfordeler for modelltrening og beregning.

For enhver tredjepart er produksjon av fundamentmodeller en ressurskrevende prosess med tre store flaskehalser: data, beregne, og inntjenings.

Det er her vi ser tidlige inngrep i web3-temaer for å løse noen av disse problemene.

Merkede datasett er avgjørende for å bygge effektive modeller. AI-systemer lærer ved å generalisere fra eksempler i datasett og forbedres kontinuerlig etter hvert som de trenes opp over tid. Imidlertid krever kompilering og merking av kvalitetsdatasett spesialisert kunnskap og prosessering i tillegg til beregningsressurser. Store teknologiselskaper vil ofte ha interne datateam spesialisert på å jobbe med store, proprietære datasett og IP-systemer å trene modellene sine, og har lite insentiv til å åpne tilgang til produksjon eller distribusjon av dataene deres.

Det er allerede samfunn som gjør modelltrening åpen og tilgjengelig for et globalt fellesskap av forskere. Her er noen eksempler:

1. Vanlig gjennomgang, et offentlig oppbevaringssted for ti år med internettdata, kan brukes til generell opplæring. (Selv om forskning viser at mer presise, parede datasett kan forbedre den generelle kunnskapen på tvers av domener og nedstrøms generaliseringsevner til modellene.)
2. LAION er en ideell organisasjon som tar sikte på å gjøre store maskinlæringsmodeller og datasett tilgjengelige for allmennheten og utgitt LAION5B, et 5.85 milliarder CLIP-filtrert bilde-tekst-pardatasett som ved utgivelse ble det største åpent tilgjengelige bilde-tekstdatasettet i verden.
3. Eleuther AI er et desentralisert kollektiv som ga ut et av de største åpen kildekodetekstdatasettene kalt Haugen. The Pile er et 825.18 GiB engelskspråklig datasett for språkmodellering som bruker 22 forskjellige datakilder.

For tiden er disse samfunnene organisert uformelt og er avhengige av bidrag fra en bred frivillighetsbase. For å øke innsatsen deres, kan tokenbelønninger brukes som en mekanisme for å lage åpen kildekode-datasett. Tokens kan sendes ut basert på bidrag, for eksempel merking av et stort tekstbildedatasett, og et DAO-fellesskap kan validere slike påstander. Til syvende og sist kan store modeller utstede tokens fra en felles pool, og nedstrømsinntekter fra produkter bygget på toppen av nevnte modeller kan tilfalle tokenverdien. På denne måten kan datasettbidragsytere ha en eierandel i de store modellene gjennom sine tokens, og forskere vil kunne tjene penger på byggeressurser i det fri.

Å kompilere godt konstruerte datasett med åpen kildekode er avgjørende for å utvide forskningstilgjengeligheten for store modeller og forbedre modellytelsen. Tekst-bildedatasett kan utvides ved å øke størrelsen og filtrene for ulike typer bilder for mer finjusterte resultater. Ikke-engelske datasett vil være nødvendig for opplæring av naturlige språkmodeller som ikke-engelsktalende befolkninger kan bruke. Over tid kan vi oppnå disse resultatene mye raskere og mer åpent ved å bruke en web3-tilnærming.

Beregningen som kreves for å trene nevrale nettverk i stor skala er en av de største flaskehalsene i fundamentmodeller. I løpet av det siste tiåret har etterspørselen etter databehandling i trening av AI-modeller hatt dobles hver 3.4 måned. I løpet av denne perioden har AI-modeller gått fra bildegjenkjenning til å bruke forsterkningslæringsalgoritmer til å slå menneskelige mestere i strategispill og bruke transformatorer for å trene språkmodeller. For eksempel hadde OpenAIs GPT-3 175 milliarder parametere og tok 3,640 petaFLOPS-dager å trene. Dette ville ta to uker på verdens raskeste superdatamaskin og over et årtusen for en standard bærbar datamaskin å beregne. Ettersom modellstørrelser bare fortsetter å vokse, er databehandling fortsatt en flaskehals i utviklingen av feltet.

AI-superdatamaskiner krever spesifikk maskinvare optimalisert for å utføre de matematiske operasjonene som er nødvendige for å trene nevrale nettverk, for eksempel Graphics Processing Units (GPUer) eller Application-Specific Integrated Circuits (ASICs). I dag er det meste av maskinvaren som er optimalisert for denne typen beregninger kontrollert av noen få oligopolistiske skytjenesteleverandører som Google Cloud, Amazon Web Services, Microsoft Azure og IBM Cloud.

Dette er det neste store krysset der vi ser desentralisert datatildeling gjennom offentlige, åpne nettverk få gjennomslag. Desentralisert styring kan brukes til å finansiere og allokere ressurser for å trene samfunnsdrevne prosjekter. Videre kan en desentralisert markedsplassmodell være åpent tilgjengelig på tvers av geografier, slik at enhver forsker kan få tilgang til dataressurser. Se for deg et dusørsystem som crowdfunder modelltrening ved å utstede tokens. Vellykkede crowdfundings vil motta prioritert beregning for sin modell og presse frem innovasjoner der det er stor etterspørsel. For eksempel, hvis det er betydelig etterspørsel fra DAO om å produsere en spansk eller hindi GPT-modell for å betjene større deler av befolkningen, kan forskningen fokuseres på det domenet.

Allerede selskaper som GenSyn jobber med å lansere protokoller for å stimulere og koordinere alternativ, kostnadseffektiv og skybasert maskinvaretilgang for deep learning-beregning. Over tid vil et delt, desentralisert globalt datanettverk bygget med web3-infrastruktur bli mer kostnadseffektivt å skalere og bedre tjene oss når vi i fellesskap utforsker grensen for kunstig intelligens.

Datasett og databehandling vil muliggjøre denne oppgaven: åpen kildekode AI-modeller. I løpet av de siste årene har store modeller blitt stadig mer private ettersom ressursinvesteringene som er nødvendige for å produsere dem har presset prosjekter til å bli lukket kildekode.

Ta OpenAI. OpenAI ble grunnlagt i 2015 som et nonprofit forskningslaboratorium med oppdraget å produsere kunstig generell intelligens til fordel for hele menneskeheten, en sterk kontrast fra lederne innen AI på den tiden, Google og Facebook. Over tid har hard konkurranse og press om finansiering erodert idealene om åpenhet og åpen kildekode da OpenAI gikk over til en profittmodell og signerte en massiv 1 milliard dollar kommersiell avtale med Microsoft. Videre har nyere kontroverser omgitt deres tekst-til-bilde-modell, DALLE-2, for dens generaliserte sensur. (DALLE-2 har for eksempel forbudt begrepene "pistol, "utfør, "angrep", "Ukraina" og bilder av kjendiser; slik grov sensur forhindrer oppfordringer som "Lebron James angriper kurven" eller "en programmerer som utfører en linje med kode'.) Tilgang til den private betaen for disse modellene har en implisitt geografisk skjevhet for vestlige brukere for å avskjære store deler av den globale befolkningen fra å samhandle og informere disse modellene.

Det er ikke slik kunstig intelligens skal spres: bevoktet, politi og bevart av noen få store teknologiselskaper. Som i tilfellet med blokkjede, bør ny teknologi brukes så rettferdig som mulig, slik at fordelene ikke konsentreres blant de få som har tilgang. Sammensatte fremskritt innen kunstig intelligens bør utnyttes åpent på tvers av ulike bransjer, geografier og samfunn for i fellesskap å oppdage de mest engasjerende brukstilfellene og nå en konsensus om rettferdig bruk av AI. Å holde grunnmodeller åpen kildekode kan sikre at sensur forhindres og skjevhet overvåkes nøye under offentlig visning.

Med en symbolsk struktur for generaliserte grunnmodeller, vil det være mulig å samle en større pool av bidragsytere som kan tjene penger på arbeidet deres mens de slipper kode åpen kildekode. Prosjekter som OpenAI bygget med en åpen kildekode-oppgave i tankene, har måttet svinge til et frittstående finansiert selskap for å konkurrere om talent og ressurser. Web3 lar åpen kildekode-prosjekter være like økonomisk lukrative og konkurrere ytterligere med de som ledes av private investeringer av Big Tech. Videre kan innovatører som bygger produkter på toppen av åpen kildekode-modeller bygge med tillit til at det er åpenhet i den underliggende AI. Nedstrømseffekten av dette vil være rask adopsjon og markedsføring av nye brukssaker med kunstig intelligens. I web3-området inkluderer dette sikkerhetsprogrammer som utfører prediktiv analyse for smart kontraktssårbarhet og rug-trekk, bildegeneratorer som kan brukes til å prege NFT-er og lage metaverse landskap, digitale AI-personligheter som kan eksistere på kjeden for å bevare individuelt eierskap, og mye mer.

Kunstig intelligens er en av de raskest fremmende teknologiene i dag som vil ha enorme implikasjoner på samfunnet vårt som helhet. I dag domineres feltet av storteknologi ettersom økonomiske investeringer i talent, data og databehandling skaper betydelige vollgraver for utvikling av åpen kildekode. Integrering av web3 i infrastrukturlaget til AI er et avgjørende skritt å ta for å sikre at kunstig intelligens-systemer bygges på en måte som er rettferdig, åpen og tilgjengelig. Vi ser allerede åpne modeller innta en posisjon med rask, offentlig innovasjon i åpne områder som Twitter og HuggingFace, og krypto kan styrke denne innsatsen fremover.

Her er hva CoinFund-teamet ser etter i skjæringspunktet mellom AI og krypto:

1. Lag med åpen kunstig intelligens i kjernen av oppdraget
2. Fellesskap som kuraterer offentlige ressurser som data og databehandling for å hjelpe til med å bygge AI-modeller
3. Produkter som bruker AI for å bringe kreativitet, sikkerhet og innovasjon til mainstream-adopsjon

Hvis du bygger et prosjekt i skjæringspunktet mellom AI og web3, chat med oss ​​ved å kontakte CoinFund på Twitter eller e-post rishin@coinfund.io or jake@coinfund.io.