Öppna neurala nätverk: skärningspunkten mellan AI och webb3

av Rishin Sharma & Jake Brukhman.

Speciellt tack till alla som gav feedback på detta stycke, inklusive Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Källa: AI-genererad bild från Lexica.art, en stabil spridningssökmotor

Teknisk innovation vilar aldrig, och detta gäller särskilt för artificiell intelligens. Under de senaste åren har vi sett populariteten för modeller för djupinlärning återuppstå som föregångare inom AI. Även kallad neurala nätverk, dessa modeller består av tätt sammankopplade lager av noder som skickar information genom varandra, ungefär som efterliknar konstruktionen av den mänskliga hjärnan. I början av 2010-talet hade de mest avancerade modellerna miljontals parametrar, hårt övervakade modeller som användes för specifik sentimentanalys och klassificering. Dagens mest avancerade modeller som t.ex drömstudio, GPT-3, DALL-E2och Bild närmar sig en biljon parametrar och utför komplexa och till och med kreativa uppgifter som konkurrerar med mänskligt arbete. Ta till exempel det här blogginläggets rubrikbild eller sammanfattning. Båda producerades av artificiell intelligens. Vi har precis börjat se de sociala och kulturella konsekvenserna av dessa modeller när de formar hur vi lär oss nya saker, interagerar med varandra och uttrycker oss kreativt.

Men mycket av det tekniska kunnandet, nyckeldatauppsättningarna och beräkningsförmågan att träna stora neurala nätverk idag är sluten källkod och gated av "Big Tech"-företag som Google och Meta. Medan replika modeller med öppen källkod som t.ex GPT-NeoX, DALLE-megaoch BLOMMA har letts av organisationer inklusive StabilitetAI, Eleuther AIoch Kramar ansikte, web3 är redo att ladda AI med öppen källkod ännu mer.

"Ett web3-infrastrukturlager för AI skulle kunna introducera element av öppen källkodsutveckling, gemenskapsägande och styrning och universell åtkomst som skapar nya modeller och effektivitetsvinster för att utveckla dessa nya teknologier."

Vidare kommer många kritiska användningsfall för web3 att förbättras genom antagandet av AI-teknik. Från generativ konst NFT till metaversala landskap kommer AI att hitta många användningsfall i web3. AI med öppen källkod passar in i webb3s öppna, decentraliserade och demokratiserade etos och representerar ett alternativ till AI som tillhandahålls av Big Tech, som sannolikt inte kommer att bli öppen någon gång snart.

Grundmodeller är neurala nätverk som tränas på omfattande datauppsättningar för att utföra uppgifter som normalt skulle kräva intelligent mänskligt beteende. Dessa modeller har skapat några imponerande resultat.

Språkmodeller som OpenAI:s GPT-3, Googles LaMDAoch Nvidias Megatron-Turing NLG ha förmågan att förstå och producera naturligt språk, sammanfatta och syntetisera text och till och med skriva datorkod.

DALLE-2 är OpenAI:s text-till-bild spridningsmodell som kan producera unika bilder från skriven text. Googles AI-division DeepMind har producerat konkurrerande modeller inklusive PaLM, en 540B-parameterspråkmodell, och Imagen, sin egen bildgenereringsmodell som överträffar DALLE-2 på DrawBench och COCO FID Benchmarks. Imagen ger framför allt mer fotorealistiska resultat och har förmågan att stava.

Förstärkningsinlärningsmodeller som Googles AlphaGo har besegrat mänskliga Go världsmästare samtidigt som du upptäcker nya strategier och speltekniker som inte har dykt upp i spelets tre tusenåriga historia.

Kapplöpet om att bygga komplexa grundmodeller har redan börjat med Big Tech i framkant av innovation. Lika spännande som utvecklingen inom området är, finns det ett nyckeltema som oroar.

Under det senaste decenniet, eftersom AI-modeller har blivit mer sofistikerade, har de också blivit alltmer stängda för allmänheten.

Tekniska jättar investerar kraftigt i att producera sådana modeller och behålla data och kod som proprietära teknologier samtidigt som de bevarar sin konkurrenskraftiga vallgrav genom sina stordriftsfördelar för modellträning och beräkning.

För en tredje part är att producera grundmodeller en resurskrävande process med tre stora flaskhalsar: data, beräkna, och intäktsgenerering.

Det är här vi ser tidiga intåg av web3-teman för att lösa några av dessa problem.

Märkt datauppsättning är avgörande för att bygga effektiva modeller. AI-system lär sig genom att generalisera från exempel inom datauppsättningar och förbättras kontinuerligt allt eftersom de tränas över tiden. Kvalitetsdatasammanställning och märkning kräver dock specialiserad kunskap och bearbetning utöver beräkningsresurser. Stora teknikföretag har ofta interna datateam specialiserade på att arbeta med stora, proprietära datamängder och IP-system att utbilda sina modeller och har små incitament att öppna tillgången till produktion eller distribution av deras data.

Det finns redan samhällen som gör modellutbildning öppen och tillgänglig för en global gemenskap av forskare. Här är några exempel:

1. Vanlig genomsökning, ett offentligt arkiv med tio års internetdata, kan användas för allmän utbildning. (Fastän forskning visar att mer exakta, parade datamängder kan förbättra den allmänna kunskapen över flera domäner och nedströms generaliseringsförmågan hos modellerna.)
2. Laion är en ideell organisation som syftar till att göra storskaliga maskininlärningsmodeller och datauppsättningar tillgängliga för allmänheten och släpptes LAION5B, en 5.85 miljarder CLIP-filtrerad bild-text-pardatauppsättning som vid utgivningen blev den största öppet tillgängliga bild-textdatauppsättningen i världen.
3. Eleuther AI är ett decentraliserat kollektiv som släppte en av de största textdatauppsättningarna med öppen källkod som kallas Högen. The Pile är en 825.18 GiB engelskspråkig datauppsättning för språkmodellering som använder 22 olika datakällor.

För närvarande är dessa gemenskaper organiserade informellt och förlitar sig på bidrag från en bred volontärbas. För att överdriva deras ansträngningar kan tokenbelöningar användas som en mekanism för att skapa datauppsättningar med öppen källkod. Tokens kan sändas ut baserat på bidrag, som att märka en stor text-bilddatauppsättning, och en DAO-gemenskap kan validera sådana påståenden. I slutändan kan stora modeller utfärda tokens från en gemensam pool, och nedströmsintäkter från produkter som byggs ovanpå dessa modeller kan tillfalla tokenvärdet. På så sätt kan datauppsättningsgivare ha en andel i de stora modellerna genom sina tokens och forskare kommer att kunna tjäna pengar på byggresurser i det fria.

Att sammanställa välkonstruerade datauppsättningar med öppen källkod är avgörande för att bredda forskningstillgängligheten för stora modeller och förbättra modellens prestanda. Text-bilddatauppsättningar kan utökas genom att öka storleken och filtren för olika typer av bilder för mer finjusterade resultat. Datauppsättningar som inte är engelska kommer att behövas för att träna naturliga språkmodeller som icke-engelsktalande befolkningar kan använda. Med tiden kan vi uppnå dessa resultat mycket snabbare och mer öppet med hjälp av en web3-metod.

Beräkningen som krävs för att träna storskaliga neurala nätverk är en av de största flaskhalsarna i grundmodeller. Under det senaste decenniet har efterfrågan på beräkningar i träning av AI-modeller ökat fördubblas var 3.4:e månad. Under denna period har AI-modeller gått från bildigenkänning till att använda förstärkningsinlärningsalgoritmer till att slå mänskliga mästare i strategispel och använda transformatorer för att träna språkmodeller. Till exempel hade OpenAI:s GPT-3 175 miljarder parametrar och tog 3,640 XNUMX petaFLOPS-dagar att träna. Detta skulle ta två veckor på världens snabbaste superdator och över ett millennium för en vanlig bärbar dator att beräkna. Eftersom modellstorlekarna bara fortsätter att växa, förblir datoranvändning en flaskhals i utvecklingen av området.

AI-superdatorer kräver specifik hårdvara som är optimerad för att utföra de matematiska operationer som krävs för att träna neurala nätverk, såsom Graphics Processing Units (GPU) eller Application-Specific Integrated Circuits (ASICs). Idag kontrolleras det mesta av hårdvaran som är optimerad för denna typ av beräkning av ett fåtal oligopolistiska molntjänsteleverantörer som Google Cloud, Amazon Web Services, Microsoft Azure och IBM Cloud.

Detta är nästa stora korsning där vi ser decentraliserad beräkningsallokering genom offentliga, öppna nätverk få draghjälp. Decentraliserad styrning kan användas för att finansiera och allokera resurser för att utbilda samhällsdrivna projekt. Vidare kan en decentraliserad marknadsplatsmodell vara öppet tillgänglig över geografier så att alla forskare kan komma åt beräkningsresurser. Föreställ dig ett belöningssystem som crowdfunder modellträning genom att utfärda tokens. Framgångsrika crowdfundings kommer att få prioriterad beräkning för sin modell och driva innovationer framåt där det finns stor efterfrågan. Till exempel, om det finns en betydande efterfrågan från DAO för att producera en spansk eller hindi GPT-modell för att betjäna större delar av befolkningen, kan forskningen fokuseras på den domänen.

Redan företag gillar GenSyn arbetar med att lansera protokoll för att stimulera och samordna alternativ, kostnadseffektiv och molnbaserad hårdvaruåtkomst för djupinlärning. Med tiden kommer ett delat, decentraliserat globalt datornätverk byggt med web3-infrastruktur att bli mer kostnadseffektivt att skala och bättre tjäna oss när vi tillsammans utforskar gränsen för artificiell intelligens.

Dataset och beräkning kommer att möjliggöra denna avhandling: AI-modeller med öppen källkod. Under de senaste åren har stora modeller blivit allt mer privata eftersom de resursinvesteringar som krävs för att producera dem har drivit projekt att bli stängd källkod.

Ta OpenAI. OpenAI grundades 2015 som ett ideellt forskningslaboratorium med uppdraget att producera artificiell allmän intelligens till förmån för hela mänskligheten, en skarp kontrast från ledarna inom AI vid den tiden, Google och Facebook. Med tiden har hård konkurrens och press om finansiering urholkat idealen om transparens och öppen källkod när OpenAI övergått till en vinstdrivande modell och skrev på en massiv 1 miljard dollar kommersiellt avtal med Microsoft. Vidare har den senaste tidens kontroverser kring deras text-till-bild-modell, DALLE-2, för dess generella censur. (Till exempel har DALLE-2 förbjudit termerna 'pistol, 'avrätta', 'attack', 'Ukraina' och bilder av kändisar; sådan grov censur förhindrar uppmaningar som 'Lebron James attackerar korgen' eller 'en programmerare som utför en rad kod'.) Tillgång till den privata betaversionen för dessa modeller har en implicit geografisk fördom för västerländska användare att avskära stora delar av den globala befolkningen från att interagera och informera dessa modeller.

Det är inte så artificiell intelligens ska spridas: bevakas, övervakas och bevaras av några få stora teknikföretag. Som i fallet med blockchain bör ny teknik tillämpas så rättvist som möjligt så att dess fördelar inte koncentreras till de få som har tillgång. Sammansatta framsteg inom artificiell intelligens bör utnyttjas öppet över olika branscher, geografier och samhällen för att tillsammans upptäcka de mest engagerande användningsfallen och nå enighet om rättvis användning av AI. Att hålla grundmodeller öppen källkod kan säkerställa att censur förhindras och partiskhet övervakas noggrant under allmän syn.

Med en symbolisk struktur för generaliserade grundmodeller kommer det att vara möjligt att samla en större pool av bidragsgivare som kan tjäna pengar på sitt arbete samtidigt som de släpper kod med öppen källkod. Projekt som OpenAI byggt med en öppen källkodsuppsats i åtanke har varit tvungna att omvandlas till ett fristående finansierat företag för att konkurrera om talang och resurser. Web3 tillåter öppen källkodsprojekt att vara lika ekonomiskt lukrativa och ytterligare konkurrera med dem som leds av privata investeringar av Big Tech. Vidare kan innovatörer som bygger produkter ovanpå modeller med öppen källkod bygga med förtroende för att det finns transparens i den underliggande AI. Nedströmseffekten av detta kommer att bli den snabba introduktionen och lanseringen av nya fall för användning av artificiell intelligens. I web3-utrymmet inkluderar detta säkerhetsprogram som utför prediktiv analys för smarta kontraktssårbarheter och ruggar, bildgeneratorer som kan användas för att skapa NFT:er och skapa metaversa landskap, digitala AI-personligheter som kan finnas i kedjan för att bevara individuellt ägande, och mycket mer.

Artificiell intelligens är en av de snabbast framskridande teknologierna idag som kommer att få enorma konsekvenser för vårt samhälle som helhet. Idag domineras området av storteknologi, eftersom finansiella investeringar i talang, data och datorer skapar betydande vallgravar för utveckling av öppen källkod. Integrering av web3 i infrastrukturlagret för AI är ett avgörande steg att ta för att säkerställa att artificiell intelligens byggs på ett sätt som är rättvist, öppet och tillgängligt. Vi ser redan öppna modeller inta en position av snabb, offentlig innovation i öppna utrymmen som Twitter och HuggingFace och krypto kan överdriva dessa ansträngningar framåt.

Här är vad CoinFund-teamet letar efter i skärningspunkten mellan AI och krypto:

1. Lag med öppen artificiell intelligens i kärnan av sitt uppdrag
2. Gemenskaper som kurerar offentliga resurser som data och datorer för att hjälpa till att bygga AI-modeller
3. Produkter som använder AI för att föra kreativitet, säkerhet och innovation till mainstream-anpassningen

Om du bygger ett projekt i skärningspunkten mellan AI och web3, chatta med oss ​​genom att kontakta CoinFund på Twitter eller e-post rishin@coinfund.io or jake@coinfund.io.