Open neurale netwerken: de kruising van AI en web

door Rishin Sharma & Jake Brukhman.

Speciale dank aan iedereen die feedback heeft gegeven op dit stuk, inclusief Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Bron: AI-gegenereerde afbeelding van Lexica.art, een stabiele diffusiezoekmachine

Technologische innovatie rust nooit, en dit geldt vooral voor kunstmatige intelligentie. De afgelopen jaren hebben we de populariteit van deep learning-modellen opnieuw zien opduiken als voorlopers in AI. Ook wel aangeduid als neurale netwerken, deze modellen bestaan ​​​​uit dicht met elkaar verbonden lagen van knooppunten die informatie door elkaar doorgeven, ruwweg de constructie van het menselijk brein nabootsen. In het begin van de jaren 2010 hadden de meest geavanceerde modellen miljoenen parameters, zwaar gecontroleerde modellen die werden gebruikt voor specifieke sentimentanalyse en classificatie. De meest geavanceerde modellen van vandaag, zoals: Droomstudio, GPT-3, DALL-E2 en Beeld naderen een biljoen parameters en voeren complexe en zelfs creatieve taken uit die wedijveren met menselijk werk. Neem bijvoorbeeld de kopafbeelding of samenvatting van deze blogpost. Beide werden geproduceerd door kunstmatige intelligentie. We beginnen nu pas de sociale en culturele implicaties van deze modellen te zien, aangezien ze vormgeven aan hoe we nieuwe dingen leren, met elkaar omgaan en ons creatief uiten.

Veel van de technische knowhow, belangrijke datasets en het rekenvermogen om grote neurale netwerken tegenwoordig te trainen, zijn echter closed source en worden beveiligd door 'Big Tech'-bedrijven zoals Google en Meta. Terwijl replica open source modellen zoals GPT-NeoX, DALLE-mega en BLOEIEN zijn aangevoerd door organisaties, waaronder: StabiliteitAI, Eleuther AI en KnuffelenGezicht, staat web3 klaar om open source AI nog meer te stimuleren.

"Een web3-infrastructuurlaag voor AI zou elementen van open source-ontwikkeling, gemeenschapseigendom en -bestuur en universele toegang kunnen introduceren die nieuwe modellen en efficiëntie bij het ontwikkelen van deze nieuwe technologieën creëren."

Verder zullen veel kritische use-cases voor web3 worden verbeterd door de invoering van AI-technologieën. Van generatieve kunst NFT's naar metaversale landschappen, zal AI veel use-cases vinden in web3. Open source AI past binnen het open, gedecentraliseerde en gedemocratiseerde ethos van web3 en vertegenwoordigt een alternatief voor de AI van Big Tech, die waarschijnlijk niet snel open zal worden.

Funderingsmodellen zijn neurale netwerken die zijn getraind op uitgebreide datasets om taken uit te voeren die normaal gesproken intelligent menselijk gedrag vereisen. Deze modellen hebben een aantal indrukwekkende resultaten opgeleverd.

Taalmodellen zoals OpenAI's GPT-3, LaMDA van Google en Nvidia's Megatron-Turing NLG het vermogen hebben om natuurlijke taal te begrijpen en te produceren, tekst samen te vatten en te synthetiseren, en zelfs computercode schrijven.

DALLE-2 is van OpenAI tekst-naar-beeld diffusiemodel die unieke afbeeldingen kan produceren uit geschreven tekst. Google's AI-divisie DeepMind heeft concurrerende modellen geproduceerd, waaronder PaLM, een 540B-parametertaalmodel, en Imagen, zijn eigen beeldgeneratiemodel dat DALLE-2 overtreft op DrawBench en COCO FID Benchmarks. Imagen produceert met name meer fotorealistische resultaten en heeft de mogelijkheid om te spellen.

Versterkende leermodellen zoals die van Google AlphaGo hebben de verslagen human Go wereldkampioen tijdens het ontdekken van nieuwe strategieën en speeltechnieken die niet zijn opgedoken in de drieduizendjarige geschiedenis van het spel.

De race om complexe funderingsmodellen te bouwen is al begonnen met Big Tech in de voorhoede van innovatie. Hoe opwindend de vooruitgang van het veld ook is, er is een belangrijk thema dat ons zorgen baart.

In de afgelopen tien jaar zijn AI-modellen steeds geavanceerder geworden, maar ook steeds meer gesloten voor het publiek.

Techreuzen investeren zwaar in het produceren van dergelijke modellen en het behouden van gegevens en code als eigen technologieën, terwijl ze hun concurrentiepositie behouden door hun schaalvoordelen voor modeltraining en -berekening.

Voor elke derde partij is het produceren van funderingsmodellen een arbeidsintensief proces met drie belangrijke knelpunten: gegevens, berekeningen, en gelde maken.

Hier zien we een vroege opkomst van web3-thema's bij het oplossen van sommige van deze problemen.

Gelabelde datasets zijn van cruciaal belang voor het bouwen van effectieve modellen. AI-systemen leren door te generaliseren van voorbeelden binnen datasets en verbeteren voortdurend naarmate ze in de loop van de tijd worden getraind. Het compileren en labelen van hoogwaardige datasets vereist echter gespecialiseerde kennis en verwerking naast computerbronnen. Grote technologiebedrijven hebben vaak interne datateams die gespecialiseerd zijn in het werken met grote, eigen datasets en IP-systemen om hun modellen te trainen, en hebben weinig prikkels om open toegang tot productie of distributie van hun gegevens te hebben.

Er zijn al gemeenschappen die modeltraining open en toegankelijk maken voor een wereldwijde gemeenschap van onderzoekers. Hier zijn enkele voorbeelden:

1. Gemeenschappelijke crawl, een openbare opslagplaats van tien jaar internetgegevens, kan worden gebruikt voor algemene training. (Hoewel onderzoek toont aan dat preciezere, uitgekiende datasets de algemene domeinoverschrijdende kennis en downstream-generalisatiemogelijkheden van de modellen kunnen verbeteren.)
2. LAION is een non-profitorganisatie die zich richt op het beschikbaar maken van grootschalige machine learning-modellen en datasets voor het grote publiek en vrijgegeven LAION5B, een 5.85 miljard CLIP-gefilterde beeld-tekstpaardataset die bij de release de grootste open toegankelijke beeld-tekstdataset ter wereld werd.
3. Eleuther AI is een gedecentraliseerd collectief dat een van de grootste open source tekstdatasets heeft uitgebracht, genaamd De stapel. The Pile is een 825.18 GiB Engelstalige dataset voor taalmodellering die 22 verschillende databronnen gebruikt.

Momenteel zijn deze gemeenschappen informeel georganiseerd en zijn ze afhankelijk van bijdragen van een brede vrijwilligersbasis. Om hun inspanningen een boost te geven, kunnen token-beloningen worden gebruikt als een mechanisme om open-source datasets te maken. Tokens kunnen worden uitgegeven op basis van bijdragen, zoals het labelen van een grote tekst-afbeelding dataset, en een DAO-gemeenschap zou dergelijke claims kunnen valideren. Uiteindelijk kunnen grote modellen tokens uitgeven uit een gemeenschappelijke pool, en downstream-inkomsten van producten die bovenop deze modellen zijn gebouwd, kunnen ten goede komen aan de tokenwaarde. Op deze manier kunnen dataset-bijdragers via hun tokens een aandeel in de grote modellen houden en kunnen onderzoekers geld verdienen met bouwbronnen in de open lucht.

Het samenstellen van goed geconstrueerde open source datasets is van cruciaal belang om de toegankelijkheid van onderzoek voor grote modellen te vergroten en de modelprestaties te verbeteren. Tekst-afbeelding datasets kunnen worden uitgebreid door de grootte en filters voor verschillende soorten afbeeldingen te vergroten voor meer verfijnde resultaten. Er zijn niet-Engelstalige datasets nodig voor het trainen van natuurlijke taalmodellen die niet-Engelssprekende bevolkingsgroepen kunnen gebruiken. Na verloop van tijd kunnen we deze resultaten veel sneller en opener bereiken met behulp van een web3-benadering.

De rekenkracht die nodig is om grootschalige neurale netwerken te trainen, is een van de grootste knelpunten in funderingsmodellen. In het afgelopen decennium is de vraag naar rekenkracht bij het trainen van AI-modellen elke 3.4 maanden verdubbeld. Gedurende deze periode zijn AI-modellen overgegaan van beeldherkenning naar het gebruik van algoritmen voor het leren van versterking, het verslaan van menselijke kampioenen in strategiespellen en het gebruik van transformatoren om taalmodellen te trainen. OpenAI's GPT-3 had bijvoorbeeld 175 miljard parameters en had 3,640 petaFLOPS-dagen nodig om te trainen. Dit zou twee weken duren op 's werelds snelste supercomputer en meer dan een millennium voor een standaardlaptop om te berekenen. Aangezien de modelgroottes alleen maar blijven groeien, blijft computergebruik een knelpunt in de vooruitgang van het veld.

AI-supercomputers hebben specifieke hardware nodig die is geoptimaliseerd voor het uitvoeren van de wiskundige bewerkingen die nodig zijn voor het trainen van neurale netwerken, zoals grafische verwerkingseenheden (GPU's) of toepassingsspecifieke geïntegreerde circuits (ASIC's). Tegenwoordig wordt de meeste hardware die is geoptimaliseerd voor dit type berekening beheerd door een paar oligopolistische cloudserviceproviders zoals Google Cloud, Amazon Web Services, Microsoft Azure en IBM Cloud.

Dit is het volgende grote kruispunt waar we zien dat gedecentraliseerde computertoewijzing via openbare, open netwerken aan kracht wint. Gedecentraliseerd bestuur kan worden gebruikt om middelen te financieren en toe te wijzen om gemeenschapsgestuurde projecten op te leiden. Verder kan een gedecentraliseerd marktmodel vrij toegankelijk zijn in verschillende geografische gebieden, zodat elke onderzoeker toegang heeft tot computerbronnen. Stel je een premiesysteem voor dat modeltraining via crowdfunding mogelijk maakt door tokens uit te geven. Succesvolle crowdfundings krijgen geprioriteerde rekenkracht voor hun model en stimuleren innovaties waar veel vraag naar is. Als er bijvoorbeeld een aanzienlijke vraag is van de DAO om een ​​Spaans of Hindi GPT-model te produceren om grotere delen van de bevolking te bedienen, kan het onderzoek op dat domein worden gericht.

Bedrijven houden er nu al van GenSyn werken aan de lancering van protocollen om alternatieve, kostenefficiënte en cloudgebaseerde hardwaretoegang voor deep learning-berekeningen te stimuleren en te coördineren. In de loop van de tijd zal een gedeeld, gedecentraliseerd wereldwijd computernetwerk gebouwd met web3-infrastructuur kostenefficiënter worden om te schalen en ons beter van dienst te zijn, aangezien we gezamenlijk de grens van kunstmatige intelligentie verkennen.

Datasets en compute zullen dit proefschrift mogelijk maken: open source AI-modellen. In de afgelopen jaren zijn grote modellen steeds meer privé geworden, omdat de investeringen in middelen die nodig zijn om ze te produceren ertoe hebben geleid dat projecten closed-source zijn geworden.

Neem OpenAI. OpenAI is opgericht in 2015 als een non-profit onderzoekslaboratorium met de missie om kunstmatige algemene intelligentie te produceren ten behoeve van de hele mensheid, een schril contrast met de leiders in AI destijds, Google en Facebook. In de loop van de tijd hebben hevige concurrentie en druk om financiering de idealen van transparantie en open-sourcingcode uitgehold toen OpenAI verschoof naar een winstgevend model en ondertekende een massale Commerciële deal van $ 1 miljard met Microsoft. Verder is er recente controverse rond hun tekst-naar-beeld-model, DALLE-2, voor zijn algemene censuur. (DALLE-2 heeft bijvoorbeeld de termen 'geweer, 'uitvoeren, 'aanval', 'Oekraïne' en afbeeldingen van beroemdheden verboden; dergelijke grove censuur voorkomt prompts zoals 'Lebron James valt de mand aan' of 'een programmeur die een coderegel'.) Toegang tot de privé-bèta voor deze modellen heeft een impliciete geografische voorkeur voor westerse gebruikers om grote delen van de wereldbevolking af te snijden van interactie en het informeren van deze modellen.

Dit is niet hoe kunstmatige intelligentie moet worden verspreid: bewaakt, gecontroleerd en bewaard door een paar grote technologiebedrijven. Net als bij blockchain, moet nieuwe technologie zo billijk mogelijk worden toegepast, zodat de voordelen ervan niet worden geconcentreerd bij de weinigen die toegang hebben. Samengevatte vooruitgang op het gebied van kunstmatige intelligentie moet openlijk worden benut in verschillende industrieën, regio's en gemeenschappen om gezamenlijk de meest boeiende gebruiksscenario's te ontdekken en een consensus te bereiken over eerlijk gebruik van AI. Het open source houden van basismodellen kan ervoor zorgen dat censuur wordt voorkomen en dat vooringenomenheid zorgvuldig wordt gecontroleerd onder de publieke opinie.

Met een tokenstructuur voor gegeneraliseerde basismodellen, zal het mogelijk zijn om een ​​grotere pool van bijdragers samen te voegen die geld kunnen verdienen met hun werk terwijl ze code open source vrijgeven. Projecten zoals OpenAI die zijn gebouwd met een open source-these in gedachten, moesten veranderen in een op zichzelf staand gefinancierd bedrijf om te strijden om talent en middelen. Web3 zorgt ervoor dat open source-projecten financieel net zo lucratief kunnen zijn en verder kunnen wedijveren met projecten die worden geleid door particuliere investeringen door Big Tech. Verder kunnen innovators die producten bouwen bovenop open source-modellen bouwen met het vertrouwen dat er transparantie is in de onderliggende AI. Het downstream-effect hiervan is de snelle acceptatie en marktintroductie van nieuwe toepassingen voor kunstmatige intelligentie. In de web3-ruimte omvat dit: beveiligingstoepassingen die voorspellende analyses uitvoeren voor smart contract-kwetsbaarheden en tapijt-pulls, beeldgeneratoren die kunnen worden gebruikt om NFT's te minten en metaverse landschappen te creëren, digitale AI-persoonlijkheden die in de keten kunnen bestaan ​​om het individuele eigendom te behouden, en nog veel meer.

Kunstmatige intelligentie is een van de snelst voortschrijdende technologieën van vandaag die enorme gevolgen zal hebben voor onze samenleving als geheel. Tegenwoordig wordt het veld gedomineerd door big tech, aangezien financiële investeringen in talent, data en computers aanzienlijke grachten creëren voor open source-ontwikkeling. De integratie van web3 in de infrastructuurlaag van AI is een cruciale stap om ervoor te zorgen dat kunstmatige-intelligentiesystemen op een eerlijke, open en toegankelijke manier worden gebouwd. We zien nu al dat open modellen een positie innemen van snelle, publieke innovatie in open ruimtes zoals Twitter en HuggingFace en crypto kan deze inspanningen vooruithelpen.

Dit is waar het CoinFund-team naar op zoek is op het snijvlak van AI en crypto:

1. Teams met open kunstmatige intelligentie als kern van hun missie
2. Gemeenschappen die openbare bronnen zoals gegevens en computers beheren om AI-modellen te helpen bouwen
3. Producten die gebruikmaken van AI om creativiteit, veiligheid en innovatie naar de mainstream te brengen

Als u een project bouwt op het snijvlak van AI en web3, chat dan met ons door contact op te nemen met CoinFund op Twitter of e-mail rishin@coinfund.io or jake@coinfund.io.