Gensyn-protokollen træner tillidsløst neurale netværk i hyperskala med lavere størrelsesorden...

Genudgivet af Platon

Abonnenter: 0

Gensyn-protokollen træner tillidsløst neurale netværk i hyperskala med en lavere størrelsesorden af omkostninger

Links: Gensyn hjemmeside, Litepaper, CoinFund-portefølje, TechCrunch artikel Link

Resumé af investeringsafhandling

Sekulær udnyttelse til ML voksende kompleksitet og værdi: Beregningskompleksiteten af avancerede AI-systemer fordobles hver 3. måned, mens værdien af disse modeller fortsætter med at stige hurtigt, mens den tidligere sorte boks-natur af disse algoritmer nu i stigende grad er i stand til at passe sammen med større menneskeforståelige illuminatorer.
Nyt koordinerings- og verifikationssystemdesign: Gensyn bygger et verifikationssystem (testnet v1 vil blive implementeret senere i år), som effektivt løser tilstandsafhængighedsproblemet i neurale netværkstræning i enhver skala. Systemet kombinerer modeltræningskontrolpunkter med sandsynlighedstjek, der afslutter på kæden. Den gør alt dette tillidsløst, og overhead skaleres lineært med modelstørrelsen (holder kontrolomkostningerne konstante).
Tematisk fokus på AI-decentralisering: De fleste af de velkendte eksempler på maskinlæringsapplikationer (Tesla selvkørende biler, Google DeepMind) er produceret af det samme sæt virksomheder, det er fordi deep learning-industrien i øjeblikket ligner et monopolspil mellem Big Tech-virksomheder, som samt stater som Kina og USA. Disse kræfter resulterer i enorme centraliseringskræfter, der strider mod web3 og endda web1's historiske oprindelse.

CoinFund er stolte af at støtte Gensyn Protocols seneste fundraise og teamets vision om at muliggøre tillidsfri træning af neurale netværk i hyperskala og lave omkostninger gennem deres nye verifikationssystem. Bruger sandsynlighedstjek, der afslutter på kæden mens du trykker på underudnyttede og underudnyttede computerkilder lige fra i øjeblikket underudnyttede gaming-GPU'er til sofistikerede ETH1-minepuljer, der er ved at løsrive sig fra Ethereum-netværket, efterhånden som netværket går over til Proof of Stake, Gensyn-protokollen kræver ingen administrativ tilsynsførende eller juridisk håndhævelse, men letter opgavefordeling og betalinger programmatisk gennem smarte kontrakter. Endnu bedre, protokollens decentraliserede karakter betyder, at den i sidste ende vil blive styret af flertalssamfundet og ikke kan 'slukkes' uden samfundets samtykke; dette gør den modstandsdygtig over for censur, i modsætning til dens web2-modstykker. I sidste ende tror vi, at Gensyn spiller for at blive det grundlæggende lag for web3-native ML-databehandling, da tredjepartsdeltagere til sidst opbygger rige brugeroplevelser og specifik funktionalitet i adskillige nicher.

Del 1: Introduktion til Deep Learning's multi-decade sekulære vækst

Hvert ansigt, du ser på et videoopkald, og al den lyd, du hører, bliver manipuleret. For at forbedre opkaldskvaliteten, neurale netværk selektivt juster opløsningen i Zoom og undertrykke baggrundsstøj i Microsoft Teams. Nyere fremskridt ser endda video med lavere opløsning 'drømte' til en højere opløsning. Neurale netværk er de modeller, der bruges i den dybe læringsgren af kunstig intelligens. De er løst baseret på strukturen af menneskelige hjerne og har utallige applikationer, der måske i sidste ende skaber kunstig intelligens på menneskeligt niveau. Større modeller giver generelt bedre resultater, og den hardware, der kræves til avanceret udvikling, fordobles hver tredje måned. Denne eksplosion i udvikling har gjort dyb læring til en grundlæggende del af den moderne menneskelige oplevelse. I 2020 et neuralt netværk betjente radaren på et amerikansk spionfly, skriver sprogmodeller nu bedre svindelmails end mennesker, og selvkørende bilalgoritmer udkonkurrerer mennesker i mange miljøer.

GPT-3 175B, den største GPT-3-model foreslået af OpenAI i Brown et al. (2020) brugte en klynge af 1,000 NVIDIA Tesla V100 GPU'er til træning - omtrent svarende til 355 års træning på en enkelt enhed. DALL-E fra Ramesh et al. (2021), en anden Transformer-model fra OpenAI, har 12 milliarder parametre og blev trænet på over 400 millioner billedtekstbilleder. OpenAI bar omkostningerne ved at træne DALL-E, men nægtede kontroversielt at open source modellen, hvilket betyder, at måske en af de vigtigste avancerede multimodale deep learning-modeller forbliver utilgængelig for alle undtagen nogle få udvalgte. De enorme ressourcekrav til at bygge disse fundament modeller skabe betydelige barrierer for adgang, og uden en metode til at samle ressourcer, mens de stadig fanger værdi, vil det sandsynligvis forårsage stagnation i AI-fremme. Mange mener, at disse generaliserede modeller er nøglen til at låse op for Artificial General Intelligence (AGI), hvilket får den nuværende metode til træning i isolerede, kunstige siloer til at virke absurd.

Nuværende løsninger, der giver adgang til computerforsyning, er enten oligopolistiske og dyre eller simpelthen uigennemførlig i betragtning af kompleksiteten af beregninger, der kræves til storskala AI. At imødekomme ballonbehovet kræver et system, der omkostningseffektivt udnytter alle tilgængelig beregning (i modsætning til dagens ~40% globale processorudnyttelse). Forstærker dette problem lige nu, er det faktum, at selve computerforsyningen er hæmmet af asymptotisk fremskridt inden for mikroprocessorydelse — sideløbende forsyningskæde , geopolitiske spånmangel.

Del 2: Hvorfor er Gensyns koordinering nødvendig?

Den grundlæggende udfordring ved at opbygge dette netværk er verificeringen af afsluttet ML-arbejde. Dette er et meget komplekst problem, der sidder i skæringspunktet mellem kompleksitetsteori, spilteori, kryptografi og optimering. Udover menneskelig viden inden for modeldesign, er der tre grundlæggende problemer, der bremser udviklingen af anvendt ML, 1) adgang til computerkraft; 2) adgang til data; og 3) adgang til viden (grundsandhedsmærkning). Gensyn løser det første problem ved at give on-demand adgang til globalt skalerbar computer til rimelige markedspriser, mens Gensyn Foundation vil søge at fremme løsninger på to og tre gennem forskning, finansiering og samarbejde med andre protokoller.

Specifikt gør adgang til overlegne processorer det muligt at træne stadigt større/komplekse modeller. I det seneste årti har stigninger i transistortæthed og fremskridt i hukommelsesadgangshastighed/parallelisering dramatisk reduceret træningstiden for store modeller. Virtuel adgang til denne hardware, via skygiganter som AWS og Alibaba, har samtidig udvidet adoptionen. Derfor er der en stærk statsinteresse i at anskaffe midlerne til at producere state-of-the-art processorer. Det kinesiske fastland har endnu ikke ende-til-ende-kapaciteten til at producere state-of-the-art halvledere (nemlig silicium wafers), en væsentlig komponent i processorer. De skal importere disse, især fra TSMC (Taiwan Semiconductor Manufacturing Company). Chipleverandører forsøger også at blokere andre kunders adgang til chipproducenter ved at opkøbe udbud. På delstatsniveau har USA været aggressivt blokerende ethvert skridt fra kinesiske virksomheders side for at erhverve denne teknologi. Længere oppe i tech-stakken er nogle virksomheder gået så langt som at skabe deres egen deep learning-specifikke hardware, såsom Googles TPU-klynger. Disse overgår standard GPU'er ved deep learning og er ikke tilgængelige til salg, kun til leje.

En voldsom forøgelse af omfanget af tilgængelig computer, samtidig med at dens enhedsomkostninger reduceres, åbner døren til et helt nyt paradigme for dyb læring for både forsknings- og industrisamfund. Forbedringer i skala og omkostninger gør det muligt for protokollen at opbygge et sæt af allerede gennemprøvede, fortrænede basismodeller – også kendt som Foundation modeller– på samme måde som model zoologiske haver af populære rammer. Dette giver forskere og ingeniører mulighed for åbent at forske i og træne overlegne modeller over enorme åbne datasæt på samme måde som Eleuther projekt. Disse modeller vil løse nogle af menneskehedens grundlæggende problemer uden centraliseret ejerskab eller censur. Kryptografi, især funktionel kryptering, vil tillade, at protokollen kan udnyttes over private data on-demand. Kæmpe fundamentmodeller kan derefter finjusteres af enhver, der bruger et proprietært datasæt, ved at bevare værdien/privatlivet i disse data, men stadig dele kollektiv viden inden for modeldesign og forskning.

***Høj skala + lav pris:*** *Gensyn-protokollen giver en omkostning svarende til en ejet GPU i et datacenter i en skala, der kan overgå AWS. (Priser pr. november 2021).*

Del 3: Gensyn driver Web3-native datacentralisering

Internettet kunne være født af den amerikanske regering i 1960'erne, men i 1990'erne var det et anarkisk net af kreativitet, individualisme og muligheder. Længe før Google oplagrede TPU'er, forsøgte projekter som SETI@home at opdage fremmede liv ved at crowdsourcing decentraliseret computerkraft. I år 2000 havde SETI@home en behandlingshastighed på 17 teraflops, hvilket er over dobbelt så meget som den bedste supercomputer på det tidspunkt, IBM ASCI White. Denne tidsperiode kaldes generelt 'web1', et øjeblik før hegemoniet af store platforme som Google eller Amazon (web2), men decentraliseret databehandling vaklede i skalering for at opfylde internettets oprindelige behov på grund af flere problemer på det tidspunkt.

Men den nuværende centralisering af webinfrastruktur til enorme web2-platforme skaber sine egne problemer, såsom omkostninger (AWS' bruttomargin er en estimeret 61 %, der repræsenterer marginkomprimering for de fleste underskalaforskere og datadrevne virksomheder. Samtidig ofrer centraliserede computerinstanser også kontrol - AWS slukkede for infrastrukturen på den populære højreorienterede sociale medieplatform Parler med en dags varsel efter Capitol-oprøret den 6. januar 2021. Mange var enige i denne beslutning, men præcedensen er farlig, når AWS værter 42% af de 10,000 bedste websteder på internettet. Det er dog vanskeligt at træne deep learning-modeller på tværs af decentraliseret hardware på grund af verifikationsproblemet, som Gensyn-protokollen hjælper med at løse.

Opbygning af markedspladsen som en Web3-protokol fjerner de centraliserede overhead-udgifter ved skalering og reducerer adgangsbarriererne for nye forsyningsdeltagere, hvilket tillader netværket potentielt at omfatte enhver computerenhed i verden. At forbinde alle enheder gennem et enkelt decentraliseret netværk giver et niveau af skalerbarhed, som i øjeblikket er umuligt at opnå gennem nogen eksisterende udbyder, hvilket giver hidtil uset on-demand adgang til hele verdens computerforsyning. For slutbrugere afmonterer dette fuldstændigt omkostning kontra skala-dilemmaet og giver en gennemsigtig og billig ML-træningsberegning for potentielt uendelig skalerbarhed (op til verdensomspændende fysiske hardwaregrænser) og for enhedspriser, der bestemmes af markedsdynamikken. Dette omgår de sædvanlige voldgrave, som store udbydere nyder godt af, sænker priserne betydeligt og letter virkelig global konkurrence på ressourceniveau, og overvejer endda et tilfælde, hvor eksisterende cloud-tjenesteudbydere også betragter Gensyn-protokollen som en distributionsvej, der komplementerer mere centraliseret førstepart. bundte tilbud.

konklusion:

Med kunstig intelligens, der er næsten lige så populært som cryptocurrency og blockchains, skal vores afhandling om investering i Gensyn som vist her bestå testene af at være letforståelige og evidensunderbyggede, samtidig med at vi er lige så ambitiøse i at udtynde mulighederne for protokollens evne til at tilføje værdi et oprindeligt målrettet, men generaliserbart ressourcenetværk, der er hjemmehørende i web3. Med Gensyn-protokollen mener vi, at vi ser begyndelsen på et hyper-skalerbart, omkostningseffektivt koordinationsnetværk, som baner vejen for endnu mere værdifuld indsigt, der danner grundlaget for utallige applikationer i fremtiden.

Om CoinFund

CoinFund er et mangfoldigt, førende blockchain-fokuseret investeringsfirma grundlagt i 2015, baseret i USA. Samlet har vi en omfattende track record og erfaring inden for kryptovaluta, traditionelle aktier, kredit, private equity og ventureinvesteringer. CoinFund-strategierne spænder over både likvide markeder og venturemarkeder og drager fordel af vores tværfaglige tilgang, der synkroniserer teknisk kryptonative evner med traditionel finanserfaring. Med en "founders first"-tilgang samarbejder CoinFund tæt med sine porteføljevirksomheder for at drive innovation på tværs af det digitale aktivrum.

Ansvarsfraskrivelse

Indholdet på dette websted er kun til informations- og diskussionsformål og bør ikke stoles på i forbindelse med en bestemt investeringsbeslutning eller opfattes som et tilbud, anbefaling eller opfordring vedrørende nogen investering. Forfatteren støtter ikke nogen virksomhed, projekt eller token, der er diskuteret i denne artikel. Alle oplysninger præsenteres her "som de er" uden garanti af nogen art, hvad enten det er udtrykkeligt eller underforstået, og eventuelle fremadrettede udsagn kan vise sig at være forkerte. CoinFund Management LLC og dets tilknyttede selskaber kan have lange eller korte positioner i de tokens eller projekter, der er diskuteret i denne artikel.

Gensyn-protokollen træner tillidsløst neurale netværk i hyperskala med lavere størrelsesorden ... blev oprindeligt offentliggjort i CoinFund-bloggen på Medium, hvor folk fortsætter samtalen ved at fremhæve og svare på denne historie.

Tidsstempel: Marts 21, 2022