Protokol Gensyn nezaupljivo usposablja nevronske mreže v hiperrazmerju z nižjim vrstnim redom velikosti…

Časovni žig: 21. marec 2022 8
Izvorno vozlišče: 1225331

Protokol Gensyn nezaupljivo usposablja nevronske mreže v hiperrazmerju z nižjim vrstnim redom velikosti stroškov

Povezave: Spletno mesto Gensyn, Knjižni papir, Portfelj CoinFund, Članek TechCrunch Link

Povzetek investicijske teze

  • Sekularni finančni vzvod za vse večjo kompleksnost in vrednost strojnega pisanja: Računska zapletenost najsodobnejših sistemov AI se podvoji vsake 3 mesece, medtem ko vrednost teh modelov še naprej hitro narašča, medtem ko se nekdanja narava črne škatle teh algoritmov zdaj vse bolj prilagaja večjim človeku razumljivi osvetljevalci.
  • Nova zasnova sistema za usklajevanje in preverjanje: Gensyn gradi sistem preverjanja (testnet v1 bo uveden pozneje letos), ki učinkovito rešuje problem odvisnosti od stanja pri usposabljanju nevronskih mrež v katerem koli obsegu. Sistem združuje kontrolne točke za usposabljanje modela z verjetnostnimi preverjanji, ki se zaključijo v verigi. Vse to počne brez zaupanja in režijski stroški se linearno prilagajajo velikosti modela (ohranja konstantne stroške preverjanja).
  • Tematski poudarek na decentralizaciji umetne inteligence: Večino dobro znanih primerov aplikacij za strojno učenje (avtomobili Tesla, Google DeepMind) izdeluje ista skupina podjetij, to pa zato, ker je industrija globokega učenja trenutno videti kot igra monopola med velikimi tehnološkimi podjetji, kot tudi države, kot sta Kitajska in Združene države. Posledica teh sil so ogromne sile centralizacije, ki so v nasprotju s spletom3 in celo zgodovinskim izvorom spleta1.

CoinFund s ponosom podpira nedavno zbiranje sredstev Gensyn Protocol in vizija ekipe, da prek njihovega novega sistema preverjanja omogoči nezaupljivo usposabljanje nevronskih mrež v hiperrazsežnosti in nizki ceni. Uporaba verjetnostnih preverjanj, ki se zaključijo v verigi med tapkanjem v premalo izkoriščeni in premalo izkoriščeni računalniški viri, ki segajo od trenutno premalo izkoriščenih igralnih grafičnih procesorjev do sofisticiranih rudarskih bazenov ETH1, ki se bodo kmalu ločili od omrežja Ethereum, ko bo to omrežje prešlo na Proof of Stake, protokol Gensyn ne zahteva nobenega upravnega nadzornika ali pravnega pregona, temveč olajša distribucijo nalog in plačila programsko prek pametne pogodbe. Še bolje, decentralizirana narava protokola pomeni, da ga bo na koncu upravljala večinska skupnost in ga ni mogoče "izklopiti" brez soglasja skupnosti; zaradi tega je odporen na cenzuro, za razliko od svojih sorodnikov web2. Navsezadnje verjamemo, da si Gensyn prizadeva postati temeljna plast za računalništvo ML, ki temelji na web3, saj udeleženci tretjih oseb sčasoma zgradijo bogate uporabniške izkušnje in specifično funkcionalnost v številnih nišah.

1. del: Uvod v večdesetletno sekularno rast globokega učenja

Vsak obraz, ki ga vidite v video klicu, in ves zvok, ki ga slišite, je spremenjen. Za izboljšanje kakovosti klicev nevronske mreže selektivno prilagodite ločljivost v povečavi in zaduši hrup v ozadju v Microsoft Teams. Novejši napredek omogoča celo videe nižje ločljivosti 'sanjal' v višjo ločljivost. Nevronske mreže so modeli, ki se uporabljajo v veji globokega učenja umetne inteligence. Ohlapno temeljijo na strukturi človeških možganov in imajo nešteto aplikacij, morda na koncu ustvarijo umetno inteligenco na človeški ravni. Večji modeli na splošno dajejo boljše rezultate, strojna oprema, potrebna za najsodobnejši razvoj, pa se podvoji vsake tri mesece. Zaradi te eksplozije razvoja je poglobljeno učenje postalo temeljni del sodobne človeške izkušnje. Leta 2020 nevronska mreža upravljal radar na ameriškem vohunskem letalu, zdaj pišejo jezikovni modeli boljša prevarantska e-poštna sporočila kot ljudje in algoritmi za samovozeče avtomobile Izginiti ljudi v številnih okoljih.

GPT-3 175B, največji model GPT-3, ki ga je predlagal OpenAI leta Brown et al. (2020) je za usposabljanje uporabil skupino 1,000 grafičnih procesorjev NVIDIA Tesla V100, kar je približno enako 355-letnim usposabljanjem na eni napravi. DALL-E od Ramesh et al. (2021), še en model Transformer iz OpenAI, ima 12 milijard parametrov in je bil učen na več kot 400 milijonih slik z napisi. OpenAI je nosil stroške usposabljanja DALL-E, vendar je kontroverzno zavrnil odprtokodni model, kar pomeni, da morda eden najpomembnejših najsodobnejših multimodalnih modelov globokega učenja ostaja nedostopen vsem, razen nekaj izbranim. Ogromne potrebe po virih za njihovo gradnjo modeli temeljev ustvarjajo znatne ovire za dostop in brez metode za združevanje virov, medtem ko še vedno zajemajo vrednost, bodo verjetno povzročile stagnacijo napredka AI. Mnogi verjamejo, da so ti posplošeni modeli ključ do odklepanja splošne umetne inteligence (AGI), zaradi česar se trenutna metoda usposabljanja v izoliranih, umetnih silosih zdi absurdna.

Trenutne rešitve, ki zagotavljajo dostop do računalniške ponudbe, so oligopolne in drage ali preprosto neizvedljivo glede na kompleksnost računanja, ki je potrebno za AI velikega obsega. Zadovoljevanje naraščajočega povpraševanja zahteva sistem, ki stroškovno učinkovito izkorišča vse razpoložljivo računalništvo (v nasprotju z današnjo ~40-odstotno globalno uporabo procesorja). To težavo trenutno otežuje dejstvo, da je sama ponudba računalništva omejena asimptotično napredek v zmogljivosti mikroprocesorjev — zraven dobavne verige in geopolitične pomanjkanje čipov.

2. del: Zakaj je potrebna Gensynova koordinacija?

Temeljni izziv pri izgradnji tega omrežja je preverjanje opravljenega dela ML. To je zelo zapleten problem, ki je na presečišču teorije kompleksnosti, teorije iger, kriptografije in optimizacije. Poleg človeškega znanja o načrtovanju modelov obstajajo tri temeljne težave, ki upočasnjujejo napredek uporabnega strojnega učenja: 1) dostop do računalniške moči; 2) dostop do podatkov; in 3) dostop do znanja (označevanje temeljne resnice). Gensyn rešuje prvi problem z zagotavljanjem dostopa na zahtevo do globalno razširljivega računalništva po pošteni tržni ceni, medtem ko bo Gensyn Foundation poskušala spodbuditi rešitve za dva in tri z raziskavami, financiranjem in sodelovanjem z drugimi protokoli.

Natančneje, dostop do vrhunskih procesorjev omogoča usposabljanje vse večjih/kompleksnejših modelov. V zadnjem desetletju sta povečana gostota tranzistorjev in napredek pri hitrosti dostopa do pomnilnika/paralelizaciji dramatično zmanjšala čas usposabljanja za velike modele. Virtualni dostop do te strojne opreme prek velikanov v oblaku, kot sta AWS in Alibaba, je hkrati razširil uporabo. Zato obstaja močan državni interes za pridobitev sredstev za proizvodnjo najsodobnejših procesorjev. Celinska Kitajska še nima zmogljivosti od konca do konca za proizvodnjo najsodobnejših polprevodnikov (namreč silicijevih rezin), bistvene komponente procesorjev. Te morajo uvoziti, zlasti iz TSMC (Taiwan Semiconductor Manufacturing Company). Prodajalci čipov tudi poskušajo preprečiti drugim strankam dostop do proizvajalcev čipov z odkupom ponudbe. Na državni ravni so bile ZDA agresivno blokiranje kakršne koli poteze kitajskih podjetij za pridobitev te tehnologije. Na tehnološkem področju so nekatera podjetja šla tako daleč, da so ustvarila lastno strojno opremo za globoko učenje, kot so Googlovi grozdi TPU. Ti prekašajo standardne grafične procesorje pri globokem učenju in niso na voljo za prodajo, ampak samo za najem.

Močno povečanje obsega dostopnega računalništva ob hkratnem znižanju stroškov na enoto odpira vrata popolnoma novi paradigmi za poglobljeno učenje tako za raziskovalne kot industrijske skupnosti. Izboljšave v obsegu in stroških omogočajo protokolu, da zgradi nabor že preverjenih, vnaprej usposobljenih osnovnih modelov – znanih tudi kot Modeli temeljev– na podoben način kot vzorčni živalski vrtovi priljubljenih okvirov. To omogoča raziskovalcem in inženirjem, da odprto raziskujejo in urijo vrhunske modele na ogromnih odprtih nizih podatkov, na podoben način kot Eleuther projekt. Ti modeli bodo rešili nekatere temeljne probleme človeštva brez centraliziranega lastništva ali cenzure. Kriptografija, zlasti funkcionalno šifriranje, bo omogočila uporabo protokola nad zasebnimi podatki na zahtevo. Ogromne temeljne modele lahko nato vsakdo natančno nastavi z uporabo lastniškega nabora podatkov, pri čemer ohrani vrednost/zasebnost teh podatkov, vendar še vedno deli kolektivno znanje pri načrtovanju in raziskavah modelov.

Visok obseg + nizki stroški: protokol Gensyn zagotavlja stroške, podobne lastni GPU v podatkovnem središču v obsegu, ki lahko preseže AWS. (Cene od novembra 2021).

3. del: Gensyn poganja centralizacijo podatkov Web3-Native

Internet bi morda rodila ameriška vlada v šestdesetih letih prejšnjega stoletja, toda v devetdesetih letih je bil to anarhična mreža ustvarjalnosti, individualizma in priložnosti. Precej preden je Google kopičil TPU, so projekti, kot je SETI@home, poskušali odkriti nezemljansko življenje z zbiranjem decentralizirane računalniške moči. Do leta 1960 je imel SETI@home stopnjo obdelave 17 teraflopa, ki več kot dvakrat presega zmogljivost najboljšega superračunalnika v tistem času, IBM ASCI White. To obdobje se na splošno imenuje "web1", trenutek pred hegemonijo velikih platform, kot sta Google ali Amazon (web2), vendar je decentralizirano računalništvo zaradi več težav v tistem času omahovalo pri prilagajanju velikosti, da bi zadostilo začetnim potrebam interneta.

Vendar pa trenutna centralizacija spletne infrastrukture v ogromne platforme web2 ustvarja lastne težave, kot so stroški (bruto marža AWS je ocenjena 61%, ki predstavlja stiskanje marže za večino raziskovalcev na podrazmeri in podjetij, ki temeljijo na podatkih. Hkrati centralizirane računalniške instance žrtvujejo tudi nadzor – AWS je izklopil infrastrukturo priljubljene desničarske platforme družbenih medijev Parler z en dan obvestila po nemirih na Kapitolu 6. januarja 2021. Mnogi so se strinjali s to odločitvijo, vendar je precedens nevaren, ko je AWS gosti 42 % izmed 10,000 najboljših spletnih mest na internetu. Vendar je usposabljanje modelov globokega učenja v decentralizirani strojni opremi težko zaradi težave s preverjanjem, ki jo pomaga rešiti protokol Gensyn.

Izgradnja tržnice kot protokola Web3 odpravlja centralizirane režijske stroške pri skaliranju in zmanjšuje vstopne ovire za nove udeležence v ponudbi, kar omrežju omogoča, da potencialno zajame vse računalniške naprave na svetu. Povezovanje vseh naprav prek enega samega decentraliziranega omrežja zagotavlja raven razširljivosti, ki je trenutno ni mogoče doseči pri nobenem obstoječem ponudniku, kar omogoča dostop na zahtevo brez primere do celotne svetovne računalniške ponudbe. Za končne uporabnike to popolnoma odpravi dilemo med stroški in obsegom ter zagotavlja pregledno in poceni računalniško usposabljanje ML za potencialno neskončno razširljivost (do svetovnih omejitev fizične strojne opreme) in cene na enoto, ki jih določa tržna dinamika. To zaobide običajne jarke, ki jih uživajo veliki ponudniki, občutno znižuje cene in omogoča resnično globalno konkurenco na ravni virov ter celo upošteva primer, ko obstoječi ponudniki storitev v oblaku prav tako vidijo protokol Gensyn kot distribucijsko pot, ki dopolnjuje bolj centralizirano prvo stranko. paketne ponudbe.

ugotovitev:

Z umetno inteligenco, ki je skoraj tako priljubljena modna beseda kot kriptovalute in verige blokov, mora naša teza o vlaganju v Gensyn, kot je predstavljena tukaj, prestati teste, da je lahko razumljiva in podprta z dokazi, hkrati pa mora biti enako ambiciozna pri zmanjševanju možnosti, ki jih ponuja zmožnost protokola, da dodajte vrednost prvotno ciljano, a posplošljivo omrežje virov, ki izvira iz web3. Verjamemo, da s protokolom Gensyn vidimo začetke hiper-razširljivega, stroškovno učinkovitega koordinacijskega omrežja, ki utira pot še bolj dragocenim vpogledom, ki postavljajo temelje za številne aplikacije v prihodnosti.

O CoinFundu

CoinFund je raznoliko, vodilno investicijsko podjetje, osredotočeno na verigo blokov, ustanovljeno leta 2015 s sedežem v ZDA. Skupaj imamo obsežne rezultate in izkušnje na področju kriptovalut, tradicionalnega kapitala, kreditov, zasebnega kapitala in tveganega vlaganja. Strategije CoinFund zajemajo tako likvidne kot tvegane trge in imajo koristi od našega multidisciplinarnega pristopa, ki sinhronizira tehnično kripto sposobnost s tradicionalnimi finančnimi izkušnjami. S pristopom »najprej ustanovitelji« CoinFund tesno sodeluje s svojimi portfeljskimi podjetji, da bi spodbudil inovacije v prostoru digitalnih sredstev.

Zavrnitev odgovornosti

Vsebina na tem spletnem mestu je samo v informativne namene in za razpravo ter se nanjo ne smete zanašati v povezavi z določeno investicijsko odločitvijo ali je razlagati kot ponudbo, priporočilo ali nagovarjanje v zvezi s katero koli naložbo. Avtor ne podpira nobenega podjetja, projekta ali žetona, obravnavanega v tem članku. Vse informacije so tukaj predstavljene »takšne, kot so«, brez kakršnega koli jamstva, izrecnega ali implicitnega, in morebitne izjave o prihodnosti se lahko izkažejo za napačne. CoinFund Management LLC in njegove podružnice imajo lahko dolge ali kratke pozicije v žetonih ali projektih, obravnavanih v tem članku.

Protokol Gensyn nezaupljivo usposablja nevronske mreže v hiperrazmerju z nižjim vrstnim redom velikosti… je bil prvotno objavljen v Blog CoinFund na Medij, kjer ljudje nadaljujejo pogovor s poudarjanjem in odgovorom na to zgodbo.

Časovni žig:

Več od Kovanci