Protocolul Gensyn antrenează fără încredere rețele neuronale la hiperscală, cu ordinul inferior al mărimii...

Marca temporală: 21 martie 2022 8:57 AM
Nodul sursă: 1225331

Protocolul Gensyn antrenează fără încredere rețelele neuronale la hiperscală, cu ordinul mai mic al mărimii costului

Link-uri: Site-ul web Gensyn, Litepaper, Portofoliul CoinFund, Articolul TechCrunch Link

Rezumatul tezei de investiții

  • Levier secular pentru ML, complexitate și valoare în creștere: Complexitatea computațională a sistemelor AI de ultimă generație se dublează la fiecare 3 luni, în timp ce valoarea acestor modele continuă să crească rapid, în timp ce fosta natură neagră a acestor algoritmi sunt acum din ce în ce mai capabile să se potrivească cu mai multe iluminatoare înțelese de om.
  • Proiectare nouă a sistemului de coordonare și verificare: Gensyn construiește un sistem de verificare (testnet v1 va fi implementat mai târziu în acest an) care rezolvă eficient problema dependenței de stat în formarea rețelelor neuronale la orice scară. Sistemul combină puncte de control de antrenament model cu verificări probabilistice care se termină în lanț. Face toate acestea fără încredere, iar costul general se scalează liniar cu dimensiunea modelului (menținând constant costurile de verificare).
  • Focus tematic pe descentralizarea AI: Cele mai multe dintre exemplele binecunoscute de aplicații de învățare automată (mașini Tesla cu conducere autonomă, Google DeepMind) sunt produse de același set de companii, asta pentru că industria învățării profunde arată în prezent ca un joc de monopol între companiile Big Tech, deoarece precum și state precum China și Statele Unite. Aceste forțe au ca rezultat forțe uriașe de centralizare care sunt contrare web3 și chiar originilor istorice ale web1.

CoinFund este mândru să sprijine recenta strângere de fonduri a Gensyn Protocol și viziunea echipei de a permite formarea fără încredere a rețelelor neuronale la hiperscală și la costuri reduse prin sistemul lor de verificare nou. Folosind verificări probabilistice care se termină în lanț în timp ce atinge surse de calcul subutilizate și subutilizate, de la GPU-uri pentru jocuri subutilizate în prezent până la pool-uri de minerit ETH1 sofisticate pe cale să se detașeze de rețeaua Ethereum, deoarece rețeaua trece la Proof of Stake, protocolul Gensyn nu necesită supraveghetor administrativ sau aplicare legală, facilitând mai degrabă distribuirea sarcinilor și plățile în mod programatic prin contracte inteligente. Mai bine, natura descentralizată a protocolului înseamnă că în cele din urmă va fi guvernat de comunitatea majoritară și nu poate fi „dezactivat” fără consimțământul comunității; acest lucru îl face rezistent la cenzură, spre deosebire de omologii săi web2. În cele din urmă, credem că Gensyn joacă pentru a deveni stratul de bază pentru calculul ML nativ web3, deoarece participanții terți construiesc în cele din urmă experiențe de utilizator bogate și funcționalități specifice în numeroase nișe.

Partea 1: Introducere în creșterea seculară de mai multe decenii a Deep Learning

Fiecare față pe care o vedeți la un apel video și tot sunetul pe care îl auzi este manipulat. Pentru a îmbunătăți calitatea apelurilor, rețelele neuronale selectiv reglați rezoluția în Zoom și suprima zgomotul de fundal în Microsoft Teams. Progresele mai recente văd chiar și videoclipuri cu rezoluție mai mică "visat" într-o rezoluție mai mare. Rețelele neuronale sunt modelele utilizate în ramura de deep learning a inteligenței artificiale. Ele se bazează vag pe structura creier uman și au o multitudine de aplicații, poate în cele din urmă creând inteligență artificială la nivel uman. Modelele mai mari dau în general rezultate mai bune, iar hardware-ul necesar pentru dezvoltarea de ultimă generație se dublează la fiecare trei luni. Această explozie a dezvoltării a făcut din învățarea profundă o parte fundamentală a experienței umane moderne. În 2020, o rețea neuronală a operat radarul pe un avion spion al SUA, modelele lingvistice scriu acum mai bune e-mailuri înșelătorii decât oamenii și algoritmi de mașini cu conducere autonomă outperform oameni în multe medii.

GPT-3 175B, cel mai mare model GPT-3 propus de OpenAI în Brown și colab. (2020) a folosit un cluster de 1,000 de GPU-uri NVIDIA Tesla V100 pentru antrenament - aproximativ echivalent cu 355 de ani de antrenament pe un singur dispozitiv. DALL-E din Ramesh și colab. (2021), un alt model Transformer de la OpenAI, are 12 miliarde de parametri și a fost antrenat pe peste 400 de milioane de imagini subtitrate. OpenAI a suportat costul antrenării DALL-E, dar a refuzat în mod controversat să deschidă modelul, ceea ce înseamnă că, probabil, unul dintre cele mai importante modele de învățare profundă multimodală de ultimă generație rămâne inaccesibil tuturor, cu excepția unora selectați. Cerințele uriașe de resurse pentru construirea acestora modele de fundație va crea bariere semnificative în calea accesului și, fără o metodă de a pune în comun resursele în același timp captând valoare, va cauza probabil stagnarea progresului AI. Mulți cred că aceste modele generalizate sunt cheia pentru deblocarea Inteligenței Generale Artificiale (AGI), făcând ca metoda actuală de antrenament în silozuri artificiale izolate să pară absurdă.

Soluțiile actuale care oferă acces la furnizarea de calculatoare sunt fie oligopoliste și costisitoare, fie pur și simplu irealizabil având în vedere complexitatea de calcul necesară pentru IA la scară largă. Satisfacerea cererii de balonare necesita un sistem care sa foloseasca eficient costurile toate calcul disponibil (spre deosebire de utilizarea globală a procesorului de ~40% de astăzi). Agravarea acestei probleme chiar acum este faptul că sursa de calcul în sine este blocată de asimptotic progrese în performanța microprocesorului — alături lanțului de aprovizionare și geopolitice lipsa de cipuri.

Partea 2: De ce este necesară coordonarea Gensyn?

Provocarea fundamentală în construirea acestei rețele este verificarea lucrărilor ML finalizate. Aceasta este o problemă extrem de complexă care se află la intersecția dintre teoria complexității, teoria jocurilor, criptografia și optimizarea. Pe lângă cunoștințele umane în proiectarea modelelor, există trei probleme fundamentale care încetinesc progresul ML aplicat, 1) accesul la puterea de calcul; 2) acces la date; și 3) accesul la cunoștințe (etichetarea adevărului de bază). Gensyn rezolvă prima problemă, oferind acces la cerere la calculatoare scalabile la nivel global, la prețul său corect de piață, în timp ce Fundația Gensyn va căuta să încurajeze soluții pentru două și trei prin cercetare, finanțare și colaborări cu alte protocoale.

Mai exact, accesul la procesoare superioare permite antrenarea modelelor din ce în ce mai mari/complexe. În ultimul deceniu, câștigurile în densitatea tranzistorilor și progresele în viteza de acces la memorie/paralelizare au redus dramatic timpii de antrenament pentru modelele mari. Accesul virtual la acest hardware, prin intermediul giganților cloud precum AWS și Alibaba, și-a extins simultan adoptarea. În consecință, există un puternic interes de stat în achiziționarea mijloacelor pentru a produce procesoare de ultimă generație. China continentală nu are încă capacitatea de la capăt la capăt de a produce semiconductori de ultimă generație (și anume, plachete de siliciu), o componentă esențială a procesoarelor. Ei trebuie să le importe, în special de la TSMC (Taiwan Semiconductor Manufacturing Company). Vânzătorii de cipuri încearcă, de asemenea, să împiedice alți clienți să acceseze producătorii de cipuri prin cumpărarea de provizii. La nivel de stat, SUA a fost blocare agresivă orice mișcare a companiilor chineze de a achiziționa această tehnologie. Mai sus în stiva tehnologică, unele companii au mers până la crearea propriului hardware specific pentru învățarea profundă, cum ar fi clusterele TPU de la Google. Acestea depășesc GPU-urile standard la deep learning și nu sunt disponibile pentru vânzare, ci doar pentru închiriere.

Creșterea considerabilă a dimensiunii calculatoarelor accesibile, reducând în același timp costul unitar al acestuia, deschide ușa către o paradigmă complet nouă pentru învățarea profundă atât pentru comunitățile de cercetare, cât și pentru cele industriale. Îmbunătățirile la scară și costuri permit protocolului să construiască un set de modele de bază deja dovedite, pregătite în prealabil, cunoscute și sub numele de Modele de fundație– într-un mod similar cu gradini zoologice model a cadrelor populare. Acest lucru le permite cercetătorilor și inginerilor să cerceteze și să antreneze în mod deschis modele superioare pe seturi de date uriașe deschise, într-un mod similar cu Eleuther proiect. Aceste modele vor rezolva unele dintre problemele fundamentale ale umanității fără proprietate centralizată sau cenzură. Criptografia, în special criptarea funcțională, va permite ca protocolul să fie valorificat la cerere asupra datelor private. Modelele de fundație uriașe pot fi apoi ajustate de către oricine care utilizează un set de date proprietar, menținând valoarea/ confidențialitatea datelor respective, dar totuși împărtășind cunoștințele colective în proiectarea și cercetarea modelelor.

Scară mare + cost redus: protocolul Gensyn oferă un cost similar cu un GPU deținut într-un centru de date la o scară care poate depăși AWS. (Prețurile din noiembrie 2021).

Partea 3: Gensyn Drives Web3-Native Data Centralization

Internetul s-ar fi născut din guvernul SUA în anii 1960, dar în anii 1990 era o rețea anarhică de creativitate, individualism și oportunități. Cu mult înainte ca Google să stocheze TPU-uri, proiecte precum SETI@home au încercat să descopere viața extraterestră prin crowdsourcing puterea de calcul descentralizată. Până în anul 2000, SETI@home avea o rată de procesare de Teraflops 17, care este peste dublu față de cel mai bun supercomputer din acea vreme, IBM ASCI White. Această perioadă de timp este denumită în general „web1”, cu un moment înainte de hegemonia platformelor mari precum Google sau Amazon (web2), dar calculul descentralizat a slăbit în scalare pentru a satisface nevoile inițiale ale internetului, din cauza mai multor probleme la acea vreme.

Cu toate acestea, centralizarea actuală a infrastructurii web în platforme web2 uriașe creează propriile probleme, cum ar fi costul (marja brută a AWS este estimată 61%, reprezentând comprimarea marjei pentru majoritatea cercetătorilor de sub scară și a companiilor bazate pe date. În același timp, instanțele de calcul centralizate sacrifică și controlul - AWS a oprit infrastructura popularei platforme de socializare de dreapta Parler cu preaviz cu o zi în urma revoltei din Capitoliu din 6 ianuarie 2021. Mulți au fost de acord cu această decizie, dar precedentul este periculos atunci când AWS gazde 42% dintre primele 10,000 de site-uri de pe internet. Cu toate acestea, formarea modelelor de învățare profundă în hardware-ul descentralizat este dificilă din cauza problemei de verificare, pe care Protocolul Gensyn o ajută la rezolvarea.

Construirea pieței ca un protocol Web3 elimină cheltuielile generale centralizate la scalare și reduce barierele la intrare pentru noii participanți la aprovizionare, permițând rețelei să cuprindă potențial fiecare dispozitiv de calcul din lume. Conectarea tuturor dispozitivelor printr-o singură rețea descentralizată oferă un nivel de scalabilitate care este în prezent imposibil de atins prin intermediul oricărui furnizor existent, oferind acces la cerere fără precedent la întreaga aprovizionare de calcul a lumii. Pentru utilizatorii finali, acest lucru demontează complet dilema cost vs. scară și oferă un calcul transparent și cu costuri reduse de instruire ML pentru o scalabilitate potențial infinită (până la limitele hardware fizice la nivel mondial) și pentru ca prețurile unitare să fie determinate de dinamica pieței. Acest lucru ocolește șanțurile obișnuite de care se bucură furnizorii mari, reduce în mod semnificativ prețurile și facilitează concurența cu adevărat globală la nivel de resurse și chiar ia în considerare un caz în care furnizorii existenți de servicii cloud văd, de asemenea, protocolul Gensyn ca pe o cale de distribuție care completează mai centralizat prima parte. oferte la pachet.

Concluzie:

Având inteligența artificială un cuvânt la fel de popular ca criptomoneda și blockchain-urile, teza noastră pentru a investi în Gensyn, așa cum este prezentată aici, trebuie să treacă testele de a fi ușor de înțeles și susținută de dovezi, fiind în același timp la fel de ambițioasă în a reduce oportunitatea stabilită pentru capacitatea protocolului de a adăugați valoare unei rețele de resurse țintite inițial, dar generalizabile, native web3. Cu protocolul Gensyn, credem că vedem începuturile unei rețele de coordonare hiper-scalabile și eficiente din punct de vedere al costurilor, care deschide calea pentru informații și mai valoroase care pun bazele pentru o multitudine de aplicații în viitor.

Despre CoinFund

CoinFund este o firmă de investiții diversificată, de top, axată pe blockchain, fondată în 2015, cu sediul în SUA Colectiv, avem o experiență extinsă în criptomonede, acțiuni tradiționale, credit, capital privat și investiții de risc. Strategiile CoinFund acoperă atât piețele lichide, cât și cele de risc și beneficiază de abordarea noastră multidisciplinară care sincronizează aptitudinea criptonativă tehnică cu experiența financiară tradițională. Cu o abordare „în primul rând fondatorii”, CoinFund colaborează îndeaproape cu companiile sale din portofoliu pentru a stimula inovația în spațiul activelor digitale.

Declinare a responsabilităţii

Conținutul furnizat pe acest site are doar scop informativ și de discuție și nu trebuie să se bazeze pe acesta în legătură cu o anumită decizie de investiție sau să fie interpretat ca o ofertă, recomandare sau solicitare cu privire la orice investiție. Autorul nu susține nicio companie, proiect sau simbol discutat în acest articol. Toate informațiile sunt prezentate aici „ca atare”, fără garanții de nici un fel, indiferent dacă sunt exprese sau implicite, și orice declarații prospective se pot dovedi a fi greșite. CoinFund Management LLC și afiliații săi pot avea poziții lungi sau scurte în token-urile sau proiectele discutate în acest articol.

Protocolul Gensyn antrenează fără încredere rețele neuronale la hiperscală, cu ordinul inferior al mărimii... a fost publicat inițial în Blogul CoinFund pe Medium, unde oamenii continuă conversația subliniind și răspunzând la această poveste.

Timestamp-ul:

Mai mult de la coinfund