Gensyni protokoll treenib usaldamatult närvivõrke hüperskaalal madalama suurusjärguga…

Ajatempel: 21. märts 2022 8:57
Allikasõlm: 1225331

Gensyni protokoll treenib usaldusväärselt närvivõrke hüperskaalal madalamate kuludega

Lingid: Gensyni veebisait, Kirjandus, CoinFondi portfell, TechCrunchi artikkel on siin

Investeeringu lõputöö kokkuvõte

  • Ilmalik mõju ML kasvavale keerukusele ja väärtusele: Tipptasemel tehisintellekti süsteemide arvutuslik keerukus kahekordistub iga 3 kuu järel, samas kui nende mudelite väärtus kasvab kiiresti, samas kui nende algoritmide endine musta kasti olemus on nüüd võimeline sobima üha enam suuremate mudelitega. inimesele mõistetavad valgustajad.
  • Uudne koordineerimis- ja kontrollisüsteemi disain: Gensyn ehitab verifitseerimissüsteemi (testnet v1 juurutatakse hiljem sel aastal), mis lahendab tõhusalt olekust sõltuvuse probleemi närvivõrkude koolituses mis tahes ulatuses. Süsteem ühendab mudelkoolituse kontrollpunktid tõenäosuslike kontrollidega, mis lõpetavad ahela. See teeb kõike seda usaldusväärselt ja üldkulud skaalatakse lineaarselt mudeli suurusega (hoides kontrollikulud konstantsena).
  • Temaatiline keskendumine AI detsentraliseerimisele: Enamikku tuntud masinõpperakenduste näiteid (Tesla isejuhtivad autod, Google DeepMind) toodavad samad ettevõtted, sest süvaõppetööstus näeb praegu välja nagu Big Tech ettevõtete vaheline monopolimäng. samuti sellised osariigid nagu Hiina ja USA. Nende jõudude tulemuseks on tohutud tsentraliseerimisjõud, mis on vastuolus web3-ga ja isegi web1 ajaloolise päritoluga.

CoinFund toetab uhkusega Gensyn Protocoli hiljutist rahakogumist ja meeskonna nägemus võimaldada nende uudse kontrollisüsteemi kaudu hüperskaala ja madala hinnaga närvivõrke usaldamatult koolitada. Tõenäosuslike kontrollide kasutamine, mis lõpetavad ahela koputades alakasutatud ja alakasutatud arvutusallikad, mis ulatuvad hetkel vähekasutatud mängugraafikutest kuni keerukate ETH1 kaevanduskogumiteni, mis hakkavad Ethereumi võrgust eralduma, kuna see võrk läheb üle Proof of Stake'ile, ei nõua Gensyni protokoll administratiivset järelevaatajat ega õiguslikku jõustamist, vaid hõlbustab programmiliselt ülesannete jaotamist ja makseid. nutikad lepingud. Veelgi parem, protokolli detsentraliseeritud olemus tähendab, et lõpuks juhitakse seda enamuskogukonna poolt ja seda ei saa ilma kogukonna nõusolekuta "välja lülitada". see muudab selle erinevalt web2 kolleegidest tsensuurile vastupidavaks. Lõppkokkuvõttes usume, et Gensyn hakkab muutuma web3-põhise ML-arvutuse alustalaks, kuna kolmandate osapoolte osalejad loovad lõpuks rikkalikke kasutajakogemusi ja spetsiifilisi funktsioone paljudes niššides.

1. osa: Sissejuhatus süvaõppe mitmekümne aasta pikkusesse ilmalikku kasvu

Iga nägu, mida videokõnes näete, ja kogu heli, mida kuulete, on manipuleeritud. Kõnekvaliteedi parandamiseks närvivõrgud valikuliselt reguleerige eraldusvõimet suumides ja summutada taustmüra Microsoft Teamsis. Hiljutised edusammud näevad isegi madalama eraldusvõimega videot 'unistanud' kõrgemale eraldusvõimele. Närvivõrgud on tehisintellekti süvaõppe harus kasutatavad mudelid. Need põhinevad lõdvalt selle struktuuril inimese aju ja neil on lugematu arv rakendusi, luues võib-olla lõpuks inimtasandi tehisintellekti. Suuremad mudelid annavad üldiselt paremaid tulemusi ja tipptasemel arendamiseks vajalik riistvara kahekordistub iga kolme kuu tagant. See plahvatuslik areng on muutnud sügava õppimise kaasaegse inimkogemuse oluliseks osaks. 2020. aastal närvivõrk juhtis radarit USA spioonilennukis kirjutavad nüüd keelemudelid parem petukirjad kui inimesed ja isejuhtivate autode algoritmid Ületab inimesed paljudes keskkondades.

GPT-3 175B, suurim GPT-3 mudel, mille OpenAI pakkus aastal Brown et al. (2020) kasutas koolituseks 1,000 NVIDIA Tesla V100 GPU-st koosnevat klastrit, mis vastab ligikaudu 355-aastasele koolitusele ühes seadmes. DALL-E alates Ramesh et al. (2021), OpenAI teine ​​Transformeri mudel, millel on 12 miljardit parameetrit ja seda on koolitatud enam kui 400 miljoni pealkirjaga pildi jaoks. OpenAI kandis DALL-E koolitamise kulud, kuid keeldus vastuoluliselt mudelit avatud lähtekoodiga kasutamast, mis tähendab, et võib-olla üks kõige olulisem nüüdisaegne multimodaalne süvaõppemudel jääb kõigile kättesaamatuks, välja arvatud mõned valitud. Nende ehitamiseks on tohutu ressursinõue vundamendi mudelid luua olulisi juurdepääsutõkkeid ja ilma ressursside ühendamise meetodita, säilitades samal ajal väärtust, põhjustab see tõenäoliselt tehisintellekti arendamise stagnatsiooni. Paljud usuvad, et need üldistatud mudelid on tehisintellekti (AGI) avamise võti, mistõttu praegune isoleeritud tehisintellekti treenimise meetod tundub absurdne.

Praegused lahendused, mis pakuvad juurdepääsu arvutusseadmetele, on kas oligopoolsed ja kallid või lihtsalt läbiviidamatu arvestades suuremahulise tehisintellekti jaoks vajaliku arvutuse keerukust. Õhupallide nõudluse rahuldamiseks on vaja kulutõhusalt võimendavat süsteemi kõik saadaval olev arvutus (erinevalt tänapäevasest ~40% globaalsest protsessori kasutamisest). Selle probleemi raskendab praegu asjaolu, et arvutusvarustus ise on häiritud asümptootiline edusammud mikroprotsessori jõudluses — koos tarneahelas ja geopoliitiline kiibi puudus.

2. osa: Miks on Gensyni koordineerimist vaja?

Selle võrgu ülesehitamise põhiprobleemiks on lõpetatud ML-tööde kontrollimine. See on väga keeruline probleem, mis asub keerukuse teooria, mänguteooria, krüptograafia ja optimeerimise ristumiskohas. Lisaks inimteadmistele mudelite kavandamisel on kolm põhiprobleemi, mis aeglustavad rakendusliku ML edenemist: 1) juurdepääs arvutusvõimsusele; 2) juurdepääs andmetele; ja 3) juurdepääs teadmistele (põhjatõe märgistamine). Gensyn lahendab esimese probleemi, pakkudes nõudmisel juurdepääsu globaalselt skaleeritavale arvutussüsteemile selle õiglase turuhinnaga, samas kui Gensyn Foundation püüab julgustada lahendusi kahele ja kolmele uuringute, rahastamise ja koostöö kaudu teiste protokollidega.

Täpsemalt võimaldab juurdepääs parematele protsessoritele koolitada üha suuremaid/keerulisemaid mudeleid. Viimase kümnendi jooksul on transistoride tiheduse suurenemine ja mälu juurdepääsu kiiruse/paralleliseerimise areng järsult vähendanud suurte mudelite treeninguaegu. Virtuaalne juurdepääs sellele riistvarale pilvehiiglaste, nagu AWS ja Alibaba, kaudu on samaaegselt kasutusele võtnud. Sellest tulenevalt on riigil suur huvi omandada vahendid tipptasemel protsessorite tootmiseks. Mandri-Hiinas ei ole veel täielikku võimalust toota tipptasemel pooljuhte (nimelt räniplaate), mis on protsessorite oluline komponent. Nad peavad need importima, eriti ettevõttelt TSMC (Taiwan Semiconductor Manufacturing Company). Kiibimüüjad püüavad ka takistada teistel klientidel juurdepääsu kiibitootjatele tarneid kokku ostes. Osariigi tasandil on USA olnud agressiivne blokeerimine Hiina ettevõtete mis tahes liigutus selle tehnoloogia omandamiseks. Tehnoloogiast kõrgemal on mõned ettevõtted jõudnud oma süvaõppe spetsiifilise riistvara loomiseni, näiteks Google'i TPU klastrid. Need ületavad süvaõppes standardseid GPU-sid ja neid ei saa müügiks, vaid laenutamiseks.

Juurdepääsetava arvutuse ulatuse märkimisväärne suurendamine, vähendades samal ajal selle ühikuhinda, avab ukse täiesti uuele paradigmale süvaõppeks nii teadus- kui ka tööstusringkondade jaoks. Skaala ja kulude paranemine võimaldab protokollil luua juba tõestatud, eelkoolitatud baasmudelite komplekti – tuntud ka kui Vundamendi mudelid– sarnaselt mudelloomaaiad populaarsetest raamistikest. See võimaldab teadlastel ja inseneridel avameelselt uurida ja koolitada suurepäraseid mudeleid tohutute avatud andmekogumitega sarnasel viisil Eleuther projekt. Need mudelid lahendavad mõned inimkonna põhiprobleemid ilma tsentraliseeritud omandi või tsensuurita. Krüptograafia, eriti funktsionaalne krüpteerimine, võimaldab nõudmisel kasutada protokolli privaatsete andmete üle. Hiiglaslikke alusmudeleid saab seejärel viimistleda igaüks, kes kasutab patenteeritud andmekogumit, säilitades nende andmete väärtuse/privaatsuse, kuid jagades siiski kollektiivseid teadmisi mudelite kavandamisel ja uurimisel.

Kõrge ulatus + madal hind: Gensyni protokoll pakub kulusid, mis on sarnased omanduses oleva GPU-ga andmekeskuses mastaabis, mis ületab AWS-i. (Hinnad novembri 2021 seisuga).

3. osa: Gensyn Drives Web3-native Data Centralization

Internet võis sündida USA valitsuselt 1960. aastatel, kuid 1990ndateks oli see loovuse, individualismi ja võimaluste anarhiline võrk. Juba enne seda, kui Google TPU-sid kogus, püüdsid sellised projektid nagu SETI@home avastada tulnukate elu, hankides detsentraliseeritud arvutusvõimsust. 2000. aastaks oli SETI@home töötlemismäär 17 terafloppi, mis on üle kahe korra suurem kui tolleaegse parima superarvuti IBM ASCI White jõudlus. Seda ajaperioodi nimetatakse üldiselt "web1"-ks, hetk enne suurte platvormide, nagu Google või Amazon (web2) hegemooniat, kuid detsentraliseeritud arvutus tõmbus skaleerimisel, et rahuldada Interneti esialgseid vajadusi, kuna sellel ajal oli mitu probleemi.

Praegune veebitaristu tsentraliseerimine tohututesse web2 platvormidesse tekitab aga probleeme, näiteks kulu (AWS-i brutomarginaal on hinnanguline 61%, mis esindab marginaalide tihendamist enamiku alamahuliste teadlaste ja andmepõhiste ettevõtete jaoks. Samas ohverdavad tsentraliseeritud arvutusjuhtumid ka kontrolli – AWS lülitas populaarse parempoolse sotsiaalmeediaplatvormi Parler taristu välja ühepäevase etteteatamisega pärast 6. aasta 2021. jaanuari kapitooliumi mässu. Paljud nõustusid selle otsusega, kuid pretsedent on AWS-i puhul ohtlik võõrustajad 42% Interneti 10,000 XNUMX parima saidi hulgast. Detsentraliseeritud riistvaras süvaõppemudelite koolitamine on aga keeruline kontrolliprobleemi tõttu, mida Gensyni protokoll aitab lahendada.

Turu loomine Web3-protokollina eemaldab skaleerimisega seotud tsentraliseeritud üldkulud ja vähendab uute tarneosaliste sisenemise tõkkeid, võimaldades võrgul potentsiaalselt hõlmata kõiki maailma arvutusseadmeid. Kõigi seadmete ühendamine ühe detsentraliseeritud võrgu kaudu tagab skaleeritavuse taseme, mida pole praegu võimalik ühegi olemasoleva teenusepakkuja kaudu saavutada, pakkudes enneolematut tellitavat juurdepääsu kogu maailma arvutusseadmetele. Lõppkasutajate jaoks kõrvaldab see täielikult kulude ja mastaabiga seotud dilemma ning pakub läbipaistvat ja odavat ML-treeningu arvutust potentsiaalselt lõpmatu skaleeritavuse jaoks (kuni ülemaailmsete füüsilise riistvara piiranguteni) ja turu dünaamika alusel määratavate ühikuhindade jaoks. See hoiab kõrvale tavalistest vallikraavidest, mida suured pakkujad naudivad, alandab oluliselt hindu ja hõlbustab tõeliselt globaalset konkurentsi ressursitasandil ning võtab isegi arvesse juhtumit, kus olemasolevad pilveteenuste pakkujad peavad Gensyni protokolli ka levitamisviisiks, mis täiendab tsentraliseeritumat esimest osapoolt. komplekteeritud pakkumised.

Järeldus:

Kuna tehisintellekt on peaaegu sama populaarne moesõna kui krüptovaluuta ja plokiahelad, peab meie siin eelvaadatud Gensynisse investeerimise lõputöö läbima testid, mis on lihtsasti mõistetavad ja tõenditega tagatud, ning olema sama ambitsioonikas protokolli võimaluste vähendamisel. lisaväärtust algselt sihitud, kuid üldistatavale ressursivõrgustikule, mis on omane web3-le. Gensyni protokolliga usume, et näeme hüper skaleeritava ja kulutõhusa koordineerimisvõrgu algust, mis sillutab teed veelgi väärtuslikumatele teadmistele, mis panevad aluse paljudele tulevastele rakendustele.

CoinFundi kohta

CoinFund on 2015. aastal asutatud mitmekülgne, juhtiv plokiahelale keskendunud investeerimisfirma, mis asub USA-s. Meil ​​on laialdased kogemused ja kogemused krüptovaluutade, traditsiooniliste aktsiate, krediidi, erakapitali ja riskiinvesteeringute vallas. CoinFundi strateegiad hõlmavad nii likviidseid kui ka riskikapitali turge ning saavad kasu meie multidistsiplinaarsest lähenemisviisist, mis sünkroniseerib tehnilise krüptooskuse traditsioonilise finantskogemusega. Lähenemisviisiga „Kõigepealt asutajad” teeb CoinFund tihedat koostööd oma portfelliettevõtetega, et edendada innovatsiooni kogu digitaalsete varade ruumis.

Kaebused

Sellel saidil pakutav sisu on mõeldud ainult informatiivsel ja arutelu eesmärgil ning sellele ei tohiks tugineda seoses konkreetse investeerimisotsusega ega tõlgendada pakkumise, soovituse või pakkumisena mis tahes investeeringu kohta. Autor ei toeta ühtegi selles artiklis käsitletud ettevõtet, projekti ega märki. Kogu teave on siin esitatud "nagu on" ilma igasuguse otsese või kaudse garantiita ning kõik tulevikku suunatud väited võivad osutuda valeks. CoinFund Management LLC-l ja selle sidusettevõtetel võivad olla pikad või lühikesed positsioonid selles artiklis käsitletud žetoonides või projektides.

Gensyni protokoll treenib usaldamatult närvivõrke hüperskaalal madalama suurusjärguga… ilmus algselt CoinFundi ajaveeb meediumil, kus inimesed jätkavad vestlust, tuues esile selle loo ja sellele reageerides.

Ajatempel:

Veel alates Mündiraha