Gensyn-protokollet tränar tillförlitligt neurala nätverk i hyperskala med lägre storleksordning ...

Tidsstämpel: 21 mars 2022 8:57
Källnod: 1225331

Gensyn-protokollet tränar tillförlitligt neurala nätverk i hyperskala med lägre kostnadsstorlek

Länkar: Gensyn hemsida, Litepaper, CoinFund-portföljen, TechCrunch-artikel Länk

Sammanfattning av investeringsuppsats

  • Sekulär hävstång till ML växande komplexitet och värde: Beräkningskomplexiteten hos toppmoderna AI-system fördubblas var tredje månad, samtidigt som värdet på dessa modeller fortsätter att öka snabbt, medan den tidigare svarta lådan hos dessa algoritmer nu alltmer kan anpassas till större mänskligt förståeliga belysningsinstrument.
  • Ny design för koordinering och verifieringssystem: Gensyn bygger ett verifieringssystem (testnet v1 kommer att distribueras senare i år) som effektivt löser problemet med tillståndsberoende i neurala nätverksträning i vilken skala som helst. Systemet kombinerar modellträningskontrollpunkter med probabilistiska kontroller som avslutas i kedjan. Den gör allt detta tillförlitligt och overhead skalas linjärt med modellstorlek (håller verifieringskostnaderna konstanta).
  • Tematiskt fokus på AI-decentralisering: De flesta av de välkända exemplen på applikationer för maskininlärning (Tesla självkörande bilar, Google DeepMind) produceras av samma uppsättning företag, det beror på att industrin för djupinlärning för närvarande ser ut som ett monopolspel mellan Big Tech-företag, som såväl som stater som Kina och USA. Dessa krafter resulterar i enorma centraliseringskrafter som strider mot web3 och till och med webb1s historiska ursprung.

CoinFund är stolta över att stödja Gensyn Protocols senaste insamling och teamets vision att möjliggöra förtroendelös träning av neurala nätverk i hyperskala och låg kostnad genom deras nya verifieringssystem. Använder sannolikhetskontroller som avslutar i kedjan samtidigt som man knackar på underutnyttjade och underutnyttjade beräkningskällor, allt från för närvarande underutnyttjade spel-GPU:er till sofistikerade ETH1-gruvpooler som håller på att lossna från Ethereum-nätverket när nätverket övergår till Proof of Stake, Gensyn-protokollet kräver ingen administrativ övervakare eller rättslig verkställighet, utan underlättar istället uppgiftsdistribution och betalningar programmatiskt genom smarta kontrakt. Ännu bättre, protokollets decentraliserade karaktär innebär att det i slutändan kommer att styras av majoritetsgemenskapen och inte kan "stängas av" utan gemenskapens medgivande; detta gör den motståndskraftig mot censur, till skillnad från sina web2-motsvarigheter. I slutändan tror vi att Gensyn spelar för att bli det grundläggande lagret för web3-native ML-beräkningar, eftersom tredje parts deltagare så småningom bygger rika användarupplevelser och specifik funktionalitet i många nischer.

Del 1: Introduktion till Deep Learnings sekulära tillväxt på flera decennier

Varje ansikte du ser på ett videosamtal och allt ljud du hör manipuleras. För att förbättra samtalskvaliteten, neurala nätverk selektivt justera upplösningen i Zoom och dämpa bakgrundsljud i Microsoft Teams. Nyare framsteg ser till och med video med lägre upplösning 'drömde' till en högre upplösning. Neurala nätverk är modellerna som används inom djupinlärningsgrenen av artificiell intelligens. De är löst baserade på strukturen av mänsklig hjärna och har otaliga tillämpningar, kanske i slutändan skapar artificiell intelligens på mänsklig nivå. Större modeller ger generellt bättre resultat, och den hårdvara som krävs för toppmodern utveckling fördubblas var tredje månad. Denna explosion i utveckling har gjort djupinlärning till en grundläggande del av den moderna mänskliga erfarenheten. År 2020, ett neuralt nätverk manövrerade radarn på ett amerikanskt spionplan, skriver språkmodeller nu bättre bluffmejl än människor, och självkörande bilalgoritmer överträffa människor i många miljöer.

GPT-3 175B, den största GPT-3-modellen som föreslagits av OpenAI i Brown et al. (2020) använde ett kluster av 1,000 100 NVIDIA Tesla V355 GPU:er för träning – ungefär motsvarande XNUMX års träning på en enda enhet. DALL-E från Ramesh et al. (2021), en annan Transformer-modell från OpenAI, har 12 miljarder parametrar och tränades på över 400 miljoner bildtexter. OpenAI stod för kostnaderna för att träna DALL-E men vägrade kontroversiellt att öppna källkodsmodellen, vilket betyder att kanske en av de viktigaste toppmoderna multimodala djupinlärningsmodellerna fortfarande är otillgänglig för alla utom ett fåtal utvalda. De enorma resurskraven för att bygga dessa grundmodeller skapa betydande hinder för åtkomst, och utan en metod för att slå samman resurser samtidigt som de fortfarande fångar värde, kommer sannolikt att orsaka stagnation i AI-utvecklingen. Många tror att dessa generaliserade modeller är nyckeln till att låsa upp Artificiell General Intelligence (AGI), vilket gör att den nuvarande metoden för träning i isolerade, artificiella silos verkar absurd.

Nuvarande lösningar som ger tillgång till datortillgång är antingen oligopolistiska och dyra eller helt enkelt ogenomförbar med tanke på komplexiteten i beräkningen som krävs för storskalig AI. För att möta ballongbehovet krävs ett system som kostnadseffektivt utnyttjar alla tillgänglig beräkning (i motsats till dagens ~40% globala processoranvändning). Det som förvärrar detta problem just nu är det faktum att själva beräkningsutbudet försvåras av asymptotiska framsteg i mikroprocessorprestanda — vid sidan av leveranskedjan och geopolitiska spånbrist.

Del 2: Varför behövs Gensyns samordning?

Den grundläggande utmaningen med att bygga detta nätverk är verifieringen av genomfört ML-arbete. Detta är ett mycket komplext problem som sitter i skärningspunkten mellan komplexitetsteori, spelteori, kryptografi och optimering. Förutom mänsklig kunskap inom modelldesign, finns det tre grundläggande problem som bromsar utvecklingen av tillämpad ML, 1) tillgång till datorkraft; 2) tillgång till data; och 3) tillgång till kunskap (markering av sanning). Gensyn löser det första problemet genom att tillhandahålla on-demand-tillgång till globalt skalbar dator till ett rimligt marknadspris, medan Gensyn Foundation kommer att försöka uppmuntra lösningar på två och tre genom forskning, finansiering och samarbeten med andra protokoll.

Närmare bestämt möjliggör tillgång till överlägsna processorer att allt större/komplicerade modeller kan tränas. Under det senaste decenniet har ökningar av transistordensitet och framsteg i minnesåtkomsthastighet/parallellisering dramatiskt minskat träningstiderna för stora modeller. Virtuell tillgång till den här hårdvaran, via molnjättar som AWS och Alibaba, har samtidigt utökat användningen. Följaktligen finns det ett starkt statligt intresse av att skaffa medel för att producera toppmoderna processorer. Fastlandet Kina har ännu inte kapaciteten att producera toppmoderna halvledare (nämligen kiselwafers), en viktig komponent i processorer. De måste importera dessa, särskilt från TSMC (Taiwan Semiconductor Manufacturing Company). Chipleverantörer försöker också blockera andra kunder från att komma åt chiptillverkare genom att köpa upp utbudet. På delstatsnivå har USA varit aggressivt blockerande några åtgärder från kinesiska företag att förvärva denna teknik. Längre upp i teknikstacken har vissa företag gått så långt som att skapa sin egen hårdvara för djupinlärning, som Googles TPU-kluster. Dessa överträffar standard-GPU:er vid djupinlärning och är inte tillgängliga för försäljning, endast för uthyrning.

Att kraftigt öka omfattningen av tillgängliga datorer, samtidigt som enhetskostnaden minskar, öppnar dörren till ett helt nytt paradigm för djupt lärande för både forsknings- och industrisamhällen. Förbättringar i skala och kostnad gör att protokollet kan bygga upp en uppsättning redan beprövade, förutbildade basmodeller – även kända som Grundmodeller– på liknande sätt som modell djurparker av populära ramverk. Detta gör det möjligt för forskare och ingenjörer att öppet undersöka och träna överlägsna modeller över enorma öppna datamängder, på ett liknande sätt som Eleuther projekt. Dessa modeller kommer att lösa några av mänsklighetens grundläggande problem utan centraliserat ägande eller censur. Kryptografi, särskilt funktionell kryptering, gör att protokollet kan utnyttjas över privata data på begäran. Enorma grundmodeller kan sedan finjusteras av vem som helst som använder en proprietär datauppsättning, bevara värdet/integriteten i den datan men ändå dela kollektiv kunskap inom modelldesign och forskning.

Hög skala + låg kostnad: Gensyn-protokollet ger en kostnad som liknar en ägd GPU i ett datacenter i en skala som kan överträffa AWS. (Priser per november 2021).

Del 3: Gensyn driver Web3-native datacentralisering

Internet kan ha fötts av den amerikanska regeringen på 1960-talet, men på 1990-talet var det ett anarkiskt nät av kreativitet, individualism och möjligheter. Långt innan Google lagrade TPU:er försökte projekt som SETI@home upptäcka främmande liv genom att crowdsourcing decentraliserad datorkraft. År 2000 hade SETI@home en bearbetningshastighet på 17 teraflops, vilket är över dubbelt så mycket som den bästa superdatorn vid den tiden, IBM ASCI White. Denna tidsperiod kallas allmänt för "web1", ett ögonblick innan hegemonin för stora plattformar som Google eller Amazon (web2), men decentraliserade datorer vacklade i skalningen för att möta de initiala behoven på internet, på grund av flera problem vid den tiden.

Den nuvarande centraliseringen av webbinfrastrukturen till enorma web2-plattformar skapar dock sina egna problem, såsom kostnader (AWS bruttomarginal är en uppskattad 61%, som representerar marginalkomprimering för de flesta underskaliga forskare och datadrivna företag. Samtidigt offrar centraliserade beräkningsinstanser också kontroll – AWS stängde av infrastrukturen för den populära högerorienterade sociala medieplattformen Parler med en dags varsel efter Capitol Riot den 6 januari 2021. Många höll med om detta beslut, men prejudikatet är farligt när AWS värdar 42% av de 10,000 XNUMX bästa webbplatserna på internet. Det är dock svårt att träna djupinlärningsmodeller över decentraliserad hårdvara på grund av verifieringsproblemet, som Gensyn-protokollet hjälper till att lösa.

Att bygga marknadsplatsen som ett Web3-protokoll tar bort de centraliserade overheadkostnaderna för skalning och minskar inträdesbarriärerna för nya leveransdeltagare, vilket gör att nätverket potentiellt kan omfatta alla datorenheter i världen. Att ansluta alla enheter via ett enda decentraliserat nätverk ger en skalbarhet som för närvarande är omöjlig att uppnå genom någon befintlig leverantör, vilket ger oöverträffad on-demand-åtkomst till hela världens datortillgång. För slutanvändare tar detta helt bort dilemmat mellan kostnad och skala och ger en transparent och låg kostnad ML-utbildningsberäkning för potentiellt oändlig skalbarhet (upp till världsomspännande fysiska hårdvarugränser) och för enhetspriser som bestäms av marknadens dynamik. Detta kringgår de vanliga vallgravarna som stora leverantörer åtnjuter, drar ner priserna avsevärt och underlättar verkligt global konkurrens på resursnivå, och överväger till och med ett fall där befintliga molntjänstleverantörer också ser Gensyn-protokollet som en distributionsväg som kompletterar mer centraliserad första part paketerbjudanden.

Slutsats:

Med AI som är ett nästan lika populärt modeord som kryptovaluta och blockkedjor, måste vår avhandling för att investera i Gensyn som förhandsgranskas här klara testerna av att vara lättförståeliga och evidensstödda, samtidigt som vi är lika ambitiösa när det gäller att gallra om möjligheten som ges för protokollets förmåga att tillför värde ett initialt riktat men generaliserbart resursnätverk inbyggt i web3. Med Gensyn-protokollet tror vi att vi ser början på ett hyperskalbart, kostnadseffektivt koordinationsnätverk som banar väg för ännu mer värdefulla insikter som lägger grunden för otaliga tillämpningar i framtiden.

Om CoinFund

CoinFund är ett mångsidigt, ledande blockchain-fokuserat värdepappersföretag grundat 2015, baserat i USA. Tillsammans har vi en omfattande meritlista och erfarenhet av kryptovaluta, traditionellt aktiekapital, kredit, private equity och riskinvesteringar. CoinFund-strategierna sträcker sig över både likvida marknader och riskmarknader och drar nytta av vår multidisciplinära strategi som synkroniserar teknisk kryptonativ förmåga med traditionell finanserfarenhet. Med en "grundare först"-strategi, samarbetar CoinFund nära med sina portföljbolag för att driva innovation över det digitala tillgångsutrymmet.

Ansvarsfriskrivning

Innehållet som tillhandahålls på den här webbplatsen är endast för informations- och diskussionsändamål och ska inte litas på i samband med ett visst investeringsbeslut eller tolkas som ett erbjudande, rekommendation eller uppmaning angående någon investering. Författaren stöder inte något företag, projekt eller token som diskuteras i den här artikeln. All information presenteras här "i befintligt skick", utan garantier av något slag, vare sig uttryckliga eller underförstådda, och alla framtidsinriktade uttalanden kan visa sig vara felaktiga. CoinFund Management LLC och dess dotterbolag kan ha långa eller korta positioner i de tokens eller projekt som diskuteras i den här artikeln.

Gensyn-protokollet tränar tillförlitligt neurala nätverk i hyperskala med lägre storleksordning ... publicerades ursprungligen i CoinFund-bloggen på Medium, där människor fortsätter konversationen genom att lyfta fram och svara på denna berättelse.

Tidsstämpel:

Mer från Myntfond