Il protocollo Gensyn addestra in modo affidabile le reti neurali su iperscala con ordine di grandezza inferiore...

Ripubblicato da Platone

Seguaci: 0

Il protocollo Gensyn addestra in modo affidabile le reti neurali a un'iperscala con un ordine di entità del costo inferiore

Collegamento: Sito web Gensyn, Litepaper, Portafoglio CoinFund, Articolo TechCrunch Link

Riassunto della tesi di investimento

Leva secolare per aumentare la complessità e il valore del ML: La complessità computazionale dei sistemi di intelligenza artificiale all'avanguardia raddoppia ogni 3 mesi, mentre il valore di questi modelli continua ad aumentare rapidamente, mentre la precedente natura black-box di questi algoritmi è ora sempre più in grado di adattarsi a illuminatori comprensibili dall'uomo.
Progettazione di un nuovo sistema di coordinamento e verifica: Gensyn sta costruendo un sistema di verifica (testnet v1 sarà distribuito entro la fine dell'anno) che risolve in modo efficiente il problema della dipendenza dallo stato nell'addestramento della rete neurale su qualsiasi scala. Il sistema combina checkpoint di addestramento del modello con controlli probabilistici che terminano sulla catena. Fa tutto questo in modo affidabile e le spese generali si adattano linearmente alle dimensioni del modello (mantenendo costanti i costi di verifica).
Focus tematico sul decentramento dell'IA: La maggior parte degli esempi noti di applicazioni di apprendimento automatico (auto a guida autonoma Tesla, Google DeepMind) sono prodotti dallo stesso gruppo di aziende, questo perché l'industria del deep learning sembra attualmente un gioco di monopolio tra le aziende Big Tech, poiché così come stati come la Cina e gli Stati Uniti. Queste forze si traducono in enormi forze di centralizzazione che sono contrarie a web3 e persino alle origini storiche di web1.

CoinFund è orgoglioso di supportare la recente raccolta fondi del protocollo Gensyn e la visione del team di consentire l'addestramento affidabile delle reti neurali su iperscala e basso costo attraverso il loro nuovo sistema di verifica. Utilizzo di controlli probabilistici che terminano sulla catena mentre attinge fonti di calcolo sottoutilizzate e sottoutilizzate che vanno da GPU di gioco attualmente sottoutilizzate a sofisticati pool di mining ETH1 in procinto di staccarsi dalla rete Ethereum quando la rete passa a Proof of Stake, il protocollo Gensyn non richiede un supervisore amministrativo o un'applicazione legale, piuttosto facilitando la distribuzione delle attività e i pagamenti in modo programmatico attraverso contratti intelligenti. Meglio ancora, la natura decentralizzata del protocollo significa che alla fine sarà governato dalla comunità a maggioranza e non può essere "spento" senza il consenso della comunità; questo lo rende resistente alla censura, a differenza delle sue controparti web2. In definitiva, riteniamo che Gensyn stia giocando per diventare il livello fondamentale per il calcolo ML nativo di Web3, poiché i partecipanti di terze parti alla fine creano esperienze utente avanzate e funzionalità specifiche in numerose nicchie.

Parte 1: Introduzione alla crescita secolare pluridecennale del Deep Learning

Ogni volto che vedi durante una videochiamata e tutto l'audio che senti viene manipolato. Per migliorare la qualità delle chiamate, le reti neurali selettivamente regolare la risoluzione in Zoom e sopprimere il rumore di fondo in Microsoft Teams. I progressi più recenti vedono anche video a risoluzione inferiore 'sognato' in una risoluzione più alta. Le reti neurali sono i modelli utilizzati nel ramo del deep learning dell'intelligenza artificiale. Sono vagamente basati sulla struttura del cervello umano e hanno una miriade di applicazioni, forse alla fine creando un'intelligenza artificiale a livello umano. I modelli più grandi generalmente producono risultati migliori e l'hardware richiesto per lo sviluppo all'avanguardia sta raddoppiando ogni tre mesi. Questa esplosione di sviluppo ha reso il deep learning una parte fondamentale dell'esperienza umana moderna. Nel 2020 una rete neurale azionato il radar su un aereo spia statunitense, i modelli linguistici ora scrivono migliori email truffa rispetto agli esseri umani e agli algoritmi delle auto a guida autonoma outperform umani in molti ambienti.

GPT-3 175B, il più grande modello GPT-3 proposto da OpenAI in Brown et al. (2020) ha utilizzato un cluster di 1,000 GPU NVIDIA Tesla V100 per la formazione, circa equivalente a 355 anni di formazione su un singolo dispositivo. DALL-E da Ramish et al. (2021), un altro modello Transformer di OpenAI, ha 12 miliardi di parametri ed è stato addestrato su oltre 400 milioni di immagini con sottotitoli. OpenAI ha sostenuto il costo della formazione di DALL-E, ma ha rifiutato in modo controverso di aprire il modello, il che significa che forse uno dei più importanti modelli di apprendimento profondo multimodale all'avanguardia rimane inaccessibile a tutti tranne che a pochi eletti. Gli enormi requisiti di risorse per costruirli modelli di fondazione creare barriere significative all'accesso e, senza un metodo per mettere in comune le risorse pur continuando a catturare valore, probabilmente causerà una stagnazione nel progresso dell'IA. Molti credono che questi modelli generalizzati siano la chiave per sbloccare l'Intelligenza Generale Artificiale (AGI), facendo sembrare assurdo l'attuale metodo di allenamento in silos artificiali isolati.

Le attuali soluzioni che forniscono accesso all'offerta di calcolo sono oligopolistiche e costose o semplicemente inattuabile data la complessità del calcolo richiesta per l'IA su larga scala. Soddisfare la domanda in aumento richiede un sistema che sfrutti in modo efficiente in termini di costi contro tutti i calcolo disponibile (rispetto all'attuale utilizzo globale del processore di circa il 40%). Ad aggravare questo problema in questo momento c'è il fatto che l'offerta di calcolo stessa è ostacolata asintotica progressi nelle prestazioni del microprocessore — insieme supply chain ed geopolitica carenza di chip.

Parte 2: Perché è necessaria la coordinazione di Gensyn?

La sfida fondamentale nella costruzione di questa rete è la verifica del lavoro di ML completato. Questo è un problema molto complesso che si trova all'intersezione tra teoria della complessità, teoria dei giochi, crittografia e ottimizzazione. Oltre alla conoscenza umana nella progettazione del modello, ci sono tre problemi fondamentali che rallentano il progresso del ML applicato, 1) l'accesso alla potenza di calcolo; 2) accesso ai dati; e 3) accesso alla conoscenza (etichettatura ground-truth). Gensyn risolve il primo problema fornendo l'accesso on-demand al calcolo scalabile a livello globale al suo giusto prezzo di mercato, mentre la Gensyn Foundation cercherà di incoraggiare soluzioni a due e tre attraverso la ricerca, i finanziamenti e le collaborazioni con altri protocolli.

In particolare, l'accesso a processori superiori consente di addestrare modelli sempre più grandi/complessi. Nell'ultimo decennio, i guadagni di densità dei transistor e i progressi nella velocità/parallelizzazione di accesso alla memoria hanno ridotto drasticamente i tempi di addestramento per i modelli di grandi dimensioni. L'accesso virtuale a questo hardware, tramite giganti del cloud come AWS e Alibaba, ha contemporaneamente ampliato l'adozione. Di conseguenza, vi è un forte interesse statale ad acquisire i mezzi per produrre processori all'avanguardia. La Cina continentale non ha ancora la capacità end-to-end per produrre semiconduttori all'avanguardia (vale a dire, wafer di silicio), un componente essenziale nei processori. Devono importarli, in particolare da TSMC (Taiwan Semiconductor Manufacturing Company). I fornitori di chip tentano anche di impedire ad altri clienti di accedere ai produttori di chip acquistando l'offerta. A livello statale, gli Stati Uniti lo sono stati bloccando in modo aggressivo qualsiasi mossa delle aziende cinesi per acquisire questa tecnologia. Più in alto nello stack tecnologico, alcune aziende sono arrivate al punto di creare il proprio hardware specifico per il deep learning, come i cluster TPU di Google. Queste hanno prestazioni migliori delle GPU standard nel deep learning e non sono disponibili per la vendita, ma solo per il noleggio.

Aumentare notevolmente la scala del calcolo accessibile, riducendo al contempo il suo costo unitario, apre le porte a un paradigma completamente nuovo per il deep learning sia per la ricerca che per le comunità industriali. I miglioramenti in termini di dimensioni e costi consentono al protocollo di creare una serie di modelli di base già collaudati e pre-addestrati, noti anche come Modelli di fondazione–in modo simile al zoo modello di quadri popolari. Ciò consente a ricercatori e ingegneri di ricercare apertamente e addestrare modelli superiori su enormi set di dati aperti, in modo simile al Eleutero progetto. Questi modelli risolveranno alcuni dei problemi fondamentali dell'umanità senza la proprietà centralizzata o la censura. La crittografia, in particolare la crittografia funzionale, consentirà di sfruttare il protocollo sui dati privati su richiesta. Enormi modelli di base possono quindi essere perfezionati da chiunque utilizzi un set di dati proprietario, mantenendo il valore/privacy in tali dati ma condividendo comunque la conoscenza collettiva nella progettazione e nella ricerca del modello.

***Alta scala + basso costo:*** *il protocollo Gensyn fornisce un costo simile a quello di una GPU di proprietà in un datacenter su una scala che può superare AWS. (Prezzi al novembre 2021).*

Parte 3: Gensyn guida la centralizzazione dei dati nativi di Web3

Internet potrebbe essere nato dal governo degli Stati Uniti negli anni '1960, ma negli anni '1990 era una rete anarchica di creatività, individualismo e opportunità. Ben prima che Google accumulasse TPU, progetti come SETI@home hanno tentato di scoprire la vita aliena tramite il crowdsourcing della potenza di calcolo decentralizzata. Entro l'anno 2000, SETI@home aveva un tasso di elaborazione di 17 teraflops, che è più del doppio delle prestazioni del miglior supercomputer dell'epoca, l'IBM ASCI White. Questo periodo di tempo è generalmente chiamato "web1", un momento prima dell'egemonia di grandi piattaforme come Google o Amazon (web2), ma il calcolo decentralizzato ha vacillato nel ridimensionamento per soddisfare le esigenze iniziali di Internet, a causa di diversi problemi all'epoca.

Tuttavia, l'attuale centralizzazione dell'infrastruttura web in enormi piattaforme web2 crea problemi propri, come i costi (il margine lordo di AWS è una stima 61%, che rappresenta la compressione dei margini per la maggior parte dei ricercatori di sottoscala e delle aziende basate sui dati. Allo stesso tempo, anche le istanze di elaborazione centralizzate sacrificano il controllo: AWS ha disattivato l'infrastruttura della popolare piattaforma di social media di destra Parler con preavviso di un giorno dopo la rivolta del Campidoglio del 6 gennaio 2021. Molti erano d'accordo con questa decisione, ma il precedente è pericoloso quando AWS ospita 42% dei primi 10,000 siti su Internet. Tuttavia, la formazione di modelli di deep learning su hardware decentralizzato è difficile a causa del problema di verifica, che il protocollo Gensyn aiuta a risolvere.

La creazione del mercato come protocollo Web3 elimina le spese generali centralizzate per il ridimensionamento e riduce le barriere all'ingresso per i nuovi partecipanti alla fornitura, consentendo alla rete di abbracciare potenzialmente tutti i dispositivi informatici del mondo. La connessione di tutti i dispositivi attraverso un'unica rete decentralizzata fornisce un livello di scalabilità che è attualmente impossibile da raggiungere con qualsiasi provider esistente, offrendo un accesso on-demand senza precedenti all'intera fornitura di elaborazione mondiale. Per gli utenti finali, questo elimina completamente il dilemma tra costo e scala e fornisce un calcolo di formazione ML trasparente ea basso costo per una scalabilità potenzialmente infinita (fino a limiti hardware fisici mondiali) e per prezzi unitari determinati dalle dinamiche di mercato. Ciò elude i soliti fossati di cui godono i grandi fornitori, riduce significativamente i prezzi e facilita la concorrenza veramente globale a livello di risorse, e considera anche un caso in cui i fornitori di servizi cloud esistenti vedono anche il protocollo Gensyn come una via di distribuzione che integra la prima parte più centralizzata offerte raggruppate.

Conclusione:

Con AI quasi come una parola d'ordine popolare come criptovaluta e blockchain, la nostra tesi per investire in Gensyn, come mostrato qui in anteprima, deve superare i test per essere facile da capire e supportata da prove, pur essendo altrettanto ambiziosa nel diradare l'opportunità impostata per la capacità del protocollo di aggiungere valore una rete di risorse inizialmente mirata ma generalizzabile nativa di web3. Con il protocollo Gensyn, riteniamo di assistere all'inizio di una rete di coordinamento iperscalabile ed efficiente in termini di costi che apre la strada a intuizioni ancora più preziose che getteranno le basi per una miriade di applicazioni future.

Informazioni su CoinFund

CoinFund è una società di investimento diversificata e leader incentrata sulla blockchain fondata nel 2015, con sede negli Stati Uniti Collettivamente, abbiamo una vasta esperienza ed esperienza in criptovalute, azioni tradizionali, credito, private equity e investimenti di rischio. Le strategie di CoinFund abbracciano sia i mercati liquidi che quelli di rischio e beneficiano del nostro approccio multidisciplinare che sincronizza l'attitudine tecnica crittonativa con l'esperienza finanziaria tradizionale. Con un approccio "fondatori prima di tutto", CoinFund collabora strettamente con le società del suo portafoglio per guidare l'innovazione nello spazio delle risorse digitali.

Negazione di responsabilità

Il contenuto fornito su questo sito è solo a scopo informativo e di discussione e non dovrebbe essere considerato in relazione a una particolare decisione di investimento o essere interpretato come un'offerta, una raccomandazione o una sollecitazione in merito a qualsiasi investimento. L'autore non sta approvando alcuna azienda, progetto o token discusso in questo articolo. Tutte le informazioni sono presentate qui "così come sono", senza garanzie di alcun tipo, esplicite o implicite, e qualsiasi affermazione previsionale potrebbe rivelarsi errata. CoinFund Management LLC e le sue affiliate possono avere posizioni lunghe o corte nei token o nei progetti discussi in questo articolo.

Il protocollo Gensyn addestra in modo affidabile le reti neurali a un'iperscala con un ordine di grandezza inferiore ... È stato originariamente pubblicato in Il blog di CoinFund Su Media, dove la gente continua la conversazione evidenziando e rispondendo a questa storia.

Timestamp: 21 Marzo 2022