O protocolo Gensyn treina redes neurais sem confiança em hiperescala com menor ordem de magnitude…

Carimbo de hora: 21 de março de 2022 8h57
Nó Fonte: 1225331

O protocolo Gensyn treina redes neurais sem confiança em hiperescala com menor ordem de magnitude de custo

Links: Site Gensyn, Litepaper, Portfólio CoinFund, Artigo TechCrunch Ligação

Resumo da tese de investimento

  • Alavancagem secular para complexidade e valor crescentes de ML: A complexidade computacional dos sistemas de IA de última geração está dobrando a cada 3 meses, enquanto o valor desses modelos continua a aumentar rapidamente, enquanto a antiga natureza caixa-preta desses algoritmos agora é cada vez mais capaz de se encaixar com maior iluminadores compreensíveis para humanos.
  • Novo Projeto de Sistema de Coordenação e Verificação: Gensyn está construindo um sistema de verificação (testnet v1 será implantado ainda este ano) que resolve com eficiência o problema de dependência de estado no treinamento de rede neural em qualquer escala. O sistema combina pontos de verificação de treinamento de modelo com verificações probabilísticas que terminam na cadeia. Ele faz tudo isso sem confiança e a sobrecarga é dimensionada linearmente com o tamanho do modelo (mantendo os custos de verificação constantes).
  • Foco temático na descentralização da IA: A maioria dos exemplos conhecidos de aplicativos de aprendizado de máquina (carros autônomos Tesla, Google DeepMind) são produzidos pelo mesmo conjunto de empresas, isso porque o setor de aprendizado profundo atualmente parece um jogo de monopólio entre empresas de Big Tech, como bem como estados como a China e os Estados Unidos. Essas forças estão resultando em enormes forças de centralização que vão contra a web3 e até mesmo as origens históricas da web1.

A CoinFund tem orgulho de apoiar a recente arrecadação de fundos do Gensyn Protocol e a visão da equipe de permitir o treinamento de redes neurais sem confiança em hiperescala e baixo custo por meio de seu novo sistema de verificação. Utilizando verificações probabilísticas que terminam na cadeia enquanto toca em fontes de computação subutilizadas e subutilizadas, variando de GPUs de jogos atualmente subutilizadas a sofisticados pools de mineração ETH1 prestes a se desconectar da rede Ethereum à medida que a rede transita para Proof of Stake, o protocolo Gensyn não requer supervisor administrativo ou aplicação legal, facilitando a distribuição de tarefas e pagamentos programaticamente por meio de contratos inteligentes. Melhor ainda, a natureza descentralizada do protocolo significa que ele será governado pela comunidade majoritária e não pode ser 'desligado' sem o consentimento da comunidade; isso o torna resistente à censura, ao contrário de suas contrapartes web2. Em última análise, acreditamos que a Gensyn está jogando para se tornar a camada fundamental para a computação de ML nativa da web3, já que os participantes de terceiros acabam criando experiências de usuário ricas e funcionalidades específicas em vários nichos.

Parte 1: Introdução ao crescimento secular de várias décadas do Deep Learning

Cada rosto que você vê em uma chamada de vídeo e todo o áudio que você ouve é manipulado. Para melhorar a qualidade das chamadas, as redes neurais seletivamente ajuste a resolução em Zoom e suprimir o ruído de fundo no Microsoft Teams. Avanços mais recentes ainda veem vídeo de resolução mais baixa 'sonhou' em uma resolução mais alta. As redes neurais são os modelos usados ​​no ramo de aprendizado profundo da inteligência artificial. Eles são vagamente baseados na estrutura do cérebro humano e tem uma infinidade de aplicações, talvez criando, em última análise, inteligência artificial de nível humano. Modelos maiores geralmente produzem melhores resultados, e o hardware necessário para o desenvolvimento de última geração está dobrando a cada tres meses. Essa explosão no desenvolvimento tornou o aprendizado profundo uma parte fundamental da experiência humana moderna. Em 2020, uma rede neural operou o radar em um avião espião dos EUA, os modelos de linguagem agora escrevem melhores e-mails fraudulentos do que humanos, e algoritmos de carros autônomos Superar humanos em muitos ambientes.

GPT-3 175B, o maior modelo GPT-3 proposto pela OpenAI em Brown et al. (2020) usou um cluster de 1,000 GPUs NVIDIA Tesla V100 para treinamento — aproximadamente o equivalente a 355 anos de treinamento em um único dispositivo. DALL-E de Ramesh et ai. (2021), outro modelo Transformer da OpenAI, tem 12 bilhões de parâmetros e foi treinado em mais de 400 milhões de imagens legendadas. A OpenAI suportou o custo de treinamento do DALL-E, mas recusou-se controversamente a abrir o código do modelo, o que significa que talvez um dos mais importantes modelos de aprendizado profundo multimodal de última geração permanece inacessível para todos, exceto para alguns poucos selecionados. Os enormes requisitos de recursos para construir esses modelos de fundação criar barreiras significativas ao acesso e, sem um método para reunir recursos e ainda capturar valor, provavelmente causará estagnação no avanço da IA. Muitos acreditam que esses modelos generalizados são a chave para desbloquear a Inteligência Artificial Geral (AGI), fazendo com que o método atual de treinamento em silos artificiais isolados pareça absurdo.

As soluções atuais que fornecem acesso ao fornecimento de computação são oligopolistas e caras ou simplesmente impraticável dada a complexidade de computação necessária para IA em larga escala. Atender à demanda crescente requer um sistema que aproveite de forma econômica todos os computação disponível (em oposição à utilização de processador global de aproximadamente 40% de hoje). Para agravar esse problema agora, está o fato de que o próprio suprimento de computação é prejudicado por assintótico avanços no desempenho do microprocessador - juntamente cadeia de suprimentos e geopolítica falta de chips.

Parte 2: Por que a coordenação de Gensyn é necessária?

O desafio fundamental na construção dessa rede é a verificação do trabalho de ML concluído. Este é um problema altamente complexo que fica na interseção da teoria da complexidade, teoria dos jogos, criptografia e otimização. Além do conhecimento humano no projeto de modelos, existem três problemas fundamentais que retardam o progresso do ML aplicado: 1) acesso ao poder computacional; 2) acesso aos dados; e 3) acesso ao conhecimento (rotulagem de verdade). A Gensyn resolve o primeiro problema fornecendo acesso sob demanda a computação escalável globalmente a seu preço justo de mercado, enquanto a Fundação Gensyn buscará incentivar soluções para dois e três por meio de pesquisa, financiamento e colaborações com outros protocolos.

Especificamente, o acesso a processadores superiores permite que modelos cada vez maiores/complexos sejam treinados. Na última década, os ganhos de densidade do transistor e os avanços na velocidade/paralelização de acesso à memória reduziram drasticamente os tempos de treinamento para modelos grandes. O acesso virtual a esse hardware, por meio de gigantes da nuvem como AWS e Alibaba, ampliou simultaneamente a adoção. Assim, há um forte interesse do Estado em adquirir os meios para produzir processadores de última geração. A China continental ainda não tem capacidade de ponta a ponta para produzir semicondutores de última geração (ou seja, pastilhas de silício), um componente essencial em processadores. Eles precisam importá-los, principalmente da TSMC (Taiwan Semiconductor Manufacturing Company). Os fornecedores de chips também tentam impedir que outros clientes acessem os fabricantes de chips comprando suprimentos. No nível estadual, os EUA bloqueando agressivamente qualquer movimento de empresas chinesas para adquirir esta tecnologia. Mais acima na pilha de tecnologia, algumas empresas chegaram ao ponto de criar seu próprio hardware específico de aprendizado profundo, como os clusters de TPU do Google. Elas superam as GPUs padrão em aprendizado profundo e não estão disponíveis para venda, apenas para aluguel.

Aumentar enormemente a escala de computação acessível, ao mesmo tempo em que reduz seu custo unitário, abre as portas para um paradigma completamente novo de aprendizado profundo para comunidades de pesquisa e industriais. Melhorias em escala e custo permitem que o protocolo construa um conjunto de modelos básicos já comprovados e pré-treinados – também conhecidos como Modelos de Fundação– de forma semelhante ao zoológicos modelo de quadros populares. Isso permite que pesquisadores e engenheiros pesquisem abertamente e treinem modelos superiores em grandes conjuntos de dados abertos, de maneira semelhante ao Eleuter projeto. Esses modelos resolverão alguns dos problemas fundamentais da humanidade sem propriedade centralizada ou censura. A criptografia, particularmente a criptografia funcional, permitirá que o protocolo seja aproveitado sobre dados privados sob demanda. Grandes modelos de base podem ser ajustados por qualquer pessoa que use um conjunto de dados proprietário, mantendo o valor/privacidade nesses dados, mas ainda compartilhando conhecimento coletivo em design e pesquisa de modelos.

Alta escala + baixo custo: o protocolo Gensyn oferece um custo semelhante ao de uma GPU própria em um datacenter em uma escala que pode superar a AWS. (Preços em novembro de 2021).

Parte 3: Gensyn impulsiona a centralização de dados nativos da Web3

A internet pode ter nascido do governo dos EUA na década de 1960, mas na década de 1990 era uma teia anárquica de criatividade, individualismo e oportunidade. Bem antes do Google estocar TPUs, projetos como o SETI@home tentaram descobrir vida alienígena por meio de crowdsourcing de poder de computação descentralizado. No ano 2000, o SETI@home tinha uma taxa de processamento de Teraflops 17, que é mais do dobro do desempenho do melhor supercomputador da época, o IBM ASCI White. Esse período de tempo geralmente é chamado de 'web1', um momento antes da hegemonia de grandes plataformas como Google ou Amazon (web2), mas a computação descentralizada vacilou na escala para atender às necessidades iniciais da internet, devido a vários problemas na época.

No entanto, a atual centralização da infraestrutura da web em grandes plataformas web2 cria seus próprios problemas, como custo (margem bruta da AWS é estimada 61%, representando compressão de margem para a maioria dos pesquisadores de subescala e empresas orientadas a dados. Ao mesmo tempo, instâncias de computação centralizadas também sacrificam o controle — a AWS desativou a infraestrutura da popular plataforma de mídia social de direita Parler com aviso prévio de um dia após o motim do Capitólio de 6 de janeiro de 2021. Muitos concordaram com essa decisão, mas o precedente é perigoso quando a AWS hospeda 42% dos 10,000 melhores sites da internet. No entanto, treinar modelos de aprendizado profundo em hardware descentralizado é difícil devido ao problema de verificação, que o Protocolo Gensyn ajuda a resolver.

Construir o mercado como um protocolo Web3 remove as despesas gerais centralizadas de dimensionamento e reduz as barreiras de entrada para novos participantes de fornecimento, permitindo que a rede abranja potencialmente todos os dispositivos de computação do mundo. Conectar todos os dispositivos por meio de uma única rede descentralizada fornece um nível de escalabilidade que atualmente é impossível de alcançar por meio de qualquer provedor existente, oferecendo acesso sob demanda sem precedentes a todo o suprimento de computação do mundo. Para os usuários finais, isso desmonta completamente o dilema custo x escala e fornece uma computação de treinamento de ML transparente e de baixo custo para escalabilidade potencialmente infinita (até os limites mundiais de hardware físico) e para que os preços unitários sejam determinados pela dinâmica do mercado. Isso evita os fossos usuais que os grandes provedores desfrutam, reduz significativamente os preços e facilita a concorrência verdadeiramente global no nível de recursos, e até considera um caso em que os provedores de serviços em nuvem existentes também veem o protocolo Gensyn como uma avenida de distribuição que complementa a primeira parte mais centralizada ofertas em pacote.

Conclusão:

Com IA quase tão popular quanto criptomoeda e blockchains, nossa tese para investir em Gensyn, conforme visualizada aqui, deve passar nos testes de ser fácil de entender e baseada em evidências, ao mesmo tempo em que é tão ambiciosa quanto à oportunidade definida para a capacidade do protocolo de agregar valor uma rede de recursos inicialmente direcionada, mas generalizável, nativa da web3. Com o protocolo Gensyn, acreditamos que estamos vendo o início de uma rede de coordenação hiperescalável e econômica que abre caminho para insights ainda mais valiosos que estabelecem as bases para inúmeras aplicações no futuro.

Sobre o CoinFund

A CoinFund é uma empresa de investimentos diversificada e líder com foco em blockchain fundada em 2015, com sede nos EUA. As estratégias da CoinFund abrangem mercados líquidos e de risco e se beneficiam de nossa abordagem multidisciplinar que sincroniza a aptidão técnica criptográfica com a experiência financeira tradicional. Com uma abordagem “fundadores em primeiro lugar”, a CoinFund faz parceria estreita com as empresas de seu portfólio para impulsionar a inovação em todo o espaço de ativos digitais.

Aviso Legal

O conteúdo fornecido neste site é apenas para fins informativos e de discussão e não deve ser considerado em relação a uma decisão de investimento específica ou ser interpretado como uma oferta, recomendação ou solicitação em relação a qualquer investimento. O autor não está endossando nenhuma empresa, projeto ou token discutido neste artigo. Todas as informações são apresentadas aqui “como estão”, sem garantia de qualquer tipo, expressa ou implícita, e quaisquer declarações prospectivas podem se revelar erradas. A CoinFund Management LLC e suas afiliadas podem ter posições longas ou curtas nos tokens ou projetos discutidos neste artigo.

O protocolo Gensyn treina redes neurais sem confiança em hiperescala com menor ordem de magnitude… foi publicado originalmente em O blog CoinFund no Medium, onde as pessoas continuam a conversa destacando e respondendo a essa história.

Carimbo de hora:

Mais de Coinfund