Redes neurais abertas: a interseção de IA e web3

por Rishin Sharma e Jake Brukhman.

Agradecimentos especiais a todos que deram feedback sobre esta peça, incluindo Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Fonte: imagem gerada por IA do Lexica.art, um mecanismo de pesquisa de difusão estável

A inovação tecnológica nunca descansa, e isso é especialmente verdadeiro para a inteligência artificial. Nos últimos anos, vimos a popularidade dos modelos de aprendizado profundo ressurgir como precursores da IA. Também referido como redes neurais, esses modelos são compostos por camadas densamente interconectadas de nós que passam informações entre si, imitando aproximadamente a construção do cérebro humano. No início dos anos 2010, os modelos mais avançados tinham milhões de parâmetros, modelos fortemente supervisionados usados ​​para análise e classificação de sentimentos específicos. Os modelos mais avançados de hoje, como Dream Studio, GPT-3, DALL-E2 e Imagem estão se aproximando de um trilhão de parâmetros e realizando tarefas complexas e até mesmo criativas que rivalizam com o trabalho humano. Veja, por exemplo, a imagem de cabeçalho ou resumo deste post de blog. Ambos foram produzidos por inteligência artificial. Estamos apenas começando a ver as implicações sociais e culturais desses modelos, pois eles moldam como aprendemos coisas novas, interagimos uns com os outros e nos expressamos criativamente.

No entanto, grande parte do know-how técnico, conjuntos de dados importantes e capacidade computacional para treinar grandes redes neurais hoje são de código fechado e controlados por empresas de “Big Tech” como Google e Meta. Enquanto réplicas de modelos de código aberto, como GPT-NeoX, DALLE-mega e BLOOM foram liderados por organizações, incluindo Estabilidade IA, Eleuther AI e Abraçando o Rosto, o web3 está pronto para sobrecarregar ainda mais a IA de código aberto.

“Uma camada de infraestrutura web3 para IA pode introduzir elementos de desenvolvimento de código aberto, propriedade e governança da comunidade e acesso universal que criam novos modelos e eficiências no desenvolvimento dessas novas tecnologias."

Além disso, muitos casos de uso críticos para web3 serão aprimorados pela adoção de tecnologias de IA. A partir de NFTs de arte generativa para paisagens metaversais, a IA encontrará muitos casos de uso na web3. A IA de código aberto se encaixa no espírito aberto, descentralizado e democratizado da web3 e representa uma alternativa à IA fornecida pela Big Tech, que provavelmente não será aberta tão cedo.

modelos de fundação são redes neurais treinadas em extensos conjuntos de dados para executar tarefas que normalmente exigiriam comportamento humano inteligente. Esses modelos criaram alguns resultados impressionantes.

Modelos de linguagem como OpenAI's GPT-3, LaMDA do Google e Megatron-Turing NLG da Nvidia têm a capacidade de compreender e produzir linguagem natural, resumir e sintetizar texto e até mesmo escrever código de computador.

DALLE-2 é da OpenAI modelo de difusão de texto para imagem que podem produzir imagens únicas a partir de texto escrito. A divisão de inteligência artificial do Google, DeepMind, produziu modelos concorrentes, incluindo PaLM, um modelo de linguagem de parâmetros 540B, e Imagen, seu próprio modelo de geração de imagens que supera DALLE-2 em DrawBench e COCO FID Benchmarks. Imagen notavelmente produz resultados mais fotorrealistas e tem a capacidade de soletrar.

Modelos de aprendizado por reforço, como o do Google AlphaGo ter derrotado o Human Go campeão mundial enquanto descobre novas estratégias e técnicas de jogo que não surgiram nos três mil anos de história do jogo.

A corrida para construir modelos complexos de fundação já começou com a Big Tech na vanguarda da inovação. Por mais emocionante que seja o avanço do campo, há um tema-chave que é motivo de preocupação.

Na última década, à medida que os modelos de IA se tornaram mais sofisticados, eles também se tornaram cada vez mais fechados ao público.

Os gigantes da tecnologia estão investindo pesadamente na produção de tais modelos e na retenção de dados e códigos como tecnologias proprietárias, preservando seu fosso competitivo por meio de suas vantagens de economia de escala para treinamento e computação de modelos.

Para qualquer terceiro, a produção de modelos de fundação é um processo intensivo de recursos com três grandes gargalos: dados, computação, e Monetização.

Aqui é onde vemos as primeiras incursões dos temas web3 na solução de alguns desses problemas.

Os conjuntos de dados rotulados são críticos para a construção de modelos eficazes. Os sistemas de IA aprendem generalizando a partir de exemplos em conjuntos de dados e melhoram continuamente à medida que são treinados ao longo do tempo. No entanto, a compilação e rotulagem de conjuntos de dados de qualidade requerem conhecimento especializado e processamento, além de recursos computacionais. Grandes empresas de tecnologia costumam ter equipes de dados internas especializadas em trabalhar com grandes conjuntos de dados proprietários e sistemas IP para treinar seus modelos e têm pouco incentivo para abrir o acesso à produção ou distribuição de seus dados.

Já existem comunidades que estão tornando o treinamento de modelo aberto e acessível a uma comunidade global de pesquisadores. aqui estão alguns exemplos:

1. Rastreio comum, um repositório público de dez anos de dados da Internet, pode ser usado para treinamento geral. (No entanto a pesquisa mostra que conjuntos de dados mais precisos e pareados podem melhorar o conhecimento geral entre domínios e os recursos de generalização a jusante dos modelos.)
2. LAION é uma organização sem fins lucrativos com o objetivo de disponibilizar modelos e conjuntos de dados de aprendizado de máquina em larga escala para o público em geral e liberá-los LAION5B, um conjunto de dados de par imagem-texto filtrado por CLIP de 5.85 bilhões que, após o lançamento, tornou-se o maior conjunto de dados de imagem-texto de acesso aberto do mundo.
3. Eleuther AI é um coletivo descentralizado que lançou um dos maiores conjuntos de dados de texto de código aberto chamado A pilha. The Pile é um conjunto de dados em inglês de 825.18 GiB para modelagem de linguagem que utiliza 22 fontes de dados diferentes.

Atualmente, essas comunidades são organizadas informalmente e contam com contribuições de uma ampla base de voluntários. Para sobrecarregar seus esforços, recompensas de token podem ser usadas como um mecanismo para criar conjuntos de dados de código aberto. Os tokens podem ser emitidos com base em contribuições, como rotular um grande conjunto de dados de imagem de texto, e uma comunidade DAO pode validar essas reivindicações. Em última análise, grandes modelos podem emitir tokens de um pool comum e a receita downstream de produtos criados sobre esses modelos pode ser acumulada no valor do token. Dessa forma, os contribuidores do conjunto de dados podem manter uma participação nos grandes modelos por meio de seus tokens e os pesquisadores poderão monetizar os recursos de construção ao ar livre.

A compilação de conjuntos de dados de código aberto bem construídos é fundamental para ampliar a acessibilidade de pesquisa para grandes modelos e melhorar o desempenho do modelo. Os conjuntos de dados de imagens de texto podem ser expandidos aumentando o tamanho e os filtros para diferentes tipos de imagens para obter resultados mais ajustados. Conjuntos de dados não ingleses serão necessários para treinar modelos de linguagem natural que as populações que não falam inglês possam usar. Com o tempo, podemos alcançar esses resultados muito mais rápido e abertamente usando uma abordagem web3.

A computação necessária para treinar redes neurais em grande escala é um dos maiores gargalos nos modelos de fundação. Na última década, a demanda por computação no treinamento de modelos de IA aumentou dobrou a cada 3.4 meses. Durante esse período, os modelos de IA passaram do reconhecimento de imagem ao uso de algoritmos de aprendizado por reforço, à derrota de campeões humanos em jogos de estratégia e à utilização de transformadores para treinar modelos de linguagem. Por exemplo, o GPT-3 da OpenAI tinha 175 bilhões de parâmetros e levou 3,640 petaFLOPS-dias para treinar. Isso levaria duas semanas no supercomputador mais rápido do mundo e mais de um milênio para um laptop padrão computar. Como os tamanhos dos modelos continuam a crescer, a computação continua sendo um gargalo no avanço do campo.

Os supercomputadores de IA requerem hardware específico otimizado para executar as operações matemáticas necessárias para o treinamento de redes neurais, como Unidades de Processamento Gráfico (GPUs) ou Circuitos Integrados de Aplicação Específica (ASICs). Hoje, a maior parte do hardware otimizado para esse tipo de computação é controlada por alguns provedores de serviços de nuvem oligopolistas, como Google Cloud, Amazon Web Services, Microsoft Azure e IBM Cloud.

Esta é a próxima grande interseção em que vemos a alocação de computação descentralizada por meio de redes abertas e públicas ganhando força. A governança descentralizada pode ser usada para financiar e alocar recursos para treinar projetos voltados para a comunidade. Além disso, um modelo de mercado descentralizado pode ser acessado abertamente em várias regiões, de modo que qualquer pesquisador possa acessar recursos de computação. Imagine um sistema de recompensas que financia o treinamento de modelos de crowdfunding emitindo tokens. Os crowdfundings bem-sucedidos receberão computação priorizada para seu modelo e impulsionarão inovações onde houver alta demanda. Por exemplo, se houver uma demanda significativa do DAO para produzir um modelo GPT em espanhol ou hindi para atender faixas maiores da população, a pesquisa pode se concentrar nesse domínio.

Já, empresas como GenSyn estão trabalhando no lançamento de protocolos para incentivar e coordenar acesso de hardware alternativo, econômico e baseado em nuvem para computação de aprendizagem profunda. Com o tempo, uma rede de computação global descentralizada e compartilhada construída com infraestrutura web3 se tornará mais econômica para escalar e nos atender melhor à medida que exploramos coletivamente a fronteira da inteligência artificial.

Conjuntos de dados e computação permitirão esta tese: modelos de IA de código aberto. Nos últimos anos, grandes modelos tornaram-se cada vez mais privados, pois o investimento de recursos necessário para produzi-los levou os projetos a se tornarem de código fechado.

Tome OpenAI. A OpenAI foi fundada em 2015 como um laboratório de pesquisa sem fins lucrativos com a missão de produzir inteligência artificial geral para o benefício de toda a humanidade, um forte contraste com os líderes em IA da época, Google e Facebook. Com o tempo, a competição acirrada e a pressão por financiamento corroeram os ideais de transparência e código aberto, à medida que a OpenAI mudou para uma modelo com fins lucrativos e assinou um enorme Acordo comercial de US$ 1 bilhão com a Microsoft. Além disso, uma controvérsia recente cercou seu modelo de texto para imagem, DALLE-2, por sua censura generalizada. (Por exemplo, DALLE-2 baniu os termos 'arma,' executar, 'atacar', 'Ucrânia' e imagens de celebridades; tal censura grosseira evita avisos como 'Lebron James atacando a cesta' ou 'um programador executando um linha de código'.) O acesso ao beta privado para esses modelos tem um viés geográfico implícito para os usuários ocidentais impedirem que grandes faixas da população global interajam e informem esses modelos.

Não é assim que a inteligência artificial deve ser disseminada: guardada, policiada e preservada por algumas poucas grandes empresas de tecnologia. Como no caso do blockchain, a nova tecnologia deve ser aplicada da forma mais equitativa possível para que seus benefícios não sejam concentrados entre os poucos que têm acesso. O progresso combinado em inteligência artificial deve ser aproveitado abertamente em diferentes setores, regiões geográficas e comunidades para descobrir coletivamente os casos de uso mais envolventes e chegar a um consenso sobre o uso justo da IA. Manter os modelos de fundação de código aberto pode garantir que a censura seja evitada e o viés seja cuidadosamente monitorado à vista do público.

Com uma estrutura de token para modelos de fundação generalizados, será possível agregar um grupo maior de colaboradores que podem monetizar seu trabalho enquanto liberam o código-fonte aberto. Projetos como o OpenAI construídos com uma tese de código aberto em mente tiveram que girar para uma empresa independente financiada para competir por talentos e recursos. O Web3 permite que projetos de código aberto sejam financeiramente lucrativos e rivalizem ainda mais com aqueles que são liderados por investimentos privados da Big Tech. Além disso, os inovadores que constroem produtos com base em modelos de código aberto podem criar com a confiança de que há transparência na IA subjacente. O efeito a jusante disso será a rápida adoção e entrada no mercado para novos casos de uso de inteligência artificial. No espaço web3, isso inclui aplicações de segurança que realizam análises preditivas para vulnerabilidades de contratos inteligentes e puxões de tapete, geradores de imagem que pode ser usado para cunhar NFTs e criar paisagens metaversas, personalidades de IA digital que podem existir na cadeia para preservar a propriedade individual e muito mais.

A inteligência artificial é uma das tecnologias que avançam mais rapidamente hoje e terá imensas implicações em nossa sociedade como um todo. Hoje, o campo é dominado por grandes tecnologias, pois investimentos financeiros em talentos, dados e computação criam fossos significativos para o desenvolvimento de código aberto. A integração da web3 na camada de infraestrutura da IA ​​é uma etapa crucial a ser tomada para garantir que os sistemas de inteligência artificial sejam construídos de maneira justa, aberta e acessível. Já estamos vendo modelos abertos assumirem uma posição de inovação pública rápida em espaços abertos como Twitter e HuggingFace, e a criptografia pode potencializar esses esforços no futuro.

Aqui está o que a equipe CoinFund está procurando na interseção de IA e criptomoeda:

1. Equipes com inteligência artificial aberta no centro de sua missão
2. Comunidades que estão selecionando recursos públicos, como dados e computação, para ajudar a criar modelos de IA
3. Produtos que estão utilizando IA para trazer criatividade, segurança e inovação para a adoção geral

Se você está construindo um projeto na interseção de AI e web3, converse conosco entrando em contato com CoinFund em Twitter ou e-mail rishin@coinfund.io or jake@coinfund.io.