Bio Eats World: usando IA para levar a bio mais longe

Neste episódio, Vijay Pande fala com Jakob Uszkoreit, cofundador e CEO da Inceptive. Juntos, eles discutem tudo sobre IA.

Estamos publicando a transcrição na íntegra abaixo, caso você queira ler junto.

***

Olivia Webb: Olá, bem-vindo ao Bio Eats World, um podcast na interseção de bio, saúde e tecnologia. Sou Olivia Webb, líder editorial da Bio + Health na a16z. Neste episódio, conversamos com Jakob Uszkoreit, ex-Google Brain e cofundador da Inceptive. Jakob também é um dos autores do seminal artigo de pesquisa sobre IA Attention is All You Need, que vincularemos nas notas do programa. Jakob sentou-se com Vijay Pande, sócio fundador da a16z Bio + Health para falar sobre todas as coisas relacionadas à IA: desde seu tempo no Google Brain, até como humanos e computadores processam a linguagem, até a crença de Inceptivo na promessa do RNA e como Jakob acredita que nós estamos entrando no território do ponto de inflexão com IA.

É um episódio que você não pode perder, mas também é uma discussão de pós-graduação sobre IA, então publicaremos uma transcrição junto com o episódio. Vamos começar.

Algoritmos aplicáveis

Vijay Pande: Então, Jakob, muito obrigado por estar no Bio Eats World. É ótimo ter você.

Jakob Uszkoreit: Ótimo estar aqui. Obrigado por me receber.

Vijay Pande: Especialmente porque você tem uma história tão fascinante como cientista da computação, empreendedor e fundador, adoraria que você nos guiasse por sua jornada profissional, começando onde quiser, mas o que o levou ao Google Brain é provavelmente um bom lugar para começar .

Jakob Uszkoreit: Lembro-me, até certo ponto, de encontrar esse problema de aprendizado de máquina, talvez no sentido mais amplo, [e] compreensão da linguagem, um pouco mais especificamente, como um problema que ocorre na família. Então, meu pai é um cientista da computação e linguista computacional e, você sabe, crescer coisas como máquinas de Turing não eram necessariamente conceitos totalmente estranhos bem cedo.

Vijay Pande: Sim, parece que pode ter sido uma conversa na mesa de jantar, na verdade.

Jakob Uszkoreit: Eram conversas à mesa de jantar. E especialmente os autômatos finitos, e como eles realmente se relacionam com as máquinas de venda automática, eram, você sabe, tópicos comuns. Quanto mais velho eu ficava, mais eu queria ter certeza de que realmente acabaria fazendo algo diferente. E então acabei olhando um pouco para a matemática pura e áreas relacionadas lá. [Eu] realmente me concentrei bastante em otimização, em algoritmos de otimização, algoritmos em geral, mais amplamente na teoria da complexidade, antes de perceber que talvez essa não fosse a coisa mais prática e aplicável, que, você sabe, meio que se tornou um pouco de um fio vermelho ao longo da minha carreira. E então, literalmente, tropeçar em um estágio do Google em 2005.

Recebi algumas opções diferentes [sobre] que tipo de projetos de pesquisa participar, [e] entre eles estavam diferentes esforços de visão computacional, mas também o projeto de tradução automática que basicamente se tornou o Google Tradutor. Mais ou menos nessa época, ou um pouco antes disso, [Translate] lançou seu primeiro produto que foi realmente desenvolvido com os sistemas internos do Google que foram desenvolvidos e, de certa forma, para minha consternação, descobri que o Google Tradutor em o tempo teve de longe os problemas de algoritmos de grande escala mais interessantes.

Na época, foi realmente interessante ver, porque o que me convenceu a abortar meu doutorado e realmente voltar para o Google depois daquele estágio, foi realmente que ficou evidente no meu tempo lá que se você quisesse trabalhar em algo em aprendizado de máquina que não era apenas interessante e, digamos, intelectual e cientificamente, excitante, desafiador e estimulante, mas também tinha grandes esperanças de mover a agulha imediatamente na indústria e nos produtos. Realmente, naquela época, não havia muitos lugares no mundo. E eles certamente não eram laboratórios acadêmicos na época, mas sim lugares como o Google. E o Google naquele momento estava realmente na vanguarda disso. E então, você sabe, na época eu pensei que era incrível rodar meus primeiros algoritmos de agrupamento em larga escala em mil máquinas, e era simplesmente, absolutamente impossível fazer isso em outro lugar.

Vijay Pande: Quando você fala com nossos colegas seniores, há muito romantismo sobre o apogeu do Bell Labs, e sempre me perguntei se o Google Brain pode ser uma das variantes mais próximas hoje. Como era o ambiente?

Jakob Uszkoreit: Então, na verdade, sinto que entre aquela época e quando o Google Brain realmente começou, cerca de cinco anos depois, houve uma mudança significativa. Antes de o Brain and Translate começar, era muito mais impulsionado por produtos que realmente faziam a diferença do que eu acredito que o Bell Labs. E tínhamos um bom número de ex-alunos do Bell Labs, é claro, entre nós, mas muito mais motivados pela aplicabilidade direta.

O que para mim foi realmente incrível de testemunhar, como a tradução automática mudou [de algo que] era bom para rir em uma festa, literalmente. Se te perguntassem, onde você trabalha? E você disse, Google. E aí eles falaram, o que você faz aí? E eles ficaram impressionados no início. E então você disse, oh, eu trabalho no Google Tradutor. E então eles riram e perguntaram, isso vai funcionar? Eu não acho. Mas então, ao mesmo tempo, eu diria que a onda de aprendizado de máquina, a onda pré-renascimento do aprendizado profundo de aprendizado de máquina, começou a se estabilizar. Você sabe, aprendizado profundo era algo que eu tinha feito anteriormente na escola e gostava, mas não era algo que você realmente pudesse aplicar naquela época.

Vijay Pande: Sim, especialmente porque você não tinha escala na academia para fazer os cálculos que precisaria fazer.

Jakob Uszkoreit: Certamente não na academia, mas até no Google. Mesmo que na época, no Translate, na verdade, a característica distintiva mais interessante fosse, eu diria, realmente acreditávamos no poder absoluto dos dados no final do dia.

Portanto, estávamos tentando não criar algoritmos mais complicados e sofisticados, mas, em vez disso, simplificá-los e dimensioná-los o máximo possível e, em seguida, permitir que treinassem com mais e mais dados. Mas acabamos de atingir um teto lá. As simplificações que você tinha que fazer para escalá-los para o que era na época a escala do Google, esse era realmente o nosso objetivo. Mas então, e esse foi um desses movimentos de pêndulo, voltando, fora da academia, um monte de gente com um monte de GPUs - o aprendizado profundo voltou em certo sentido com uma vingança. E de repente o ambiente se adaptou, porque não estava claro qual seria o caminho direto em escala para a produção.

E assim todo o ambiente deixou de ser mais orientado a aplicativos e produtos para algo que, pelo menos por alguns anos, parecia muito mais acadêmico. Ainda é um pouco diferente dos laboratórios acadêmicos porque poderíamos pagar muito mais GPUs, mas muito mais alinhado, em certo sentido, com essa ideia de [ser] conduzido por publicações, impulsionado por saltos em vez de etapas. [Ele] se tornou muito, muito produtivo - e realmente incrível - mas muito mais aberto [ambiente].

Atenção é tudo que você precisa

Vijay Pande: Bem, você sabe, falando em publicações, um lugar natural para pensar é quando você e a equipe publicaram Atenção é tudo que você precisa. E, você sabe, esse tem sido um artigo seminal para grande parte da IA ​​generativa desde quando o algoritmo do transformador foi apresentado pela primeira vez.

Jakob Uszkoreit: Dois anos antes de publicar esse artigo, percebemos [que] o que era então o estado da arte para problemas como tradução automática, ou [o que] estava emergindo como o estado da arte, ou seja, LSTM ou baseado em RNN , Seq2Seq em geral como paradigma de treinamento e como configuração, mas também como arquitetura de rede — apresentava problemas incríveis mesmo nas GPUs mais modernas da época, quando se tratava de dimensionamento em termos de dados.

Por exemplo, o primeiro sistema neural de tradução automática que o Google lançou, o GNMT, na verdade, até onde sei, nunca foi realmente treinado em todos os dados de treinamento que tínhamos disponíveis, que havíamos minerado anteriormente para os sistemas estatísticos baseados em frases. E isso porque os algoritmos simplesmente não escalavam bem em termos de quantidade de dados. Então, para encurtar a história, estávamos olhando, na época, não para tradução automática, mas para problemas onde, internamente no Google, tínhamos quantidades ainda maiores de dados de treinamento disponíveis. Esses foram problemas que surgiram da pesquisa, onde você tem basicamente outras três ou quatro ordens de grandeza. Você sabe, agora não há mais bilhões de palavras, mas trilhões facilmente e, de repente, encontramos esse padrão em que redes feedforward simples, embora tenham feito suposições simplificadoras ridículas, como, é apenas um saco de palavras ou é apenas um saco de bigramas , e você meio que calcula a média deles e os envia por meio de um grande MNLP, eles realmente superaram RNNs e LSTMs, pelo menos quando treinados em mais dados.

[E eles eram] n vezes mais rápidos, facilmente 10, 20 vezes mais rápidos para treinar. E assim você poderia treiná-los com muito mais dados. Em alguns casos, [eles eram] cem vezes mais rápidos para treinar. E assim continuamos consistentemente, terminando com modelos que eram mais simples e que não podiam expressar ou capturar certos fenômenos que sabemos serem definitivamente comuns na linguagem.
E, no entanto, você sabe, no final das contas, eles eram mais baratos para treinar e [eles] tinham um desempenho melhor.

Vijay Pande: Vamos apenas dar um exemplo para pessoas que não estão familiarizados. Então, para um monte de palavras, se eu disser, mostre-me todos os restaurantes próximos, exceto o italiano, ele mostrará todos os restaurantes italianos, certo?

Jakob Uszkoreit: Exatamente. Na verdade, o que você disse provavelmente pode ser reordenado, para me mostrar todos os restaurantes italianos, exceto nas proximidades. É apenas uma sopa de palavras e você pode reordená-lo em algo que definitivamente significa algo diferente.

Vijay Pande: Sim.

Jakob Uszkoreit: E então você chega perto da estrutura e chega aos fenômenos mais globais colocando em bigramas. Então basicamente grupos de duas palavras consecutivas e coisas assim. Mas é claro que, certamente em línguas como o alemão, onde você pode basicamente colocar o verbo no final da frase…

Vijay Pande: E isso muda todo o significado, certo?

Jakob Uszkoreit: Muda todo o significado, exatamente, sim. Não importa qual seja o tamanho de seus n-gramas - ou de seus pequenos grupos de palavras -, você não terá sucesso. E ficou claro para nós que deve haver uma maneira diferente que não exija a recorrência do comprimento do RNN, ou recorrência em sequência de, digamos, palavras ou pixels, mas que realmente processe entradas e saídas de maneira mais paralela e realmente em última análise, atende aos pontos fortes do hardware acelerador moderno.

Vijay Pande: Pense nisso, como se um saco de palavras fosse palavras em ordem aleatória. LSTM, ou memória de longo prazo, talvez lhe dê algum tipo de [capacidade de] olhar [para o] passado um pouco, certo? Mas Transformers faz algo radicalmente diferente. Como os transformadores levam isso para o próximo nível?

Jakob Uszkoreit: Há sempre duas maneiras de ver isso. Uma é através da lente da eficiência, mas a outra forma que talvez seja um pouco mais intuitiva é olhar para isso em termos de, você sabe, quanto contexto você pode manter. E como você disse, LSTMs, ou redes neurais recorrentes em geral, eles se movem através de suas entradas passo a passo, falando de forma ampla, e embora, em teoria, sejam capazes de manter janelas de contexto arbitrariamente longas em entradas - o passado - o que acontece na prática é que é realmente muito difícil para eles identificar eventos, digamos palavras ou pixels, que estão muito distantes no passado e que realmente afetam o significado no final do dia. Eles tendem a se concentrar em coisas que estão nas proximidades.

O transformador, por outro lado, basicamente apenas vira isso de cabeça para baixo e diz, não, a cada passo o que estamos fazendo não está se movendo pela entrada. A cada passo, estamos olhando para a totalidade da entrada ou saída, e estamos basicamente revisando de forma incremental as representações de cada palavra ou cada pixel ou cada patch ou cada quadro de um vídeo, conforme basicamente nos movemos, não no espaço de entrada , mas no espaço de representação.

Vijay Pande: Sim.

Jakob Uszkoreit: E essa ideia tinha algumas desvantagens em termos de como você a encaixaria no hardware moderno, mas em comparação com redes neurais recorrentes, ela tinha vantagens principalmente porque agora você não estava realmente vinculado a representações de computação sequencial, digamos, palavra por palavra. O que você estava vinculado é, realmente, quão bons eles deveriam ser? Quantas camadas desse tipo de processamento paralelo de todas as posições onde tudo, onde todos os pares de palavras ou todos os pares de manchas de imagens podem interagir imediatamente? Quantas revisões dessas representações posso realmente “pagar”?

Vijay Pande: O que é realmente interessante também é que, obviamente, a inspiração é a linguagem natural, mas existem muitas estruturas que você gostaria de inserir onde não deseja apenas estudá-las sequencialmente, como uma sequência de DNA - e entraremos em biologia em breve - que você deseja ter um modelo de tudo.

É meio engraçado com a linguagem. Quando estou falando ou ouvindo você, estou processando cada palavra, mas eventualmente tenho que não apenas simbolizar as palavras em significados individuais, mas tenho que desenvolver essa representação. Sim? Eu gostaria que pudéssemos fazer do jeito que os transformadores fazem. E talvez esse seja o truque é que os LSTMs estão mais próximos da maneira como nós, humanos, fazemos isso, e os transformadores talvez sejam exatamente a maneira como deveríamos fazê-lo, ou eu gostaria que pudéssemos fazê-lo.

Jakob Uszkoreit: Superficialmente, acho que isso é verdade, embora, no final das contas, argumentos introspectivos como esses sejam sutis e complicados.

Então, acho que muitos de nós conhecemos esse fenômeno em que você está gritando ou berrando com alguém tentando comunicar algo em uma rua movimentada. E então você ouve algo que eles dizem, e não é uma sequência curta de palavras, e você basicamente não entendeu nada. Mas então, meio segundo depois, você de repente entendeu a frase inteira. Na verdade, sugere o fato de que, embora sejamos forçados a escrever e pronunciar a linguagem de maneira sequencial - apenas por causa da seta do tempo -, não é tão claro que nossa compreensão mais profunda realmente funcione dessa maneira sequencial.

Construindo uma equipe

Vijay Pande: Se alguém estudar apenas o papel Atenção é Tudo de que Você Precisa ou como um transformador funciona, há muitas partes nele. E parece que provavelmente já passou do ponto em que uma pessoa poderia efetivamente fazer esse trabalho sozinha em um curto período de tempo.

Jakob Uszkoreit: Absolutamente.

Vijay Pande: Então agora você realmente precisa de uma equipe de pessoas para fazer esse tipo de coisa. Qual é a sociologia disso? Como algo assim acontece?

Jakob Uszkoreit: Este caso particular, eu pessoalmente sinto, é um exemplo realmente maravilhoso de algo que se encaixa em uma abordagem mais, digamos, industrial para a pesquisa científica, excepcionalmente bem. Porque você está exatamente certo. Esta não foi a grande centelha de imaginação e criatividade que desencadeou tudo.

Foi realmente um monte de contribuições que foram todas necessárias, em última análise. Ter um ambiente, uma biblioteca – que mais tarde também foi de código aberto, com o nome de Tensor2Tensor – que na verdade incluía implementações. E não apenas implementações, mas implementações excepcionalmente boas, implementações rápidas de todos os tipos de truques de aprendizado profundo.
Mas também até esses mecanismos de atenção que saíram de publicações anteriores - como o modelo de atenção decomponível [que foi] publicado antes - mas que foram realmente combinados com melhorias e inovações, invenções em torno de otimizadores. Você não encontrará pessoas, eu acho, que realmente estão entre os maiores especialistas do mundo em todos esses aspectos simultaneamente e que também são igualmente apaixonados por todos esses aspectos.

Vijay Pande: E principalmente tem a ideia inicial, tem a implementação dela, tem o escalonamento dela. Alcançar esse tipo de escala em qualquer outro lugar que não seja uma grande empresa, agora, provavelmente não é viável apenas por causa do custo.

Jakob Uszkoreit: Eu acho que, na verdade, talvez o aspecto da grande empresa não seja tão crucial.

Vijay Pande: Sim?

Jakob Uszkoreit: O aspecto da empresa é aquele que eu valorizaria mais. A grande empresa certamente não faz mal se você precisar de milhares e milhares de TPUs ou GPUs ou o que você tiver. Bolsos fundos nunca machucam para esse tipo de coisa. Mas, ao mesmo tempo, acredito que a estrutura de incentivo em torno desse tipo de pesquisa exploratória na indústria é muito mais adequada para esses tipos de projetos. E acho que isso é realmente algo que estamos vendo, olhando para projetos de IA generativos em toda a linha.

Vijay Pande: Sim. E, a seu ver, pode ser uma startup.

Jakob Uszkoreit: Com certeza pode ser uma startup. E acho que estamos vendo agora que o uso de hardware acelerador está se tornando pelo menos mais acessível. E há startups que estão competindo muito quando se trata de IA generativa voltada para geração de imagem ou geração de texto.

Saltando para as ciências da vida

Vijay Pande: Eu adoraria fazer a transição para o que você está fazendo agora. Você é o CEO da Inceptive, uma empresa que aplica IA à biologia de RNA para terapias de RNA. Como você fez a transição para as ciências da vida? Superficialmente, falar sobre modelos de linguagem ao redor da mesa de jantar e depois no refeitório do Google... parece que isso pode ser um salto para a próxima geração de terapias. Como tudo isso aconteceu?

Jakob Uszkoreit: Eu não poderia concordar mais. É uma experiência de aprendizado incrível, do meu lado. Por um bom tempo, a biologia me pareceu um problema em que não parece inconcebível que haja limites para o quão longe podemos ir em termos de, digamos, desenvolvimento de drogas e design direto com a biologia tradicional como a espinha dorsal de como nós continue projetando - ou descobrindo métodos para projetar - as drogas do futuro.

Parece que o aprendizado profundo, em particular, em escala é, por vários motivos, potencialmente uma ferramenta realmente adequada aqui. E uma dessas razões, na verdade, é algo que muitas vezes não é necessariamente considerado uma vantagem, que é o fato de ser uma grande caixa preta que você pode simplesmente jogar em alguma coisa. E não é verdade que você pode simplesmente jogá-lo. É algo que você tem que saber jogar.

Vijay Pande: E também não é exatamente preto. Podemos discutir sobre isso mais tarde.

Jakob Uszkoreit: Sim, exatamente. Exatamente. Mas, no final das contas, voltando à analogia com a linguagem, nunca conseguimos, nesse sentido, entender e conceituar totalmente a linguagem na medida em que você poderia alegar, oh, agora vou dizer a você essa teoria por trás da linguagem, e depois você conseguirá implementar um algoritmo que a “entenda”. Nunca chegamos a esse ponto. Em vez disso, tivemos que abortar e dar um passo para trás e, na minha opinião, até certo ponto, admitir para nós mesmos que essa pode não ter sido a abordagem mais pragmática. Em vez disso, devemos tentar abordagens que não exijam esse nível de compreensão conceitual. E acho que o mesmo pode ser verdade para partes da biologia.

Usando IA para levar a bio mais longe

Vijay Pande: É interessante, já falamos sobre coisas assim antes. Você pensa no século passado, [que foi] o século da física e do cálculo. Existe uma certa mentalidade onde há uma maneira de você ter uma simplificação muito elegante das coisas que você pode ter uma única equação como as equações de campo de Einstein que descrevem tanto, e essa é uma equação muito simples em uma linguagem muito complexa. Você falou sobre como aquela abordagem de Feynman, quase como a sociologia da física, pode não se aplicar aqui na biologia, certo?

Jakob Uszkoreit: Pode não se aplicar, pelo menos por duas razões que posso ver neste momento. O número um é que há muitos jogadores envolvidos. E embora seja verdade que talvez possamos reduzir tudo à equação de Schrödinger e apenas resolvê-la, ela é não apenas intratável computacionalmente, mas também teríamos que saber sobre todos esses jogadores diferentes, e atualmente não . Nem mesmo perto. Então esse é um aspecto.

E o segundo é basicamente a intratabilidade computacional, onde a redução, em certo sentido, foi tão longe que, embora traga tudo de volta a uma única coisa, não nos ajuda porque nossas abordagens computacionais basicamente usam esses fundamentos para fazer previsões são muito lentos para fazer essas previsões para sistemas grandes o suficiente para realmente importar para a vida.

Vijay Pande: Sim. Portanto, não é uma equação de n corpos, mas ainda assim há um senso de formalismo - talvez seja um formalismo mais baseado em dados ou mais formalismo bayesiano. Como isso alimenta o que você gostaria de fazer? Como isso contribui para a aplicação de IA e outros tipos de novos algoritmos?

Jakob Uszkoreit: Eu acho que há alguns aspectos diferentes. No final do dia, uma das grandes conclusões, na minha opinião, do que estamos vendo atualmente na IA generativa é que não precisamos mais treinar com dados que não são apenas perfeitamente limpos, mas também precisamente do domínio e dos tipos de tarefas que você gostaria de realizar mais tarde. Mas, em vez disso, pode ser realmente mais benéfico ou até mesmo a única maneira que encontramos até agora de realmente tentar treinar em tudo o que você encontra que seja remotamente relacionado. E, em seguida, use as informações efetivamente obtidas desses dados para obter os chamados modelos de base, que você pode ajustar a todos os tipos de tarefas específicas usando quantidades muito menores e muito mais tratáveis ​​de dados mais limpos.

Acho que subestimamos um pouco o que precisamos saber sobre os fenômenos em geral. Para construir um bom modelo de linguagem grande, você tem que entender que existe essa coisa chamada internet e tem muito texto nela. Você tem que entender um pouco, na verdade, sobre como encontrar este texto, o que não é texto, e assim por diante, para basicamente destilar dele os dados de treinamento que você usa.

Acredito que haverá desafios muito diretamente análogos em torno da biologia. A grande questão é: quais são os experimentos que podemos dimensionar de modo que possamos observar a vida em escala suficiente com fidelidade suficiente - mas muito menos especificidade, mantendo em mente os problemas que você está tentando resolver eventualmente - de modo que possamos basicamente tiramos disso os dados de que precisamos para começar a construir esses modelos de fundação, que podemos usar, ajustados e projetados especificamente, para realmente abordar os problemas que queremos enfrentar.

A parte de geração de dados é certamente uma delas. Arquiteturas e efetivamente ter modelos e arquiteturas de rede que imitam o que sabemos, sobre, digamos, a física subjacente, ainda permanecerão uma maneira incrivelmente poderosa de realmente economizar computação e também reduzir o ainda enorme apetite por dados que esses modelos terão que ter , a um nível viável. E uma coisa que eu acredito ser realmente interessante de se notar é que muitas das aplicações atuais de modelos, digamos, transformadores, que [descobriram] escalar muito bem em outras modalidades, outros domínios, linguagem, visão, geração de imagem, etc., etc., e aplicá-los à biologia basicamente ignora o fato de que sabemos que existe algo como o tempo e que as leis da física, pelo menos até onde sabemos, não parecem simplesmente mudar hora extra.

O processo de dobramento de uma proteína, ignorando o fato de que há toneladas e toneladas de jogadores - acompanhantes e outros enfeites - é, na verdade, em certo sentido, um problema arbitrariamente separado do restante da cinética de proteínas. É tanta cinética quanto o restante da cinética, ou o restante da vida dessa proteína, dessa molécula. E então, por que tentamos treinar modelos especificamente para um e, pelo menos potencialmente, ignorar os dados que podemos ter sobre o outro? Neste caso, talvez mais especificamente, alguns dos modelos de previsão de estrutura de proteínas que temos hoje, eles já aprendem algo sobre cinética implicitamente pelo fato de que lentamente começam a abraçar, você sabe, a existência do tempo?

Desenvolvimento de novas arquiteturas

Vijay Pande: Uma das coisas interessantes que penso sobre onde você está agora é que, com algumas raras exceções, a maioria das redes neurais profundas ou outros tipos de IA em biologia parecem pegar algo inventado em outro lugar e carregá-lo. Como usaremos redes neurais convolucionais para imagens. Talvez para moléculas pequenas... em meu laboratório em Stanford, usamos redes neurais de grafos e várias redes neurais convolucionais. Mas realmente desenvolver um algoritmo explicitamente para o problema biológico é muito raro. E sempre presumi que era porque é difícil ter as habilidades de uma equipe forte no domínio da biologia e no domínio da ciência da computação. Mas estou curioso para saber sua opinião. Ou é apenas raro desenvolver novas arquiteturas em primeiro lugar?

Jakob Uszkoreit: Bem, acho que, no final das contas, o que estamos vendo é que as novas arquiteturas, embora motivadas por problemas específicos, se realmente fizerem a diferença, também tendem a ser aplicáveis ​​em outros lugares. Isso não significa, por outro lado, que, no caminho até lá, escolher cuidadosamente quais são os aplicativos e domínios motivadores não faria uma grande diferença. E eu acho que certamente sim.

Eu sinto que um dos principais desafios aqui é realmente que ainda não estamos em um regime em biologia onde temos montes e montes de dados, embora, comparado com o que costumávamos ter um tempo atrás, seja incrível. Mas ainda não estamos naquele regime em que isso é apenas ficar sentado no equivalente à web, e podemos filtrá-lo um pouco, baixá-lo e pronto. Mas, em vez disso, acho que temos que criá-lo em uma extensão razoavelmente grande. E isso não será feito por especialistas em aprendizado profundo, pelo menos não pela maioria deles.

E eu acredito que isso tem que acontecer em sincronia com a compreensão das peculiaridades desses dados, certo? Os tipos de ruído que você encontra lá. O fato de que eles são realmente criados em pools de grande escala, experimentos de alto rendimento, mas ainda assim, experimentos executados em dias diferentes por diferentes experimentadores e assim por diante. E onde as pessoas com mais experiência em aprendizado profundo trabalham em estreita colaboração com pessoas com formação em biologia, aprendem o suficiente sobre o que sabemos sobre os fenômenos subjacentes, [elas] basicamente serão inspiradas a tentar novas abordagens interessantes.

Vijay Pande: Bem, adorei quando você falou apenas sobre o exemplo do artigo Atenção é tudo de que você precisa, sobre como você queria obter esse grupo diversificado de pessoas cujas paixões eram, você sabe, bastante ortogonais umas das outras. E, de certa forma, quando você está fazendo isso em biologia e especialmente para o que está fazendo na Inceptiva, também precisa colocar todo esse trabalho na geração dos dados. E gerar os dados realmente significa, para ser muito explícito, executar experimentos biológicos em escala. A parte de entrada em si é muito cara e muito técnica e, como você disse, tem muitas maneiras de dar errado. Mas parece que você está construindo sobre a cultura que você fez antes e agora são apenas mais especialistas com diferentes paixões coordenando de maneira análoga.

Jakob Uszkoreit: Eu realmente preciso, [e] as pessoas precisam disso. Este é, até onde posso dizer, o caminho mais promissor. [É para] não almejar, em certo sentido, um modelo de pipeline, onde certos dados no laboratório em que foram criados, dado o melhor de nosso conhecimento, sobre os aspectos subjacentes da vida. E, em seguida, começar a executar as abordagens de aprendizado profundo existentes e ajustá-las. Mas, em vez disso, realmente ter pessoas que, em certo sentido, podem estar entre as primeiras pessoas que estão realmente trabalhando em uma disciplina que atualmente ainda não tem um grande nome.

Talvez o mínimo denominador comum seja a curiosidade que vai além do que você sabe, do que aprendeu antes e do que talvez tenha passado a maior parte do tempo fazendo. Descobrimos que, tal como em muitas outras áreas, o que realmente procuramos é um conjunto de pessoas com formações muito diversas, mas que partilhem a curiosidade.

Para onde vai a IA?

Vijay Pande: Onde você acha que a IA está agora para esses problemas mais difíceis, para design de medicamentos, saúde e assim por diante? O que tem que ser feito? Quando chegará lá?

Jakob Uszkoreit: Eu esperaria - e é sempre muito perigoso fazer previsões sobre o futuro - eu ficaria muito surpreso se nos próximos três anos não começaríamos a ver um ponto [de inflexão] acontecendo quando se trata dos efeitos do mundo real de aprendizado de máquina, aprendizado profundo em grande escala no desenvolvimento de medicamentos, design de medicamentos. Onde exatamente eles estarão primeiro, é claro, acredito que muitos deles acontecerão em torno de RNA, terapias de RNA e vacinas. Essa certamente não será a única área afetada por isso, mas definitivamente acho que estamos entrando no território do ponto de inflexão.

Vijay Pande: Você fez um ponto interessante. O que há de diferente no RNA? Porque eu acho que é particularmente interessante, não apenas que você foi do Google Brain para a biologia, mas você foi especificamente para o RNA. O que o atrai no RNA, especialmente talvez do ponto de vista de IA ou ML?

Jakob Uszkoreit: Uma coisa que é interessante sobre o RNA é a combinação entre, como vimos, uma aplicabilidade muito ampla - embora ainda seja estreita no sentido de uma única indicação - mas só de olhar para essa onda de processos de aprovação que está começando e já começou, é bem claro que a aplicabilidade é muito, muito ampla, juntamente com - isso é um pouco ambíguo - um problema estruturalmente simples. E é estruturalmente simples não na frase que a previsão estrutural do RNA é simples, mas é estruturalmente simples no sentido de que é um biopolímero com quatro bases diferentes. Não estamos falando de mais de 20 aminoácidos. É algo que pode ser produzido de forma bastante eficaz.

Existem alguns desafios aí, mas a síntese é algo que pode escalar e está escalando rapidamente, e essas coisas se juntam para permitir esse ciclo de feedback rápido que eu acho que é frequentemente mencionado, mas muito raramente, pelo menos pelo que eu sei, realmente implementado e implementável no final do dia.

Vijay Pande: Sim, provavelmente é um ciclo de feedback mais rápido, especialmente pela maneira como você o persegue.

Jakob Uszkoreit: Sim. E como acredito que precisamos criar a maior parte dos dados para treinar os modelos que estamos treinando, estamos realmente investindo no Inceptivo para criar esses dados em escala. E eu diria comparativamente uma escala bastante massiva, dado que o RNA parece ser de longe a melhor combinação quando se trata da simplicidade estrutural, mas também da escalabilidade da síntese e dessa experimentação. Há um enorme potencial aqui que até agora não foi explorado.

Vijay Pande: Sim, e acho especialmente potencialmente a capacidade de ter esses ciclos rápidos, ambos pré-clínicos e, portanto, chegar à clínica mais rapidamente e estar na clínica [por um período de tempo mais curto].

Jakob Uszkoreit: Absolutamente. Isso é realmente o que esperamos. Também estamos vendo talvez dicas iniciais indicando que esse pode ser o caso e que, é claro, estamos muito, muito empolgados.

Vijay Pande: Pensar nos últimos 10 anos tem sido incrível, sabe, de 2012 até agora. Como você acha que serão os próximos 10 anos? Onde você acha que estaremos daqui a 10 anos com IA? De forma ampla ou especialmente para bio?

Jakob Uszkoreit: Acho que se é realmente verdade que estamos entrando nesse território de ponto de inflexão, quando olharmos para trás daqui a 10 anos, parecerá uma revolução pelo menos tão grande e expansiva quanto a que pensamos ter visto no últimos 10 anos. Pelo menos. Agora, acho que haverá uma diferença crucial, e é que não está tão claro exatamente o quão amplamente a revolução que testemunhamos nos últimos 10 anos afeta a vida de todos. Existem certas áreas, motores de busca ou escrita assistida, etc., onde é evidente, mas não está claro o quão amplamente aplicável é esta revolução. Acredito que sim, mas ainda não o vemos. Acho que a revolução que veremos especificamente em torno da biologia nos próximos 10 anos, ou que veremos daqui a 10 anos, será realmente diferente em termos de seu profundo impacto em todas as nossas vidas. .

Mesmo deixando de lado as aplicações de design e descoberta de medicamentos, existem aplicações tão incríveis dentro e fora da descoberta científica que agora você pode imaginar que, com uma interface da web, você pode basicamente ter moléculas projetadas que, em certos organismos, têm uma probabilidade muito alta de responda a certas perguntas, produzindo leituras mais confiáveis ​​do que, você sabe, o que você poderia obter anteriormente. Portanto, mesmo deixando de lado todo o tipo de complexidade de como isso afetará, em última análise, os pacientes e todos, é bastante claro, penso eu, que essas ferramentas irão acelerar rapidamente campos como a biologia.

Vijay Pande: Parece um ótimo lugar para terminar. Muito obrigado, Jakob, por se juntar ao Bio Eats World.

Jakob Uszkoreit: Muito obrigado por me receber.

Olivia Webb: Obrigado por se juntar ao Bio Eats World. Bio Eats World é apresentado e produzido por mim, Olivia Webb, com a ajuda da equipe Bio + Health da a16z e editado por Phil Hegseth. Bio Eats World faz parte da rede de podcasts a16z.

Se você tiver dúvidas sobre o episódio ou quiser sugerir tópicos para um episódio futuro, envie um e-mail para Por último, mas não menos importante, se você está gostando do Bio Eats World, deixe-nos uma classificação e uma crítica onde quer que você ouça podcasts.

Por favor, note que o conteúdo aqui apenas para fins informativos, não deve ser considerado como aconselhamento jurídico, comercial, tributário ou de investimento, ou ser usado para avaliar qualquer investimento ou título, e não é direcionado a nenhum investidor ou potencial investidor em qualquer fundo a16z. . Para obter mais detalhes, consulte a16z.com/disclosures.

***

As opiniões expressas aqui são as do pessoal individual da AH Capital Management, LLC (“a16z”) citadas e não são as opiniões da a16z ou de suas afiliadas. Certas informações aqui contidas foram obtidas de fontes de terceiros, inclusive de empresas do portfólio de fundos administrados pela a16z. Embora retiradas de fontes consideradas confiáveis, a16z não verificou essas informações de forma independente e não faz representações sobre a precisão duradoura das informações ou sua adequação a uma determinada situação. Além disso, esse conteúdo pode incluir anúncios de terceiros; a16z não revisou tais anúncios e não endossa nenhum conteúdo de publicidade neles contido.

Este conteúdo é fornecido apenas para fins informativos e não deve ser considerado como aconselhamento jurídico, comercial, de investimento ou fiscal. Você deve consultar seus próprios conselheiros sobre esses assuntos. As referências a quaisquer valores mobiliários ou ativos digitais são apenas para fins ilustrativos e não constituem uma recomendação de investimento ou oferta para fornecer serviços de consultoria de investimento. Além disso, este conteúdo não é direcionado nem destinado ao uso por quaisquer investidores ou potenciais investidores, e não pode, em nenhuma circunstância, ser invocado ao tomar uma decisão de investir em qualquer fundo administrado pela a16z. (Uma oferta para investir em um fundo a16z será feita apenas pelo memorando de colocação privada, contrato de subscrição e outra documentação relevante de tal fundo e deve ser lida na íntegra.) Quaisquer investimentos ou empresas de portfólio mencionados, referidos ou descritos não são representativos de todos os investimentos em veículos administrados pela a16z, e não pode haver garantia de que os investimentos serão rentáveis ​​ou que outros investimentos realizados no futuro terão características ou resultados semelhantes. Uma lista de investimentos feitos por fundos administrados por Andreessen Horowitz (excluindo investimentos para os quais o emissor não deu permissão para a a16z divulgar publicamente, bem como investimentos não anunciados em ativos digitais negociados publicamente) está disponível em https://a16z.com/investments /.

Os gráficos e gráficos fornecidos são apenas para fins informativos e não devem ser considerados ao tomar qualquer decisão de investimento. O desempenho passado não é indicativo de resultados futuros. O conteúdo fala apenas a partir da data indicada. Quaisquer projeções, estimativas, previsões, metas, perspectivas e/ou opiniões expressas nestes materiais estão sujeitas a alterações sem aviso prévio e podem diferir ou ser contrárias às opiniões expressas por outros. Consulte https://a16z.com/disclosures para obter informações adicionais importantes.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
• Fonte: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/