Bio Eats World: uso de IA para llevar Bio más lejos

En este episodio, Vijay Pande habla con Jakob Uszkoreit, cofundador y director ejecutivo de Inceptive. Juntos, discuten todo lo relacionado con la IA.

Estamos publicando la transcripción completa a continuación, en caso de que desee leerla.

***

Olivia Webb: Hola y bienvenidos a Bio Eats World, un podcast en la intersección de bio, salud y tecnología. Soy Olivia Webb, líder editorial de Bio + Health en a16z. En este episodio, hablamos con Jakob Uszkoreit, anteriormente de Google Brain y cofundador de Inceptive. Jakob también es uno de los autores del artículo de investigación seminal de IA Attention is All You Need, que vincularemos en las notas del programa. Jakob se sentó con Vijay Pande, socio fundador de a16z Bio + Health, para hablar sobre todo lo relacionado con la IA: desde su tiempo en Google Brain hasta cómo los humanos y las computadoras procesan el lenguaje, hasta la creencia de Inception en la promesa del ARN y cómo Jakob cree que estamos entrando en el territorio del punto de inflexión con la IA.

Es un episodio que no querrá perderse, pero también es una discusión a nivel de posgrado sobre IA, por lo que publicaremos una transcripción junto con el episodio. Empecemos.

Algoritmos aplicables

Vijay Pande: Jakob, muchas gracias por estar en Bio Eats World. Es genial tenerte.

Jakob Uszkoreit: Genial estar aquí. Gracias por tenerme.

Vijay Pande: Especialmente dado que tiene una historia tan fascinante como científico informático, emprendedor y fundador, me encantaría que nos guíe a través de su carrera profesional, comenzando donde quiera, pero lo que lo llevó a Google Brain es probablemente un buen lugar para comenzar. .

Jakob Uszkoreit: Recuerdo hasta cierto punto que me encontré con este problema del aprendizaje automático, tal vez en el sentido más amplio, [y] la comprensión del lenguaje, algo más específico, como un problema familiar. Así que mi padre es informático y lingüista computacional y, ya sabes, cosas como las máquinas de Turing que crecían no eran necesariamente conceptos completamente extraños desde el principio.

Vijay Pande: Sí, parece que podría haber sido una conversación en la mesa de la cena, de hecho.

Jakob Uszkoreit: Eran conversaciones de sobremesa. Y así, especialmente los autómatas finitos, y cómo se relacionan realmente con las máquinas expendedoras, eran, ya sabes, temas comunes. Cuanto mayor me hacía, más quería asegurarme de que realmente terminaría haciendo algo diferente. Así que terminé buscando un poco en matemáticas puras y áreas relacionadas allí. [Yo] realmente me centré bastante en la optimización, en los algoritmos de optimización, los algoritmos en general, la teoría de la complejidad más amplia, antes de darme cuenta de que tal vez eso no era lo más práctico y lo más aplicable, que, ya sabes, se ha convertido en un hilo rojo a lo largo de mi carrera. Y luego, literalmente, tropezar con una pasantía de Google en 2005.

Me dieron algunas opciones diferentes [en cuanto a] qué tipo de proyectos de investigación unirme, [y] entre ellos había diferentes esfuerzos de visión por computadora, pero también el proyecto de traducción automática que básicamente se convirtió en Google Translate. Justo en ese momento, o un poco antes de eso, [Translate] lanzó su primer producto que realmente funcionaba con los sistemas internos de Google que se desarrollaron y, en cierto sentido, para mi consternación, resulta que Google Translate en la época tenía, con mucho, los problemas de algoritmos a gran escala más interesantes.

En ese momento, fue realmente interesante verlo, porque lo que me convenció de cancelar mi doctorado y regresar a Google después de esa pasantía fue que se hizo evidente durante mi tiempo allí que si querías trabajar en algo en aprendizaje automático que no solo era interesante y, digamos intelectual y científicamente, emocionante, desafiante y estimulante, sino que también tenía grandes esperanzas de mover la aguja de inmediato en la industria y en los productos. Realmente, en esa época, no había muchos lugares en el mundo. Y ciertamente no eran laboratorios académicos en ese momento, sino lugares como Google. Y Google allí y entonces estuvo realmente muy a la vanguardia de esto. Entonces, ya sabes, en ese momento pensé que era increíble ejecutar mis primeros algoritmos de agrupación en clústeres a gran escala en mil máquinas, y era absolutamente imposible hacerlo en otro lugar.

Vijay Pande: Cuando hablas con nuestros colegas senior, hay mucho romanticismo del apogeo de Bell Labs, y siempre me he preguntado si Google Brain puede ser una de las variantes más cercanas en la actualidad. ¿Cómo era el ambiente?

Jakob Uszkoreit: Así que creo que en realidad entre ese momento y cuando realmente comenzó Google Brain, que fue unos cinco años después, hubo un cambio significativo. Antes de que Brain and Translate comenzara, estaba mucho más impulsado por productos que realmente marcaban la diferencia de lo que creo que era Bell Labs. Y teníamos un buen número de alumnos de Bell Labs, por supuesto, entre nosotros, pero estaba mucho más motivado por la aplicabilidad directa.

Lo que para mí fue realmente increíble de presenciar, cómo la traducción automática pasó [de algo que] era bueno para reírse en una fiesta, literalmente. Si te preguntaran, ¿dónde trabajas? Y dijiste, Google. Y luego dijeron, ¿qué haces ahí? Y quedaron impresionados al principio. Y luego dijiste, oh, trabajo en Google Translate. Y luego se rieron y preguntaron, ¿funcionará esto alguna vez? No me parece. Pero luego, al mismo tiempo, diría que la ola de aprendizaje automático, la ola renacentista del aprendizaje automático anterior al aprendizaje profundo, comenzó a estancarse. Sabes, el aprendizaje profundo era algo que había hecho anteriormente en la escuela y me gustaba, pero no era algo que realmente pudieras aplicar en esos días.

Vijay Pande: Sí, especialmente porque no tenías la escala en la academia para hacer los cálculos que necesitabas hacer.

Jakob Uszkoreit: Ciertamente no en la academia, pero incluso en Google. Aunque en ese momento, en Translate, en realidad, la característica distintiva más interesante era, diría, que realmente creíamos en el poder absoluto de los datos al final del día.

Así que estábamos tratando de no hacer algoritmos más complicados y sofisticados, sino simplificarlos y escalarlos tanto como fuera posible y luego permitirles entrenar con más y más datos. Pero acabamos de tocar un techo allí. Las simplificaciones que había que hacer para escalarlos a lo que era en ese momento la escala de Google, ese era realmente nuestro objetivo. Pero luego, y ese fue uno de esos movimientos de péndulo, volviendo atrás, fuera de la academia, un grupo de personas con un montón de GPU: el aprendizaje profundo regresó en cierto sentido con una venganza. Y de repente el entorno se adaptó, porque no estaba claro cuál sería el camino directo a escala hacia la producción.

Y así, todo el entorno pasó de estar más orientado a aplicaciones y productos a algo que al menos se sintió durante algunos años, mucho más académico. Todavía es un poco diferente a los laboratorios académicos porque podríamos permitirnos muchas más GPU, pero mucho más en línea, en cierto sentido, con esta idea de [ser] impulsado por publicaciones, impulsado por saltos en lugar de pasos. [Se] convirtió en un [entorno] muy, muy productivo, y realmente sorprendente, pero mucho más abierto.

La atención es todo lo que necesitas

Vijay Pande: Bueno, ya sabes, hablando de publicaciones, un lugar natural para pensar es cuando tú y el equipo publicaron Attention is All You Need. Y, ya sabes, ese ha sido un documento fundamental para gran parte de la IA generativa desde que fue cuando se presentó por primera vez el algoritmo del transformador.

Jakob Uszkoreit: Dos años antes de publicar ese documento, nos dimos cuenta [que] lo que entonces era lo más avanzado para problemas como la traducción automática, o [lo que] estaba emergiendo como lo más avanzado, es decir, basado en LSTM o RNN , Seq2Seq en general como paradigma de entrenamiento y como configuración, pero también como arquitectura de red, tenía problemas increíbles incluso en las GPU más modernas en ese momento, cuando se trataba de escalar en términos de datos.

Por ejemplo, el primer sistema de traducción automática neuronal que lanzó Google, GNMT, en realidad, que yo sepa, nunca se entrenó realmente en todos los datos de entrenamiento que teníamos disponibles, que habíamos extraído previamente para los sistemas estadísticos basados ​​​​en frases. Y eso se debió a que los algoritmos simplemente no escalaron bien en términos de la cantidad de datos. Entonces, para resumir, en ese momento no buscábamos la traducción automática, sino problemas en los que, internamente en Google, teníamos cantidades aún mayores de datos de capacitación disponibles. Así que estos fueron problemas que surgieron de la búsqueda, donde tienes básicamente otros tres o cuatro órdenes de magnitud. Sabes, ahora ya no hay miles de millones de palabras, sino trillones fácilmente, y de repente nos encontramos con este patrón en el que las redes simples de avance, a pesar de que hicieron suposiciones simplificadoras ridículas como, es solo una bolsa de palabras, o es solo una bolsa de bigramas , y los promedias y los envías a través de un gran MNLP, en realidad superaron a los RNN y LSTM, al menos cuando se entrenaron con más datos.

[Y eran] n-veces más rápidos, fácilmente 10, 20 veces más rápidos, para entrenar. Y así podrías entrenarlos con mucha más información. En algunos casos, [eran] cien veces más rápidos de entrenar. Y así seguimos consistentemente terminando con modelos que eran más simples y que no podían expresar o capturar ciertos fenómenos que sabemos que son definitivamente comunes en el lenguaje.
Y, sin embargo, ya sabes, en resumen, eran más baratos de entrenar y se desempeñaron mejor.

Vijay Pande: Vamos a dar un ejemplo para las personas que no están familiarizadas. Entonces, como una bolsa de palabras, si digo, muéstrame todos los restaurantes cercanos excepto el italiano, te mostrará todos los restaurantes italianos, ¿verdad?

Jakob Uszkoreit: Exactamente. De hecho, lo que dijiste probablemente se pueda reordenar para mostrarme todos los restaurantes italianos excepto los cercanos. Es solo una sopa de palabras y puedes reordenarla en algo que definitivamente signifique algo diferente.

Vijay Pande: Sí.

Jakob Uszkoreit: Y luego te aproximas a la estructura y a los fenómenos más globales introduciendo bigramas. Así que básicamente grupos de dos palabras consecutivas y cosas así. Pero está claro que, ciertamente en idiomas como el alemán, donde básicamente puedes poner el verbo al final de una oración...

Vijay Pande: Y cambia todo el significado, ¿verdad?

Jakob Uszkoreit: Cambia todo el significado, exactamente, sí. No importa cuál sea el tamaño de sus n-gramas, o sus pequeños grupos de palabras, al final no tendrá éxito. Y nos quedó claro que tiene que haber una forma diferente que no requiera la recurrencia en longitud de la RNN, o la recurrencia en secuencia de, digamos palabras o píxeles, pero que en realidad procese las entradas y salidas de una manera más paralela y realmente en última instancia, se adapta a las fortalezas del hardware acelerador moderno.

Vijay Pande: Piénselo, como una bolsa de palabras son palabras en orden aleatorio. LSTM, o memoria a corto plazo, tal vez te dé algún tipo de [capacidad para] mirar [hacia] el pasado un poco, ¿verdad? Pero Transformers hace algo radicalmente diferente. ¿Cómo lleva Transformers eso al siguiente nivel?

Jakob Uszkoreit: Siempre hay dos formas de ver esto. Una es a través de la lente de la eficiencia, pero la otra forma que quizás sea un poco más intuitiva es mirarlo en términos de, ya sabes, cuánto contexto puedes mantener. Y como dijiste, las LSTM, o las redes neuronales recurrentes en general, se mueven a través de sus entradas paso a paso, en términos generales, y aunque, en teoría, pueden mantener ventanas de contexto arbitrariamente largas en las entradas, el pasado, lo que Lo que sucede en la práctica es que en realidad es muy difícil para ellos identificar eventos, decir palabras o píxeles, que están muy distantes en el pasado y que realmente afectan el significado al final del día. Tienden a concentrarse en las cosas que están cerca.

El transformador, por otro lado, básicamente le da la vuelta y dice, no, en cada paso lo que estamos haciendo es no movernos a través de la entrada. En cada paso, observamos la totalidad de la entrada o la salida, y básicamente revisamos de forma incremental las representaciones de cada palabra o cada píxel o cada parche o cada cuadro de un video, ya que básicamente nos movemos, no en el espacio de entrada. , pero en el espacio de representación.

Vijay Pande: Sí.

Jakob Uszkoreit: Y esa idea tenía algunos inconvenientes en términos de cómo encajaría en el hardware moderno, pero en comparación con las redes neuronales recurrentes, tenía principalmente ventajas porque ahora no estaba obligado a calcular representaciones secuencialmente, digamos, palabra por palabra. A lo que estabas obligado es, realmente, ¿qué tan buenos deberían ser? ¿Cuántas capas de este tipo de procesamiento paralelo de todas las posiciones donde todo, donde todos los pares de palabras o todos los pares de parches de imágenes pueden interactuar de inmediato? ¿Cuántas revisiones de estas representaciones puedo realmente “permitirme”?

Vijay Pande: Lo que también es realmente interesante es que, obviamente, la inspiración es el lenguaje natural, pero que hay muchas estructuras que le gustaría ingresar donde no desea estudiarlas secuencialmente, como una secuencia de ADN, y entraremos en biología. muy pronto, que desea tener un modelo de todo.

Es un poco gracioso con el lenguaje. Cuando estoy hablando o cuando te escucho, estoy procesando cada palabra, pero eventualmente no solo tengo que convertir las palabras en significados individuales, sino que tengo que desarrollar esta representación. ¿Sí? Ojalá pudiéramos hacerlo como lo hacen los transformadores. Y tal vez ese sea el truco es que los LSTM están más cerca de la forma en que lo hacemos los humanos, y los transformadores son tal vez la forma en que deberíamos hacerlo, o me gustaría que pudiéramos hacerlo.

Jakob Uszkoreit: Superficialmente, creo que eso es cierto, aunque al final del día, los argumentos introspectivos como estos son sutiles y engañosos.

Entonces, supongo que muchos de nosotros conocemos este fenómeno en el que estás gritando o gritando con alguien que intenta comunicar algo al otro lado de una calle concurrida. Entonces escuchas algo que dicen, y no es una secuencia corta de palabras, y básicamente no entendiste nada. Pero luego, como medio segundo después, de repente entendiste la oración completa. En realidad, sugiere el hecho de que, si bien nos vemos obligados a escribir y pronunciar el lenguaje de manera secuencial, solo por la flecha del tiempo, no está tan claro que nuestra comprensión más profunda realmente funcione de esa manera secuencial.

Construyendo un equipo

Vijay Pande: Si alguien estudia, aunque solo sea el documento Atención es todo lo que necesita, o cómo funciona un transformador, hay muchas partes en él. Y parece que probablemente ahora haya superado el punto en el que una persona podría hacer ese trabajo de manera efectiva por sí misma en un corto período de tiempo.

Jakob Uszkoreit: Absolutamente.

Vijay Pande: Así que ahora realmente necesitas un equipo de personas para hacer este tipo de cosas. ¿Cuál es la sociología de eso? ¿Cómo surge algo así?

Jakob Uszkoreit: Personalmente, creo que este caso en particular es un ejemplo realmente maravilloso de algo que se ajusta excepcionalmente bien a un enfoque más, digamos, industrial de la investigación científica. Porque tienes toda la razón. Esta no fue la gran chispa de imaginación y creatividad que lo desencadena todo.

Fue realmente un montón de contribuciones que fueron todas necesarias, en última instancia. Tener un entorno, una biblioteca, que luego también fue de código abierto, con el nombre de Tensor2Tensor, que en realidad incluía implementaciones. Y no cualquier implementación, sino implementaciones excepcionalmente buenas, implementaciones rápidas de todo tipo de trucos de aprendizaje profundo.
Pero también todo el camino hasta estos mecanismos de atención que surgieron de publicaciones anteriores, como el modelo de atención descomponible [que se] publicó antes, pero luego se combinaron con mejoras e innovaciones, invenciones en torno a los optimizadores. Creo que no encontrará personas que realmente se encuentren entre los principales expertos mundiales en todos estos aspectos simultáneamente y que también sientan una pasión similar por todos estos aspectos.

Vijay Pande: Y especialmente está la idea inicial, está la implementación de la misma, está la escala de la misma. Alcanzar ese tipo de escala en cualquier otro lugar que no sea una gran empresa, en este momento, probablemente no sea factible solo por el costo.

Jakob Uszkoreit: Creo que, en realidad, tal vez el aspecto de la gran empresa no es tan crucial.

Vijay Pande: ¿Sí?

Jakob Uszkoreit: El aspecto de la empresa es uno de los que valoraría más. La gran empresa ciertamente no está de más si necesita miles y miles de TPU o GPU o lo que sea. Los bolsillos profundos nunca duelen para este tipo de cosas. Pero al mismo tiempo, creo que la estructura de incentivos en torno a este tipo de investigación exploratoria en la industria es mucho más adecuada para este tipo de proyectos. Y creo que en realidad es algo que estamos viendo, mirando proyectos de IA generativa en todos los ámbitos.

Vijay Pande: Sí. Y a tu punto, podría ser una startup.

Jakob Uszkoreit: Definitivamente podría ser una startup. Y creo que ahora estamos viendo que el uso de hardware acelerador se está volviendo al menos más asequible. Y hay nuevas empresas que compiten mucho en lo que respecta a la IA generativa dirigida a la generación de imágenes o de texto.

Saltando a las ciencias de la vida

Vijay Pande: Me encantaría hacer la transición a lo que estás haciendo ahora. Usted es el director ejecutivo de Inceptivo, una empresa que aplica la IA a la biología del ARN para la terapéutica del ARN. ¿Cómo hizo su transición a las ciencias de la vida? Superficialmente, hablar de modelos de lenguaje alrededor de la [mesa] de la cena y luego alrededor de la cafetería de Google... parece que eso podría ser un salto a la próxima generación de terapias. ¿Cómo surgió todo eso?

Jakob Uszkoreit: No podría estar mas de acuerdo. Es una experiencia de aprendizaje increíble, desde mi punto de vista. Desde hace bastante tiempo, la biología me pareció un problema en el que no parece inconcebible que haya límites en cuanto a lo lejos que podemos llegar en términos de, por ejemplo, desarrollo de fármacos y diseño directo con la biología tradicional como la columna vertebral de cómo diseñar, o descubrir métodos para diseñar, las drogas del futuro.

Parece que el aprendizaje profundo, en particular, a escala es, por varias razones, una herramienta potencialmente muy adecuada aquí. Y una de esas razones en realidad es algo que a menudo no se anuncia necesariamente como una ventaja, que es el hecho de que es esta gran caja negra que puedes arrojar a algo. Y no es cierto que simplemente puedas tirarlo. Es algo que sí hay que saber lanzar.

Vijay Pande: Y tampoco es exactamente negro. Podemos discutir sobre eso más tarde.

Jakob Uszkoreit: Sí exactamente. Exactamente. Pero, al final del día, volviendo a la analogía con el lenguaje, nunca hemos logrado comprender y conceptualizar completamente, en ese sentido, el lenguaje en la medida en que podrías afirmar, oh, ahora iré y te lo diré. esta teoría detrás del lenguaje, y luego podrá implementar un algoritmo que lo "entienda". Nunca hemos llegado a ese punto. En cambio, tuvimos que abortar y dar un paso atrás y, en mi opinión, hasta cierto punto, admitir que ese podría no haber sido el enfoque más pragmático. En su lugar, deberíamos probar enfoques que no requieran ese nivel de comprensión conceptual. Y creo que lo mismo podría ser cierto para partes de la biología.

Usar IA para llevar la bio más lejos

Vijay Pande: Es interesante, hemos hablado de cosas como esta antes. Piensas en el siglo pasado, [que fue] en gran medida el siglo de la física y el cálculo. Hay una cierta mentalidad allí donde hay una manera de tener una simplificación muy elegante de las cosas que puede tener una sola ecuación como las ecuaciones de campo de Einstein que describen tanto, y esa es una ecuación muy simple en un lenguaje muy complejo. Ha hablado sobre cómo ese enfoque de Feynman, casi como la sociología de la física, puede no aplicarse aquí en biología, ¿verdad?

Jakob Uszkoreit: Puede que no se aplique, al menos por dos razones que puedo ver en este punto. Número uno es que hay demasiados jugadores involucrados. Y si bien es cierto que tal vez podamos reducirlo todo a la ecuación de Schrödinger y simplemente resolverlo, da la casualidad de que no solo es intratable desde el punto de vista computacional, sino que también tendríamos que saber acerca de todos estos jugadores diferentes, y actualmente no lo sabemos. . Ni siquiera cerca. Así que ese es un aspecto.

Y luego, el segundo es básicamente la intratabilidad computacional, donde la reducción, en cierto sentido, ha ido tan lejos que, si bien lo devuelve todo a una sola cosa, no nos ayuda porque nuestros enfoques computacionales básicamente usan esos fundamentos para hacer predicciones son demasiado lentos para hacer esas predicciones para sistemas lo suficientemente grandes como para realmente importar a la vida.

Vijay Pande: Sí. Por lo tanto, no es una ecuación de n cuerpos, pero todavía hay una sensación de formalismo; tal vez sea un formalismo más basado en datos o más formalismo bayesiano. ¿Cómo influye eso en lo que te gustaría hacer? ¿Cómo influye eso en la aplicación de IA y otros tipos de nuevos algoritmos?

Jakob Uszkoreit: Creo que hay un par de aspectos diferentes. Al final del día, en mi opinión, una de las grandes conclusiones de lo que estamos viendo actualmente en la IA generativa es que ya no tenemos que entrenar con datos que no solo están perfectamente limpios, sino también precisamente del dominio. y de los tipos de tareas que más tarde le gustaría abordar. Pero en cambio, en realidad podría ser más beneficioso o incluso la única forma que hemos encontrado hasta ahora para tratar de entrenar en todo lo que encuentre que esté remotamente relacionado. Y luego use la información obtenida de manera efectiva de esos datos para terminar con los llamados modelos básicos, que luego puede ajustar a todo tipo de tareas específicas utilizando cantidades mucho más pequeñas y manejables de datos más limpios.

Creo que subestimamos un poco lo que tenemos que saber sobre los fenómenos en general. Para construir un muy buen modelo de lenguaje grande, debe comprender que existe una cosa llamada Internet y tiene mucho texto. Tienes que entender bastante, en realidad, acerca de cómo encontrar este texto, qué no es texto, etc., para luego extraer básicamente de él los datos de entrenamiento que luego usas.

Creo que habrá desafíos muy directamente análogos en torno a la biología. La gran pregunta es: ¿cuáles son los experimentos que podemos escalar de tal manera que podamos observar la vida a una escala suficiente con la fidelidad suficiente, pero con mucha menos especificidad teniendo en cuenta los problemas que está tratando de resolver eventualmente, de modo que podamos básicamente tomar de eso los datos que necesitamos para comenzar a construir estos modelos básicos, que luego podemos usar, afinar y diseñar específicamente, para abordar realmente los problemas que queremos abordar.

La parte de generación de datos es sin duda una de ellas. Las arquitecturas y tener efectivamente modelos y arquitecturas de red que imiten lo que sabemos, sobre, digamos, la física subyacente, seguirán siendo una forma increíblemente poderosa de ahorrar computación y también reducir el todavía enorme apetito por los datos que estos modelos tendrán que tener. , a un nivel factible. Entonces, una cosa que creo que es realmente interesante notar es que muchas de las aplicaciones actuales de modelos, digamos transformadores, que se han encontrado para escalar bastante bien en otras modalidades, otros dominios, lenguaje, visión, generación de imágenes, etc., etc., y aplicarlos a la biología básicamente ignora el hecho de que sabemos que existe el tiempo, y que las leyes de la física, al menos hasta donde sabemos, no parecen cambiar simplemente tiempo extraordinario.

El proceso de plegamiento de una proteína, ignorando el hecho de que hay toneladas y toneladas de jugadores (acompañantes y demás) es en realidad, en cierto sentido, un problema bastante arbitrariamente separado del resto de la cinética de proteínas. Es tanto cinética como el resto de la cinética, o el resto de la vida de esa proteína, de esa molécula. Entonces, ¿por qué tratamos de entrenar modelos específicamente para uno y, al menos potencialmente, ignoramos los datos que podríamos tener sobre el otro? En este caso, quizás más específicamente, son algunos de los modelos de predicción de la estructura de proteínas que tenemos hoy, ¿ya aprenden algo sobre la cinética implícitamente debido al hecho de que lentamente comienzan a aceptar, ya sabes, la existencia del tiempo?

Desarrollo de nuevas arquitecturas.

Vijay Pande: Una de las cosas interesantes que pienso acerca de dónde se encuentra ahora es que, con algunas raras excepciones, la mayoría de las redes neuronales profundas u otros tipos de IA en biología se sienten como si estuvieran tomando algo inventado en otro lugar y llevándoselo. Como usaremos redes neuronales convolucionales para imágenes. Tal vez para moléculas pequeñas... en mi laboratorio en Stanford, usamos redes neuronales gráficas y varias redes neuronales convolucionales. Pero desarrollar realmente un algoritmo explícito para el problema biológico es bastante raro. Y siempre supuse que era porque es difícil tener las habilidades de un equipo fuerte en el dominio de la biología y en el dominio de la informática. Pero tengo curiosidad por saber tu opinión. ¿O es raro desarrollar nuevas arquitecturas en primer lugar?

Jakob Uszkoreit: Bueno, creo que, al final del día, lo que estamos viendo es que las nuevas arquitecturas, aunque están motivadas por problemas específicos, si realmente marcan la diferencia, tienden a ser aplicables en otros lugares. Eso no significa, por otro lado, que, en el camino hacia allí, elegir cuidadosamente cuáles son las aplicaciones y los dominios motivadores no supondría una gran diferencia. Y creo que ciertamente lo hace.

Siento que uno de los desafíos clave aquí es realmente que aún no estamos en un régimen en biología en el que tengamos montones y montones de datos, aunque, en comparación con lo que solíamos tener hace un tiempo, es asombroso. Pero todavía no estamos en ese régimen en el que eso es simplemente sentarse en el equivalente de la web, y podemos filtrarlo un poco, descargarlo y terminar con eso. Pero en cambio, creo que tenemos que crearlo en una medida razonablemente grande. Y eso no lo harán los expertos en aprendizaje profundo, al menos no la mayoría de ellos.

Y creo que eso tiene que suceder al unísono con la comprensión real de las peculiaridades de dichos datos, ¿no? Los tipos de ruido que encuentras allí. El hecho de que estos se crean en realidad en grupos a gran escala, experimentos de alto rendimiento, pero aún así, experimentos que se ejecutan en diferentes días por diferentes experimentadores y así sucesivamente. Y donde las personas con más experiencia en aprendizaje profundo trabajen lo suficientemente cerca de personas con experiencia en biología, aprendan lo suficiente sobre lo que sabemos sobre los fenómenos subyacentes, [ellos] básicamente se inspirarán para probar nuevos enfoques interesantes.

Vijay Pande: Bueno, me encantó cuando hablaste solo del ejemplo del documento La atención es todo lo que necesitas, sobre cómo querías conseguir este grupo diverso de personas cuyas pasiones eran, ya sabes, bastante ortogonales entre sí. Y en cierto sentido, cuando estás haciendo esto en biología y especialmente por lo que estás haciendo en Inception, también tienes que dedicar todo este trabajo a generar los datos. Y generar los datos realmente significa, para ser muy explícitos, ejecutar experimentos biológicos a escala. La parte de entrada en sí es muy costosa y muy técnica, y como dijiste, tiene muchas formas de fallar. Pero parece que estás construyendo sobre la cultura que has hecho antes y ahora son solo más expertos con diferentes pasiones que se coordinan de manera análoga.

Jakob Uszkoreit: Realmente necesito, [y] la gente necesita eso. Esta es, hasta donde puedo decir, la vía más prometedora. [Es para] no apuntar a, en cierto sentido, un modelo de tubería, donde ciertos datos en el laboratorio en el que fueron creados, dado lo mejor de nuestro conocimiento, sobre los aspectos subyacentes de la vida. Y luego comenzar a ejecutar enfoques de aprendizaje profundo existentes y luego modificarlos. Pero, en cambio, realmente tener personas que, en cierto sentido, podrían estar entre las primeras personas que realmente están trabajando en una disciplina que actualmente aún no tiene un gran nombre.

Tal vez el mínimo común denominador es la curiosidad que se extiende más allá de lo que sabes, lo que has aprendido antes y lo que tal vez has pasado haciendo la mayor parte de tu tiempo. Descubrimos que, al igual que en muchas otras áreas, lo que realmente buscamos es un conjunto de personas con antecedentes muy diversos, pero que comparten la curiosidad.

¿Hacia dónde va la IA?

Vijay Pande: ¿Dónde cree que está la IA en este momento para esos problemas más difíciles, para el diseño de medicamentos, la atención médica, etc.? ¿Qué hay que hacer? ¿Cuándo llegará?

Jakob Uszkoreit: Esperaría, y siempre es muy peligroso hacer predicciones sobre el futuro, me sorprendería mucho si dentro de los próximos tres años no empezáramos a ver un punto [de inflexión] en lo que respecta a los efectos del mundo real de aprendizaje automático, aprendizaje profundo a gran escala en el desarrollo de fármacos, diseño de fármacos. Dónde estarán exactamente primero, por supuesto, creo que muchos de ellos sucederán en torno al ARN, las terapias de ARN y las vacunas. Ciertamente, esa no será la única área afectada por esto, pero definitivamente creo que nos dirigimos al territorio del punto de inflexión.

Vijay Pande: Hiciste un punto interesante. ¿Qué tiene de diferente el ARN? Porque creo que es particularmente interesante, no solo que pasaste de Google Brain a la biología, sino que pasaste específicamente al ARN. ¿Qué te atrae del ARN, especialmente desde el punto de vista de la IA o el ML?

Jakob Uszkoreit: Una cosa que es interesante sobre el ARN es la combinación entre, como hemos visto, una aplicabilidad muy amplia, aunque todavía es limitada en el sentido de una sola indicación, pero solo mirando esta ola de procesos de aprobación que está comenzando y ha comenzado, es bastante claro que la aplicabilidad es muy, muy amplia, junto con, esto es un poco ambiguo, un problema estructuralmente simple. Y es estructuralmente simple no en la oración que la predicción estructural del ARN es simple, pero es estructuralmente simple en el sentido de que es un biopolímero con cuatro bases diferentes. No estamos hablando de más de 20 aminoácidos. Es algo que se puede producir con bastante eficacia.

Hay algunos desafíos allí, pero la síntesis es algo que puede escalar y está escalando rápidamente, y estas cosas realmente se unen para permitir este ciclo de retroalimentación rápido al que supongo que a menudo se alude, pero muy rara vez, al menos por lo que sé, realmente se implementa. e implementable al final del día.

Vijay Pande: Sí, podría decirse que probablemente sea un ciclo de retroalimentación más rápido, especialmente por la forma en que lo persigues.

Jakob Uszkoreit: Sí. Y dado que creo que necesitamos crear la mayor parte de los datos para entrenar los modelos que estamos entrenando, realmente estamos invirtiendo en Inception para crear dichos datos a escala. Y diría que una escala relativamente masiva, dado que el ARN parece ser, con mucho, la mejor combinación cuando se trata de la simplicidad estructural, pero también de la escalabilidad de la síntesis y esta experimentación. Hay un gran potencial aquí que hasta ahora no ha sido explotado.

Vijay Pande: Sí, y creo que potencialmente la capacidad de tener estos ciclos rápidos, tanto preclínicos como, por lo tanto, llegar a la clínica más rápido y estar en la clínica [por un período de tiempo más corto].

Jakob Uszkoreit: Absolutamente. Eso es realmente lo que estamos esperando. También estamos viendo indicios tempranos que indican que ese podría ser el caso y que, por supuesto, estamos muy, muy emocionados.

Vijay Pande: Pensar en los últimos 10 años ha sido increíble, ya sabes, desde 2012 hasta ahora. ¿Cómo crees que serán los próximos 10 años? ¿Dónde crees que estaremos dentro de 10 años con la IA? ¿En general o especialmente para bio?

Jakob Uszkoreit: Creo que si es realmente cierto que estamos entrando en este territorio de punto de inflexión, cuando miremos hacia atrás dentro de 10 años, parecerá una revolución al menos tan grande y expansiva como la que creemos que hemos visto en el últimos 10 años. Por lo menos. Ahora creo que habrá una diferencia crucial, y es que no está tan claro exactamente en qué medida la revolución que hemos presenciado en los últimos 10 años afecta la vida de todos. Hay ciertas áreas, motores de búsqueda o escritura asistida, etc., donde es evidente, pero no está claro cuán ampliamente aplicable es esta revolución. Yo creo que lo es mucho, pero aún no lo vemos. Creo que la revolución que vamos a ver específicamente en torno a la bio en los próximos 10 años, o que vamos a mirar hacia atrás dentro de 10 años, realmente diferirá en términos de su profundo impacto en todas nuestras vidas. .

Incluso dejando de lado las aplicaciones de diseño y descubrimiento de fármacos, existen aplicaciones tan asombrosas en y alrededor del descubrimiento científico donde ahora podría imaginar que, con una interfaz web, básicamente puede tener moléculas diseñadas que en ciertos organismos tienen una probabilidad muy alta de ir a responder ciertas preguntas, produciendo lecturas más confiables que, ya sabes, lo que antes podías obtener. Entonces, incluso dejando de lado todo el tipo de complejidad de cómo esto afectará, en última instancia, a los pacientes y a todos, creo que está bastante claro que estas herramientas acelerarán rápidamente campos como la biología.

Vijay Pande: Ese parece un gran lugar para terminarlo. Muchas gracias, Jakob, por unirte a Bio Eats World.

Jakob Uszkoreit: ¡Muchas gracias por invitarme.

Olivia Webb: Gracias por unirte a Bio Eats World. Bio Eats World es presentado y producido por mí, Olivia Webb, con la ayuda del equipo de Bio + Health en a16z y editado por Phil Hegseth. Bio Eats World es parte de la red de podcasts a16z.

Si tiene preguntas sobre el episodio o desea sugerir temas para un episodio futuro, envíe un correo electrónico Por último, pero no menos importante, si está disfrutando de Bio Eats World, déjenos una calificación y una reseña donde quiera que escuche podcasts.

Tenga en cuenta que el contenido aquí solo tiene fines informativos, no debe tomarse como asesoramiento legal, comercial, impositivo o de inversión, ni debe usarse para evaluar ninguna inversión o valor, y no está dirigido a ningún inversionista o posible inversionista en ningún fondo a16z. . Para obtener más detalles, consulte a16z.com/disclosures.

***

Las opiniones expresadas aquí son las del personal individual de AH Capital Management, LLC ("a16z") citado y no son las opiniones de a16z o sus afiliados. Cierta información contenida aquí se ha obtenido de fuentes de terceros, incluso de compañías de cartera de fondos administrados por a16z. Si bien se tomó de fuentes que se consideran confiables, a16z no ha verificado de forma independiente dicha información y no hace declaraciones sobre la precisión duradera de la información o su idoneidad para una situación determinada. Además, este contenido puede incluir anuncios de terceros; a16z no ha revisado dichos anuncios y no respalda ningún contenido publicitario incluido en ellos.

Este contenido se proporciona solo con fines informativos y no debe considerarse como asesoramiento legal, comercial, de inversión o fiscal. Debe consultar a sus propios asesores sobre estos asuntos. Las referencias a cualquier valor o activo digital son solo para fines ilustrativos y no constituyen una recomendación de inversión ni una oferta para proporcionar servicios de asesoramiento de inversión. Además, este contenido no está dirigido ni destinado a ser utilizado por ningún inversionista o posible inversionista, y bajo ninguna circunstancia se puede confiar en él al tomar una decisión de invertir en cualquier fondo administrado por a16z. (Una oferta para invertir en un fondo a16z se realizará solo mediante el memorando de colocación privada, el acuerdo de suscripción y otra documentación relevante de dicho fondo y debe leerse en su totalidad). Cualquier inversión o compañía de cartera mencionada, referida o descritos no son representativos de todas las inversiones en vehículos administrados por a16z, y no puede garantizarse que las inversiones serán rentables o que otras inversiones realizadas en el futuro tendrán características o resultados similares. Una lista de inversiones realizadas por fondos administrados por Andreessen Horowitz (excluyendo inversiones para las cuales el emisor no ha otorgado permiso para que a16z divulgue públicamente, así como inversiones no anunciadas en activos digitales que cotizan en bolsa) está disponible en https://a16z.com/investments /.

Los cuadros y gráficos proporcionados en el interior tienen únicamente fines informativos y no se debe confiar en ellos al tomar cualquier decisión de inversión. El rendimiento pasado no es indicativo de resultados futuros. El contenido habla sólo a partir de la fecha indicada. Todas las proyecciones, estimaciones, pronósticos, objetivos, perspectivas y/u opiniones expresadas en estos materiales están sujetas a cambios sin previo aviso y pueden diferir o ser contrarias a las opiniones expresadas por otros. Consulte https://a16z.com/disclosures para obtener información adicional importante.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
• Fuente: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/