Bio Eats World : utiliser l'IA pour aller plus loin dans le bio

Bio Eats World : utiliser l'IA pour aller plus loin dans le bio

Horodatage: 11 janvier 2023 2h35
Nœud source: 1896777

Dans cet épisode, Vijay Pande s'entretient avec Jakob Uszkoreit, le cofondateur et PDG d'Inceptive. Ensemble, ils discutent de tout ce qui concerne l'IA.

Nous publions la transcription complète ci-dessous, au cas où vous voudriez lire.

***

Olivia Webb : Bonjour et bienvenue sur Bio Eats World, un podcast à l'intersection de la bio, de la santé et de la technologie. Je suis Olivia Webb, la responsable éditoriale de Bio + Health chez a16z. Dans cet épisode, nous avons discuté avec Jakob Uszkoreit, ancien de Google Brain et cofondateur d'Inceptive. Jakob est également l'un des auteurs du document de recherche séminal sur l'IA L'attention est tout ce dont vous avez besoin, que nous mettrons en lien dans les notes de l'émission. Jakob s'est entretenu avec Vijay Pande, partenaire fondateur d'a16z Bio + Health, pour parler de tout ce qui concerne l'IA : de son passage chez Google Brain, à la façon dont les humains et les ordinateurs traitent le langage, à la croyance d'Inceptive dans la promesse de l'ARN, et comment Jakob croit que nous 'entrent dans le territoire du point d'inflexion avec l'IA.

C'est un épisode que vous ne voulez pas manquer, mais c'est aussi une discussion de niveau universitaire sur l'IA, nous publierons donc une transcription à côté de l'épisode. Commençons.

Algorithmes applicables

Vijay Pandé : Alors Jakob, merci beaucoup d'être sur Bio Eats World. C'est super de vous avoir.

Jacob Uszkoreit : Super d'être ici. Merci de me recevoir.

Vijay Pandé : D'autant plus que vous avez une histoire aussi fascinante en tant qu'informaticien, entrepreneur et fondateur, j'aimerais que vous nous expliquiez votre parcours professionnel, en commençant où vous voulez, mais ce qui vous a amené à Google Brain est probablement un bon point de départ .

Jacob Uszkoreit : Je me souviens dans une certaine mesure vraiment, euh, d'avoir rencontré ce problème d'apprentissage automatique, peut-être au sens le plus large, [et] de compréhension du langage, un peu plus spécifiquement, comme un problème familial. Donc, mon père est informaticien et linguiste informatique et, vous savez, en grandissant, des choses comme les machines de Turing n'étaient pas nécessairement des concepts entièrement étrangers assez tôt.

Vijay Pandé : Ouais, on dirait que ça aurait pu être une conversation à table, en fait.

Jacob Uszkoreit : C'étaient des conversations à table. Et donc, en particulier les automates finis, et leur relation avec les distributeurs automatiques, étaient, vous savez, des sujets courants. Plus je vieillissais, plus je voulais m'assurer que je finirais par faire quelque chose de différent. Et donc j'ai fini par me pencher un peu sur les mathématiques pures et les domaines connexes là-bas. [Je] me suis vraiment concentré sur l'optimisation, sur les algorithmes d'optimisation, sur les algorithmes en général, plus largement sur la théorie de la complexité, avant de réaliser que ce n'était peut-être pas la chose la plus pratique et la plus applicable, qui, vous savez, est en quelque sorte devenue un peu un fil rouge tout au long de ma carrière. Et puis littéralement trébucher sur un stage Google en 2005.

On m'a donné quelques options différentes [quant à] le type de projets de recherche à rejoindre, [et] parmi eux se trouvaient différents efforts de vision par ordinateur, mais aussi le projet de traduction automatique qui est devenu Google Translate. Juste à cette époque, ou juste un peu avant cela, [Translate] a lancé son premier produit qui était vraiment alimenté par les systèmes internes de Google qui ont été développés et dans un certain sens, à ma grande consternation, il s'avère que Google Translate à l'époque avait de loin les problèmes d'algorithmes à grande échelle les plus intéressants.

À l'époque, c'était vraiment intéressant à voir, parce que ce qui m'a convaincu d'arrêter ma thèse et de revenir chez Google après ce stage, c'est qu'il est devenu évident pendant mon séjour là-bas que si vous vouliez travailler sur quelque chose dans un apprentissage automatique qui n'était pas seulement intéressant et disons intellectuellement et scientifiquement, excitant, stimulant et stimulant, mais qui avait aussi de très grands espoirs de faire bouger l'aiguille tout de suite dans l'industrie et dans les produits. Il n'y avait vraiment, à cette époque, pas beaucoup d'endroits dans le monde. Et ce n'étaient certainement pas des laboratoires universitaires à l'époque, mais des endroits comme Google. Et Google, à ce moment-là, était en fait très à l'avant-garde de cela. Et donc, vous savez, à l'époque, je pensais que c'était incroyable d'exécuter mes premiers algorithmes de clustering à grande échelle sur un millier de machines, et c'était juste, absolument impossible de le faire ailleurs.

Vijay Pandé : Lorsque vous parlez à nos collègues seniors, il y a beaucoup de romantisme de l'apogée des Bell Labs, et je me suis toujours demandé si Google Brain pourrait être l'une des variantes les plus proches aujourd'hui. Comment était l'environnement ?

Jacob Uszkoreit : J'ai donc l'impression qu'entre ce moment-là et le moment où Google Brain a vraiment démarré, soit environ cinq ans plus tard, il y a eu un changement significatif. Avant que Brain and Translate ne démarre, il était beaucoup plus motivé par des produits qui faisaient vraiment la différence que, je pense, Bell Labs. Et nous avions un bon nombre d'anciens des Bell Labs, bien sûr, parmi nous, mais c'était beaucoup plus motivé par l'applicabilité directe.

Ce qui pour moi était en fait vraiment incroyable à voir, comment la traduction automatique s'est transformée [de quelque chose qui] était bonne pour rire lors d'une fête, littéralement. S'ils te demandent, où travailles-tu ? Et vous avez dit, Google. Et puis ils ont dit, qu'est-ce que tu fais là-bas? Et ils ont été impressionnés au début. Et puis tu as dit, oh, je travaille sur Google Traduction. Et puis ils ont ri et ont demandé, est-ce que ça marchera un jour ? Je ne pense pas. Mais en même temps, je dirais que la vague d'apprentissage automatique, la vague de renaissance de l'apprentissage automatique pré-deep learning, a commencé à plafonner. Vous savez, l'apprentissage en profondeur était quelque chose que j'avais fait auparavant à l'école, et j'aimais ça, mais ce n'était pas quelque chose que vous pouviez vraiment appliquer à cette époque.

Vijay Pandé : Ouais, surtout parce que vous n'aviez pas l'échelle dans le milieu universitaire pour faire les calculs dont vous auriez besoin.

Jacob Uszkoreit : Certainement pas dans le milieu universitaire, mais même chez Google. Même si à l'époque, dans Translate, en fait, la particularité la plus intéressante était, je dirais, qu'on croyait vraiment au pouvoir absolu des données au bout du compte.

Nous essayions donc de ne pas créer d'algorithmes plus compliqués et plus sophistiqués, mais plutôt de les simplifier et de les mettre à l'échelle autant que possible, puis de leur permettre de s'entraîner sur de plus en plus de données. Mais nous venons d'atteindre un plafond là-bas. Les simplifications que vous avez dû faire pour les mettre à l'échelle de ce qui était à l'époque l'échelle de Google, c'était vraiment notre objectif. Mais ensuite, et c'était en quelque sorte l'un de ces mouvements de balancier, un retour en arrière, hors du milieu universitaire, un groupe de gens avec un groupe de GPU - l'apprentissage en profondeur est revenu dans un certain sens avec une vengeance. Et soudain, l'environnement s'est adapté, car il n'était pas clair quel serait le chemin direct à grande échelle vers la production.

Et ainsi, l'ensemble de l'environnement est passé d'une approche plus orientée vers les applications et les produits à quelque chose qui, pendant quelques années au moins, a semblé beaucoup plus académique. C'est encore un peu différent des laboratoires universitaires parce que nous pourrions nous permettre beaucoup plus de GPU, mais beaucoup plus en ligne, dans un certain sens, avec cette idée d'être guidé par des publications, motivé par des sauts plutôt que par des étapes. [Cela] s'est transformé en un [environnement] très, très productif – et vraiment incroyable – mais beaucoup plus ouvert.

L'attention est tout ce dont vous avez besoin

Vijay Pandé : Eh bien, vous savez, en parlant de publications, il est naturel de penser au moment où vous et l'équipe avez publié L'attention est tout ce dont vous avez besoin. Et, vous savez, cela a été un article si important pour une grande partie de l'IA générative depuis que l'algorithme du transformateur a été défini pour la première fois.

Jacob Uszkoreit : Deux ans avant de publier cet article, nous avons réalisé [que] ce qui était alors à la pointe de la technologie pour des problèmes comme la traduction automatique, ou [ce qui] émergeait comme étant à la pointe de la technologie, à savoir LSTM ou basé sur RNN , Seq2Seq dans son ensemble en tant que paradigme de formation et en tant que configuration, mais aussi en tant qu'architecture de réseau, avait des problèmes incroyables, même sur les GPU les plus modernes à l'époque, en ce qui concerne la mise à l'échelle en termes de données.

Par exemple, le tout premier système de traduction automatique neuronale que Google a lancé, GNMT, n'a en fait, à ma connaissance, jamais vraiment été formé sur toutes les données de formation dont nous disposions, que nous avions précédemment extraites pour les systèmes statistiques basés sur des phrases. Et c'était parce que les algorithmes n'évoluaient tout simplement pas bien en termes de quantité de données. Donc, pour faire court, nous ne nous intéressions pas, à l'époque, à la traduction automatique, mais à des problèmes pour lesquels, en interne chez Google, nous disposions de quantités encore plus importantes de données de formation. Ce sont donc des problèmes qui sont ressortis de la recherche, où vous avez essentiellement trois ou quatre ordres de grandeur supplémentaires. Vous savez, il n'y a plus maintenant des milliards de mots, mais des billions facilement, et tout à coup nous avons rencontré ce schéma où de simples réseaux à anticipation, même s'ils faisaient des hypothèses simplificatrices ridicules telles que, c'est juste un sac de mots, ou c'est juste un sac de bigrammes , et vous les faites en quelque sorte en moyenne et vous les envoyez via un grand MNLP, ils ont en fait surpassé les RNN et les LSTM, du moins lorsqu'ils sont formés sur plus de données.

[Et ils étaient] n fois plus rapides, facilement 10, 20 fois plus rapides, pour s'entraîner. Et ainsi vous pourriez les former sur beaucoup plus de données. Dans certains cas, [ils étaient] cent fois plus rapides à s'entraîner. Et donc, nous nous retrouvions constamment avec des modèles qui étaient plus simples et qui ne pouvaient pas exprimer ou capturer certains phénomènes dont nous savons qu'ils sont définitivement courants dans le langage.
Et pourtant, vous savez, en fin de compte, ils coûtaient moins cher à former et [ils] obtenaient de meilleurs résultats.

Vijay Pandé : Donnons juste un exemple pour les personnes qui ne connaissent pas. Donc, pour un sac de mots, si je disais, montrez-moi tous les restaurants à proximité sauf l'italien, ça vous montrera tous les restaurants italiens, n'est-ce pas ?

Jacob Uszkoreit : Exactement. En fait, ce que vous avez dit peut probablement être réorganisé, pour me montrer tous les restaurants italiens sauf à proximité. C'est juste une soupe de mots et vous pouvez la réorganiser en quelque chose qui signifie définitivement quelque chose de différent.

Vijay Pandé : Oui.

Jacob Uszkoreit : Et puis vous obtenez approximativement la structure et les phénomènes plus globaux en mettant des bigrammes. Donc, fondamentalement, des groupes de deux mots consécutifs et des choses comme ça. Mais il est clair que, certainement dans des langues comme l'allemand, où vous pouvez essentiellement mettre le verbe à la toute fin d'une phrase…

Vijay Pandé : Et ça change tout le sens, non ?

Jacob Uszkoreit : Change tout sens, exactement, oui. Quelle que soit la taille de vos n-grammes - ou de vos petits groupes de mots -, vous ne réussirez finalement pas. Et il est devenu clair pour nous qu'il doit y avoir une manière différente qui ne nécessite pas la récurrence du RNN en longueur, ou la récurrence en séquence, disons des mots ou des pixels, mais qui traite en fait les entrées et les sorties de manière plus parallèle et vraiment finalement répondre aux points forts du matériel d'accélérateur moderne.

Vijay Pandé : Pensez-y, comme un sac de mots est des mots dans un ordre aléatoire. LSTM, ou mémoire longue à court terme, vous donne peut-être une sorte de [capacité à] regarder un peu [dans le] passé, n'est-ce pas ? Mais les transformateurs font quelque chose de radicalement différent. Comment les transformateurs font-ils passer cela au niveau supérieur ?

Jacob Uszkoreit : Il y a toujours deux façons de voir cela. L'un est à travers le prisme de l'efficacité, mais l'autre façon qui est peut-être un peu plus intuitive est de le regarder en termes de, vous savez, combien de contexte pouvez-vous maintenir. Et comme vous l'avez dit, les LSTM, ou les réseaux de neurones récurrents en général, se déplacent à travers leurs entrées étape par étape, en gros, et bien qu'ils soient, en théorie, capables de maintenir des fenêtres de contexte arbitrairement longues dans les entrées - le passé - quoi se produit en pratique, c'est qu'il leur est en fait très difficile d'identifier des événements, disons des mots ou des pixels, qui sont très éloignés dans le passé et qui affectent vraiment le sens à la fin de la journée. Ils ont tendance à se concentrer sur les choses qui se trouvent à proximité.

Le transformateur, d'autre part, renverse simplement cela et dit, non, à chaque étape, ce que nous faisons ne se déplace pas à travers l'entrée. À chaque étape, nous examinons l'intégralité de l'entrée ou de la sortie, et nous révisons essentiellement progressivement les représentations de chaque mot ou de chaque pixel ou de chaque patch ou de chaque image d'une vidéo, au fur et à mesure que nous nous déplaçons, pas dans l'espace d'entrée , mais dans l'espace de représentation.

Vijay Pandé : Oui.

Jacob Uszkoreit : Et cette idée présentait certains inconvénients en termes d'adaptation au matériel moderne, mais par rapport aux réseaux de neurones récurrents, elle présentait principalement des avantages car vous n'étiez plus obligé de calculer séquentiellement des représentations, disons, mot pour mot. Ce par quoi vous étiez lié, c'est, vraiment, à quel point devraient-ils être bons ? Combien de couches de ce genre de traitement parallèle de toutes les positions où tout, où toutes les paires de mots ou toutes les paires de patchs d'images peuvent interagir tout de suite ? Combien de révisions de ces représentations puis-je réellement « me permettre » ?

Vijay Pandé : Ce qui est vraiment intéressant aussi, c'est qu'évidemment l'inspiration est le langage naturel, mais qu'il y a de nombreuses structures que vous voudriez saisir où vous ne voudriez pas simplement l'étudier de manière séquentielle, comme une séquence d'ADN - et nous aborderons la biologie assez tôt - que vous vouliez avoir un modèle de l'ensemble.

C'est assez drôle avec le langage. Quand je parle ou quand je vous écoute, je traite chaque mot, mais finalement je dois non seulement symboliser les mots dans des significations individuelles, mais je dois en quelque sorte développer cette représentation. Oui? J'aimerais que nous puissions le faire comme le font les transformateurs. Et peut-être que c'est le truc, c'est que les LSTM sont plus proches de la façon dont nous, les humains, le faisons, et les transformateurs sont peut-être juste la façon dont nous devrions le faire, ou j'aimerais que nous puissions le faire.

Jacob Uszkoreit : Superficiellement, je pense que c'est vrai, bien qu'en fin de compte, des arguments introspectifs comme ceux-ci sont subtils et délicats.

Donc, je suppose que beaucoup d'entre nous connaissent ce phénomène où vous criez ou hurlez avec quelqu'un qui essaie de communiquer quelque chose dans une rue animée. Et donc vous entendez quelque chose qu'ils disent, et ce n'est pas une courte séquence de mots, et vous n'avez fondamentalement rien compris. Mais une demi-seconde plus tard, vous avez soudainement compris toute la phrase. Cela fait en fait allusion au fait que même si nous sommes obligés d'écrire et de prononcer le langage de manière séquentielle - juste à cause de la flèche du temps - il n'est pas si clair que notre compréhension plus profonde fonctionne vraiment de cette manière séquentielle.

Construire une équipe

Vijay Pandé : Si quelqu'un étudie ne serait-ce que l'attention est tout ce dont vous avez besoin ou comment fonctionne un transformateur, il y a beaucoup de parties. Et il semble que cela ait probablement dépassé le point où une personne pourrait effectivement faire ce travail par elle-même en peu de temps.

Jacob Uszkoreit : Absolument.

Vijay Pandé : Alors maintenant, vous avez vraiment besoin d'une équipe de personnes pour faire ce genre de choses. Quelle est la sociologie de cela? Comment quelque chose comme ça arrive-t-il?

Jacob Uszkoreit : Ce cas particulier, je pense personnellement, est un exemple vraiment merveilleux de quelque chose qui correspond exceptionnellement bien à une approche plus, disons, industrielle de la recherche scientifique. Parce que tu as tout à fait raison. Ce n'était pas la seule grande étincelle d'imagination et de créativité qui a tout déclenché.

C'était vraiment tout un tas de contributions qui étaient toutes nécessaires, finalement. Avoir un environnement, une bibliothèque - qui plus tard était également open source, sous le nom de Tensor2Tensor - qui comprenait en fait des implémentations. Et pas n'importe quelles implémentations, mais des implémentations exceptionnellement bonnes, des implémentations rapides de toutes sortes d'astuces d'apprentissage en profondeur.
Mais aussi jusqu'à ces mécanismes d'attention qui sont sortis de publications précédentes - comme le modèle d'attention décomposable [qui a été] publié auparavant - mais qui ont ensuite été combinés avec des améliorations et des innovations, des inventions autour d'optimiseurs. Vous ne trouverez pas de gens, je pense, qui soient vraiment parmi les meilleurs experts mondiaux dans tous ces domaines simultanément et qui soient vraiment aussi passionnés par tous ces aspects.

Vijay Pandé : Et surtout il y a l'idée initiale, il y a sa mise en œuvre, il y a sa mise à l'échelle. Atteindre ce type d'échelle ailleurs que dans une grande entreprise, à l'heure actuelle, n'est probablement pas faisable uniquement à cause du coût.

Jacob Uszkoreit : Je pense qu'en fait, l'aspect de la grande entreprise n'est peut-être pas si crucial.

Vijay Pandé : Ouais?

Jacob Uszkoreit : L'aspect entreprise est celui que j'apprécierais le plus. La grande entreprise ne fait certainement pas de mal si vous avez besoin de milliers et de milliers de TPU ou de GPU ou de ce que vous avez. Les poches profondes ne font jamais de mal pour ce genre de choses. Mais en même temps, je crois que la structure incitative autour de ce type de recherche exploratoire dans l'industrie est tout simplement bien mieux adaptée à ce type de projets. Et je pense que c'est en fait quelque chose que nous voyons, en examinant les projets d'IA générative à tous les niveaux.

Vijay Pandé : Ouais. Et à votre avis, il pourrait s'agir d'une startup.

Jacob Uszkoreit : Il pourrait certainement s'agir d'une startup. Et je pense que nous voyons maintenant que l'utilisation de matériel d'accélérateur devient au moins plus abordable. Et il y a des startups qui sont très en concurrence en matière d'IA générative ciblée sur la génération d'images ou la génération de texte.

Passer aux sciences de la vie

Vijay Pandé : J'aimerais passer à ce que vous faites maintenant. Vous êtes le PDG d'Inceptive, une entreprise qui applique l'IA à la biologie de l'ARN pour les thérapies à base d'ARN. Comment avez-vous fait votre transition vers les sciences de la vie ? Superficiellement, parler de modèles linguistiques autour du dîner [table] puis autour de la cafétéria Google… il semble que cela pourrait être un saut vers la prochaine génération de thérapies. Comment tout cela est-il arrivé ?

Jacob Uszkoreit : Je ne pourrais pas être plus d'accord. C'est une expérience d'apprentissage incroyable, de mon côté. Depuis un certain temps maintenant, la biologie m'est apparue comme un tel problème où il ne semble pas inconcevable qu'il y ait des limites à ce que nous pouvons faire en termes, disons, de développement de médicaments et de conception directe avec la biologie traditionnelle comme épine dorsale de la façon dont nous concevoir ou découvrir des méthodes pour concevoir les médicaments du futur.

Il semble que l'apprentissage en profondeur, en particulier à grande échelle, soit, pour un tas de raisons, potentiellement un outil très approprié ici. Et l'une de ces raisons est en fait quelque chose qui n'est souvent pas nécessairement présenté comme un avantage, à savoir le fait que c'est cette grosse boîte noire que vous pouvez simplement lancer sur quelque chose. Et ce n'est pas vrai que vous pouvez simplement le jeter. C'est quelque chose qu'il faut savoir lancer.

Vijay Pandé : Et ce n'est pas tout à fait noir non plus. Nous pourrons en discuter plus tard.

Jacob Uszkoreit : Oui, exactement. Exactement. Mais, en fin de compte, pour en revenir à l'analogie avec le langage, nous n'avons jamais réussi à pleinement, dans ce sens, comprendre et conceptualiser le langage dans la mesure où vous pourriez prétendre, oh, je vais maintenant vous dire cette théorie derrière le langage, et ensuite vous pourrez implémenter un algorithme qui le "comprend". Nous n'en sommes jamais arrivés là. Au lieu de cela, nous avons dû avorter et prendre du recul et, à mon avis, dans une certaine mesure, admettre que cela n'était peut-être pas l'approche la plus pragmatique. Au lieu de cela, nous devrions essayer des approches qui ne nécessitent pas ce niveau de compréhension conceptuelle. Et je pense que la même chose pourrait être vraie pour certaines parties de la biologie.

Utiliser l'IA pour aller plus loin dans le bio

Vijay Pandé : C'est intéressant, nous avons déjà parlé de choses comme ça. Vous pensez au siècle dernier, [qui était] en grande partie le siècle de la physique et du calcul. Il y a une certaine mentalité là-bas où il y a un moyen d'avoir une simplification très élégante des choses que vous pouvez avoir une seule équation comme les équations de champ d'Einstein qui décrit tellement de choses, et c'est une équation très simple dans un langage très complexe. Vous avez parlé de la façon dont cette approche de Feynman, presque comme la sociologie de la physique, peut ne pas s'appliquer ici en biologie, n'est-ce pas ?

Jacob Uszkoreit : Cela peut ne pas s'appliquer, au moins pour deux raisons que je peux voir à ce stade. Premièrement, il y a trop de joueurs impliqués. Et s'il est vrai que nous pouvons peut-être tout réduire à l'équation de Schrödinger et simplement la résoudre, il se trouve que non seulement il est insoluble en termes de calcul, mais nous devrions également connaître tous ces différents acteurs, et nous ne le savons pas actuellement . Même pas proche. C'est donc un aspect.

Et puis le second est fondamentalement l'intraitabilité informatique, où la réduction, dans un certain sens, est allée si loin que, même si cela ramène tout à une seule chose, cela ne nous aide pas parce que nos approches informatiques utilisent essentiellement ces principes fondamentaux pour faire des prédictions sont tout simplement trop lents pour faire ces prédictions pour des systèmes suffisamment grands pour vraiment compter pour la vie.

Vijay Pandé : Ouais. Ce n'est donc pas une équation à n corps, mais il y a toujours un sens du formalisme - peut-être s'agit-il d'un formalisme plus axé sur les données ou d'un formalisme plus bayésien. Comment cela alimente-t-il ce que vous voudriez faire? Comment cela alimente-t-il l'application de l'IA et d'autres types de nouveaux algorithmes ?

Jacob Uszkoreit : Je pense qu'il y a plusieurs aspects. En fin de compte, l'un des grands enseignements à mon avis de ce que nous voyons actuellement dans l'IA générative est que nous n'avons plus besoin de nous entraîner sur des données qui sont non seulement parfaitement propres, mais aussi précisément du domaine et des types de tâches auxquelles vous aimeriez vous attaquer plus tard. Mais au lieu de cela, cela pourrait en fait être plus bénéfique ou même le seul moyen que nous ayons trouvé jusqu'à présent pour essayer de s'entraîner sur tout ce que vous trouvez qui est même lié à distance. Et puis utilisez les informations efficacement glanées à partir de ces données pour aboutir à ce que l'on appelle des modèles de base, que vous pouvez ensuite ajuster à toutes sortes de tâches spécifiques en utilisant des quantités beaucoup plus petites et beaucoup plus traitables de données plus propres.

Je pense que nous sous-estimons légèrement ce que nous devons savoir sur les phénomènes en général. Afin de construire un très bon grand modèle de langage, vous devez comprendre qu'il existe cette chose appelée Internet et qu'elle contient beaucoup de texte. Vous devez comprendre un peu, en fait, comment trouver ce texte, ce qui n'est pas du texte, etc., afin d'en tirer essentiellement les données d'apprentissage que vous utilisez ensuite.

Je crois qu'il y aura des défis très directement analogues autour de la biologie. La grande question est : quelles sont les expériences que nous pouvons mettre à l'échelle de manière à pouvoir observer la vie à une échelle suffisante avec à peu près assez de fidélité - mais beaucoup moins de spécificité tout en gardant à l'esprit les problèmes que vous essayez de résoudre éventuellement - de sorte que nous puissions en tirer essentiellement les données dont nous avons besoin pour commencer à construire ces modèles de base, que nous pouvons ensuite utiliser, affinés et spécifiquement conçus, pour vraiment aborder les problèmes que nous voulons résoudre.

La partie génération de données en fait certainement partie. Les architectures et le fait d'avoir effectivement des modèles et des architectures de réseau qui imitent ce que nous savons, à propos, disons, de la physique sous-jacente, resteront toujours un moyen incroyablement puissant d'économiser le calcul et de réduire également l'appétit encore énorme pour les données que ces modèles devront avoir , à un niveau réalisable. Et donc une chose qui, je pense, est en fait intéressante à noter, c'est que beaucoup d'applications actuelles de modèles, disons des transformateurs, qui ont [été] trouvées assez bien adaptées à d'autres modalités, d'autres domaines, le langage, la vision, la génération d'images, etc., etc., et les appliquer à la biologie ignore fondamentalement le fait que nous savons que le temps existe et que les lois de la physique, du moins à notre connaissance, ne semblent pas simplement changer heures supplémentaires.

Le processus de repliement d'une protéine, ignorant le fait qu'il y a des tonnes et des tonnes de joueurs - des chaperons et ainsi de suite - est en fait, dans un certain sens, un problème assez arbitrairement séparé du reste de la cinétique des protéines. C'est tout autant la cinétique que le reste de la cinétique, ou le reste de la vie de cette protéine, de cette molécule. Et alors pourquoi essayons-nous de former des modèles spécifiquement pour l'un et, potentiellement au moins, d'ignorer les données que nous pourrions avoir sur l'autre ? Dans ce cas, peut-être plus spécifiquement, certains des modèles de prédiction de la structure des protéines que nous avons aujourd'hui, apprennent-ils déjà implicitement quelque chose sur la cinétique en raison du fait qu'ils commencent lentement à embrasser, vous savez, l'existence du temps ?

Développement de nouvelles architectures

Vijay Pandé : L'une des choses intéressantes auxquelles je pense à propos de votre position actuelle est que, à quelques rares exceptions près, la plupart des réseaux de neurones profonds ou d'autres types d'IA en biologie ont l'impression de prendre quelque chose d'inventé ailleurs et de le transmettre. Comme nous allons utiliser des réseaux de neurones convolutifs pour les images. Peut-être pour les petites molécules… dans mon laboratoire à Stanford, nous avons utilisé des réseaux de neurones graphiques et plusieurs réseaux de neurones convolutifs. Mais développer vraiment un algorithme explicitement pour le problème biologique est assez rare. Et j'ai toujours supposé que c'était parce qu'il est difficile d'avoir les compétences d'une équipe solide dans le domaine de la biologie et dans le domaine de l'informatique. Mais je suis curieux d'avoir votre avis. Ou est-il tout simplement rare de développer de nouvelles architectures en premier lieu ?

Jacob Uszkoreit : Eh bien, je pense qu'en fin de compte, ce que nous voyons, c'est que les nouvelles architectures, bien que motivées par des problèmes spécifiques, si elles font vraiment une différence, elles ont tendance à être également applicables ailleurs. Cela ne signifie pas, d'autre part, que, sur le chemin du retour, choisir avec soin les applications et les domaines motivants ne ferait pas une énorme différence. Et je pense que c'est certainement le cas.

Je pense que l'un des principaux défis ici est vraiment que nous ne sommes pas encore dans un régime en biologie où nous avons des tonnes et des tonnes de données, même si, par rapport à ce que nous avions il y a quelque temps, c'est incroyable. Mais nous ne sommes pas encore dans ce régime où cela reste assis sur l'équivalent du Web, et nous pouvons le filtrer un peu, le télécharger et en finir. Mais au lieu de cela, je pense que nous devons le créer dans une mesure raisonnablement large. Et cela ne sera pas fait par des experts en apprentissage profond, du moins pas par la plupart d'entre eux.

Et je crois que cela doit se faire en même temps que comprendre vraiment les particularités desdites données, n'est-ce pas ? Les types de bruit que vous y rencontrez. Le fait que ceux-ci soient en fait créés dans des pools à très grande échelle, des expériences à haut débit, mais toujours des expériences qui sont exécutées à des jours différents par différents expérimentateurs et ainsi de suite. Et là où les personnes ayant une formation plus approfondie travaillent en étroite collaboration avec des personnes ayant une formation en biologie, en apprennent suffisamment sur ce que nous savons des phénomènes sous-jacents, [elles seront] essentiellement inspirées pour essayer de nouvelles approches intéressantes.

Vijay Pandé : Eh bien, j'ai adoré quand vous avez parlé de l'exemple de l'article L'attention est tout ce dont vous avez besoin, sur la façon dont vous vouliez obtenir ce groupe diversifié de personnes dont les passions étaient, vous savez, assez orthogonales les unes par rapport aux autres. Et dans un sens, quand on fait ça en biologie et surtout pour ce qu'on fait chez Inceptive, il faut aussi mettre tout ce travail dans la génération des données. Et générer les données signifie vraiment, pour être très explicite, mener des expériences biologiques à grande échelle. La partie d'entrée elle-même est très coûteuse et très technique, et comme vous l'avez dit, il y a tellement de façons de se tromper. Mais on dirait que vous construisez sur la culture que vous avez faite auparavant et maintenant c'est juste plus d'experts avec des passions différentes qui se coordonnent de manière analogue.

Jacob Uszkoreit : J'en ai vraiment besoin, [et] les gens en ont besoin. C'est, pour autant que je sache, la voie la plus prometteuse. [Ce n'est] pas viser, dans un certain sens, un modèle de pipeline, où certaines données dans le laboratoire dans lequel elles ont été créées, compte tenu du meilleur de nos connaissances, sur les aspects sous-jacents de la vie. Et puis commencer à exécuter des approches d'apprentissage en profondeur existantes dessus, puis les ajuster. Mais au lieu d'avoir vraiment des gens qui, dans un certain sens, pourraient être parmi les premières personnes qui travaillent vraiment dans une discipline qui n'a pas encore vraiment de nom.

Le plus petit dénominateur commun est peut-être la curiosité qui va au-delà de ce que vous savez, de ce que vous avez appris auparavant et de ce que vous avez peut-être passé le plus clair de votre temps à faire. Nous constatons que, comme dans de très nombreux autres domaines, ce que nous recherchons vraiment, c'est un ensemble de personnes aux profils très divers, mais qui partagent une curiosité.

Où va l'IA ?

Vijay Pandé : Selon vous, où en est l'IA pour ces problèmes plus difficiles, pour la conception de médicaments, les soins de santé, etc. ? Ce qui doit être fait? Quand y parviendra-t-il ?

Jacob Uszkoreit : Je m'attendrais - et il est toujours très dangereux de faire des prédictions sur l'avenir - je serais très surpris si, dans les trois prochaines années, nous ne commencions pas à voir un point [d'inflexion] se produire en ce qui concerne les effets réels de apprentissage automatique, apprentissage profond à grande échelle dans le développement de médicaments, conception de médicaments. Où exactement ils seront les premiers, bien sûr, je pense que beaucoup d'entre eux se produiront autour de l'ARN, des thérapies à base d'ARN et des vaccins. Ce ne sera certainement pas le seul domaine touché par cela, mais je pense vraiment que nous nous dirigeons vers le territoire du point d'inflexion.

Vijay Pandé : Vous avez soulevé un point intéressant. En quoi l'ARN est-il différent ? Parce que je pense que c'est particulièrement intéressant, non seulement vous êtes passé de Google Brain à la biologie, mais vous êtes spécifiquement allé à l'ARN. Qu'est-ce qui vous attire dans l'ARN, en particulier peut-être du point de vue de l'IA ou du ML ?

Jacob Uszkoreit : Une chose qui est intéressante à propos de l'ARN est la combinaison entre, comme nous l'avons vu, une applicabilité très large - bien qu'elle soit encore étroite dans le sens d'une seule indication - mais rien qu'en regardant cette vague de processus d'approbation qui commence et a commencé, c'est assez clair que l'applicabilité est très, très large, couplée à - c'est un peu ambigu - un problème structurellement simple. Et c'est structurellement simple pas dans la phrase que la prédiction structurelle de l'ARN est simple, mais c'est structurellement simple dans le sens où c'est un biopolymère avec quatre bases différentes. Nous ne parlons pas de plus de 20 acides aminés. C'est quelque chose qui peut être produit assez efficacement.

Il y a quelques défis là-bas, mais la synthèse est quelque chose qui peut évoluer et évolue rapidement, et ces choses se réunissent vraiment pour permettre cette boucle de rétroaction rapide à laquelle je suppose qu'on fait souvent allusion, mais très rarement, du moins d'après ce que je sais, réellement mis en œuvre et réalisable en fin de compte.

Vijay Pandé : Ouais, c'est probablement une boucle de rétroaction plus rapide, surtout pour la façon dont vous y allez.

Jacob Uszkoreit : Oui. Et étant donné que je pense que nous devons créer la part du lion des données pour former les modèles que nous formons, nous investissons vraiment Inceptive dans la création de telles données à grande échelle. Et je dirais une échelle relativement assez massive, étant donné que l'ARN semble être de loin la meilleure combinaison en ce qui concerne la simplicité structurelle, mais aussi l'évolutivité de la synthèse et de cette expérimentation. Il y a ici un énorme potentiel qui n'a pas encore été exploité.

Vijay Pandé : Oui, et je pense surtout potentiellement à la capacité d'avoir ces cycles rapides, à la fois en quelque sorte précliniques et donc d'arriver à la clinique plus rapidement et d'être à la clinique [pour une période de temps plus courte].

Jacob Uszkoreit : Absolument. C'est vraiment ce que nous espérons. Nous voyons également peut-être les premiers indices indiquant que cela pourrait être le cas et que nous sommes bien sûr, vraiment, vraiment excités.

Vijay Pandé : Penser aux 10 dernières années a été incroyable, vous savez, de 2012 à aujourd'hui. Selon vous, à quoi ressembleront les 10 prochaines années ? Où pensez-vous que nous en serons dans 10 ans avec l'IA ? Soit en général, soit spécialement pour le bio ?

Jacob Uszkoreit : Je pense que s'il est vraiment vrai que nous entrons dans ce territoire de point d'inflexion, quand nous regarderons en arrière dans 10 ans, cela ressemblera à une révolution au moins aussi grande et aussi vaste que celle que nous pensons avoir vue dans le 10 dernières années. Tout au moins. Maintenant, je pense qu'il y aura une différence cruciale, et c'est qu'il n'est pas si clair exactement dans quelle mesure la révolution à laquelle nous avons assisté au cours des 10 dernières années affecte la vie de tout le monde. Il y a certains domaines, moteurs de recherche ou écriture assistée, etc., où c'est évident, mais on ne sait pas dans quelle mesure cette révolution est largement applicable. Je crois que c'est tout à fait vrai, mais nous ne le voyons pas encore. Je pense que la révolution que nous allons voir spécifiquement autour du bio au cours des 10 prochaines années, ou que nous allons regarder en arrière dans 10 ans, sera vraiment différente en termes d'impact profond sur toutes nos vies .

Même en laissant de côté les applications de conception et de découverte de médicaments, il existe de telles applications étonnantes dans et autour de la découverte scientifique où vous pouvez maintenant imaginer qu'avec une interface Web, vous pouvez essentiellement avoir des molécules conçues qui, dans certains organismes, sont très susceptibles d'être répondre à certaines questions, produisant des lectures plus fiables que, vous savez, ce que vous pouviez obtenir auparavant. Donc, même en laissant de côté toute la complexité de la façon dont cela affectera, en fin de compte, les patients et tout le monde, il est assez clair, je pense, que ces outils vont simplement accélérer rapidement des domaines comme la biologie.

Vijay Pandé : Cela semble être un bon endroit pour en finir. Merci beaucoup, Jakob, d'avoir rejoint Bio Eats World.

Jacob Uszkoreit : Merci beaucoup de m'avoir invité.

Olivia Webb : Merci d'avoir rejoint Bio Eats World. Bio Eats World est hébergé et produit par moi, Olivia Webb, avec l'aide de l'équipe Bio + Health d'a16z et édité par Phil Hegseth. Bio Eats World fait partie du réseau de podcasts a16z.

Si vous avez des questions sur l'épisode ou si vous souhaitez suggérer des sujets pour un futur épisode, veuillez envoyer un e-mail Enfin, si vous appréciez Bio Eats World, veuillez nous laisser une note et une critique partout où vous écoutez des podcasts.

Veuillez noter que le contenu ici à des fins d'information uniquement, ne doit pas être considéré comme un conseil juridique, commercial, fiscal ou d'investissement, ni être utilisé pour évaluer un investissement ou un titre, et ne s'adresse à aucun investisseur ou investisseur potentiel dans un fonds a16z. . Pour plus de détails, veuillez consulter a16z.com/disclosures.

***

Les opinions exprimées ici sont celles du personnel individuel d'AH Capital Management, LLC (« a16z ») cité et ne sont pas les opinions d'a16z ou de ses sociétés affiliées. Certaines informations contenues ici ont été obtenues de sources tierces, y compris de sociétés de portefeuille de fonds gérés par a16z. Bien qu'elles proviennent de sources considérées comme fiables, a16z n'a pas vérifié ces informations de manière indépendante et ne fait aucune déclaration quant à l'exactitude durable des informations ou à leur pertinence dans une situation donnée. De plus, ce contenu peut inclure des publicités de tiers ; a16z n'a pas examiné ces publicités et n'approuve aucun contenu publicitaire qu'elles contiennent.

Ce contenu est fourni à titre informatif uniquement et ne doit pas être considéré comme un conseil juridique, commercial, d'investissement ou fiscal. Vous devriez consulter vos propres conseillers sur ces questions. Les références à des titres ou à des actifs numériques sont uniquement à des fins d'illustration et ne constituent pas une recommandation d'investissement ou une offre de fournir des services de conseil en investissement. En outre, ce contenu n'est ni destiné ni destiné à être utilisé par des investisseurs ou des investisseurs potentiels, et ne peut en aucun cas être invoqué pour prendre une décision d'investir dans un fonds géré par a16z. (Une offre d'investissement dans un fonds a16z ne sera faite que par le mémorandum de placement privé, le contrat de souscription et toute autre documentation pertinente de ce fonds et doit être lu dans son intégralité.) Tous les investissements ou sociétés de portefeuille mentionnés, référencés ou décrits ne sont pas représentatifs de tous les investissements dans des véhicules gérés par a16z, et rien ne garantit que les investissements seront rentables ou que d'autres investissements réalisés à l'avenir auront des caractéristiques ou des résultats similaires. Une liste des investissements effectués par des fonds gérés par Andreessen Horowitz (à l'exclusion des investissements pour lesquels l'émetteur n'a pas autorisé a16z à divulguer publiquement ainsi que des investissements non annoncés dans des actifs numériques cotés en bourse) est disponible sur https://a16z.com/investments /.

Les tableaux et graphiques fournis ici sont uniquement à des fins d'information et ne doivent pas être utilisés pour prendre une décision d'investissement. Les performances passées ne représentent pas les résultats futurs. Le contenu ne parle qu'à la date indiquée. Toutes les projections, estimations, prévisions, objectifs, perspectives et/ou opinions exprimées dans ces documents sont susceptibles d'être modifiées sans préavis et peuvent différer ou être contraires aux opinions exprimées par d'autres. Veuillez consulter https://a16z.com/disclosures pour des informations supplémentaires importantes.

Horodatage:

Plus de Andreessen Horowitz