Bio Eats World: использование искусственного интеллекта для продвижения био дальше

В этом выпуске Виджай Панде беседует с Якобом Ушкорейтом, соучредителем и генеральным директором Inceptive. Вместе они обсуждают все, что связано с ИИ.

Мы публикуем стенограмму полностью ниже, на случай, если вы захотите прочитать ее.

Оливия Уэбб: Привет и добро пожаловать в Bio Eats World, подкаст на стыке биологии, здравоохранения и технологий. Я Оливия Уэбб, главный редактор Bio + Health на a16z. В этом выпуске мы поговорили с Якобом Ушкорайтом, ранее работавшим в Google Brain и сооснователем Inceptive. Джейкоб также является одним из авторов фундаментальной исследовательской работы по искусственному интеллекту «Внимание — это все, что вам нужно», ссылку на которую мы дадим в примечаниях к шоу. Джейкоб встретился с Виджаем Панде, партнером-основателем a16z Bio + Health, чтобы поговорить обо всем, что связано с ИИ: от его работы в Google Brain до того, как люди и компьютеры обрабатывают язык, до веры Inceptive в перспективы РНК и того, как Джейкоб считает, что мы Входим в переломный момент с ИИ.

Это эпизод, который вы не хотите пропустить, но это также обсуждение ИИ на уровне выпускников, поэтому мы опубликуем расшифровку стенограммы вместе с эпизодом. Давайте начнем.

Применимые алгоритмы

Виджай Панде: Итак, Якоб, большое спасибо за участие в Bio Eats World. Здорово, что ты есть.

Якоб Ушкорейт: Здорово быть здесь. Спасибо, что пригласили меня.

Виджай Панде: Тем более, что у вас такая захватывающая история как у ученого-компьютерщика, предпринимателя и основателя, я бы хотел, чтобы вы провели нас через свой карьерный путь, начав, где хотите, но то, что привело вас в Google Brain, вероятно, является хорошим местом для начала. .

Якоб Ушкорейт: Я помню, что в какой-то степени действительно столкнулся с проблемой машинного обучения, может быть, в самом широком смысле, [и] пониманием языка, несколько более конкретно, как проблема, которая возникает в семье. Итак, мой отец — компьютерный ученый и компьютерный лингвист, и, знаете, в детстве такие вещи, как машины Тьюринга, не обязательно были совершенно чуждыми понятиями довольно рано.

Виджай Панде: Да, на самом деле это звучит так, как будто это был разговор за обеденным столом.

Якоб Ушкорейт: Это были разговоры за обеденным столом. Итак, конечные автоматы и то, как они на самом деле соотносятся с торговыми автоматами, были, знаете ли, общими темами. Чем старше я становился, тем больше мне хотелось убедиться, что я на самом деле в конечном итоге занимаюсь чем-то другим. Так что в конце концов я занялся чистой математикой и смежными областями. [Я] действительно немного сосредоточился на оптимизации, на алгоритмах оптимизации, на алгоритмах в целом, в более широком смысле на теории сложности, прежде чем понял, что, возможно, это не самая практичная вещь и не самая применимая вещь, которая, как вы знаете, как бы стала немного красной нитью на протяжении всей моей карьеры. А потом буквально наткнулся на стажировку в Google еще в 2005 году.

Мне было предложено несколько различных вариантов, [относительно] того, к каким исследовательским проектам присоединиться, [и] среди них были различные усилия по компьютерному зрению, а также проект машинного перевода, который в основном стал Google Translate. Примерно в то же время или чуть раньше [Переводчик] запустил свой первый продукт, который действительно работал на основе внутренних систем Google, которые были разработаны, и в определенном смысле, к моему большому разочарованию, оказалось, что Google Translate в то время, безусловно, имело самые интересные проблемы с крупномасштабными алгоритмами.

В то время это было действительно интересно посмотреть, потому что что убедило меня затем прервать работу над докторской диссертацией и действительно вернуться в Google после стажировки, так это то, что во время моего пребывания там стало очевидно, что если вы хотите работать над чем-то в машинное обучение, которое было не только интересным и, скажем так, интеллектуально и научно, захватывающим, сложным и стимулирующим, но и возлагало большие надежды на то, что оно сразу же сдвинет иглу в промышленности и в продуктах. На самом деле в то время в мире было не так много мест. И уж точно в то время это были не академические лаборатории, а очень похожие на Google места. И Google тут же был в авангарде этого процесса. Итак, вы знаете, в то время я думал, что запустить мои первые крупномасштабные алгоритмы кластеризации на тысяче машин — это потрясающе, и это было просто, абсолютно невозможно сделать где-либо еще.

Виджай Панде: Когда вы разговариваете с нашими старшими коллегами, в них много романтизма о временах расцвета Bell Labs, и я всегда задавался вопросом, может ли Google Brain быть одним из наиболее близких вариантов сегодня. Какой была окружающая среда?

Якоб Ушкорейт: Так что я чувствую, что между тем временем и началом работы Google Brain, то есть примерно пятью годами позже, произошел значительный сдвиг. До того, как компания Brain and Translate начала свою работу, она гораздо больше ориентировалась на продукты, которые действительно имели значение, чем, как мне кажется, Bell Labs. И среди нас, конечно, было много выпускников Bell Labs, но это было гораздо больше мотивировано прямой применимостью.

Для меня было действительно удивительно наблюдать, как машинный перевод превратился [из чего-то, что] было хорошо для смеха на вечеринке, в буквальном смысле. Если бы вас спросили, где вы работаете? А вы сказали, Гугл. А потом сказали, что ты там делаешь? И поначалу были впечатлены. А потом вы сказали, о, я работаю над Google Translate. А потом они засмеялись и спросили, будет ли это когда-нибудь работать? Я так не думаю. Но в то же время, я бы сказал, что волна машинного обучения, волна ренессанса машинного обучения до глубокого обучения, начала выходить на плато. Вы знаете, глубокое обучение было чем-то, чем я занимался раньше в школе, и мне это нравилось, но это было не то, что вы могли реально применить в те дни.

Виджай Панде: Да, особенно потому, что у вас не было весов в академических кругах, чтобы делать необходимые вычисления.

Якоб Ушкорейт: Конечно, не в академических кругах, а даже в Google. Хотя в то время в Translate, собственно, самой интересной отличительной чертой было, я бы сказал, то, что мы действительно верили в абсолютную силу данных в конце концов.

Поэтому мы старались не делать более сложные и изощренные алгоритмы, а вместо этого максимально упростить и масштабировать их, а затем дать им возможность обучаться на все большем количестве данных. Но мы просто уперлись в потолок. Упрощения, которые вы должны были сделать, чтобы масштабировать их до того, что было в масштабе Google в то время, это действительно была наша цель. Но затем, и это было своего рода движением маятника, качающимся назад, из академии, группой людей с кучей графических процессоров — глубокое обучение в определенном смысле вернулось с удвоенной силой. И вдруг среда адаптировалась, потому что было непонятно, какой будет прямой путь при масштабировании в производство.

Таким образом, вся среда превратилась из более ориентированной на приложения и продукты в нечто, что, по крайней мере, в течение нескольких лет казалось гораздо более академическим. Это все еще немного отличается от академических лабораторий, потому что мы можем позволить себе гораздо больше графических процессоров, но в определенном смысле гораздо больше соответствует этой идее, [быть] движущейся публикациями, движущейся скачками, а не шагами. [Это] превратилось в очень, очень продуктивную — и действительно удивительную — но гораздо более открытую [среду].

Внимание это все что вам нужно

Виджай Панде: Ну, вы знаете, говоря о публикациях, естественно подумать о том, когда вы и ваша команда опубликовали Attention is All You Need. И, вы знаете, это была основополагающая статья для стольких областей генеративного ИИ, поскольку именно тогда был впервые изложен алгоритм преобразования.

Якоб Ушкорейт: За два года до публикации этой статьи мы поняли, [что] то, что тогда было самым современным для таких задач, как машинный перевод, или [что] появлялось как современное, а именно LSTM или RNN. , Seq2Seq в целом как парадигма обучения и как установка, а также как сетевая архитектура — имела невероятные проблемы даже на самых современных графических процессорах в то время, когда дело доходило до масштабирования с точки зрения данных.

Например, самая первая нейронная система машинного перевода, запущенная Google, GNMT, на самом деле, насколько мне известно, никогда не обучалась на всех имеющихся у нас обучающих данных, которые мы ранее извлекли для статистических систем, основанных на фразах. И это потому, что алгоритмы просто плохо масштабировались с точки зрения объема данных. Короче говоря, в то время мы рассматривали не машинный перевод, а проблемы, по которым внутри Google у нас было еще больше обучающих данных. Итак, это были проблемы, возникшие в результате поиска, где у вас есть в основном еще три или четыре порядка. Вы знаете, теперь уже не миллиарды слов, а триллионы легко, и вдруг мы столкнулись с этим паттерном, где простые сети с прямой связью, даже несмотря на то, что они делали нелепые упрощающие предположения, такие как, это просто пакет слов или это просто пакет биграмм , и вы как бы усредняете их и отправляете через большой MNLP, они на самом деле превзошли RNN и LSTM, по крайней мере, при обучении на большем количестве данных.

[И они были] в n раз быстрее, легко в 10, 20 раз быстрее, чтобы тренироваться. И поэтому вы можете обучать их на большем количестве данных. В некоторых случаях [они тренировались] в сто раз быстрее. Таким образом, мы постоянно оказывались в конечном итоге с более простыми моделями, которые не могли выразить или зафиксировать определенные явления, которые, как мы знаем, определенно распространены в языке.
И все же, вы знаете, в итоге их было дешевле тренировать, и [они] выступали лучше.

Виджай Панде: Давайте просто приведем пример для людей, которые не знакомы. Итак, для набора слов, если я скажу, покажите мне все рестораны поблизости, кроме итальянского, он покажет вам все итальянские рестораны, верно?

Якоб Ушкорейт: В точку. На самом деле то, что вы сказали, вероятно, можно изменить, чтобы показать мне все итальянские рестораны, кроме близлежащих. Это просто набор слов, и вы можете изменить его порядок, чтобы он определенно означал что-то другое.

Виджай Панде: Да.

Якоб Ушкорейт: А затем вы приближаетесь к структуре и к более глобальным явлениям, вводя биграммы. Итак, в основном группы из двух последовательных слов и тому подобное. Но ясно, что, конечно же, в таких языках, как немецкий, где вы можете поставить глагол в самый конец предложения…

Виджай Панде: И это меняет весь смысл, верно?

Якоб Ушкорейт: Меняет весь смысл, точно, да. Независимо от размера ваших n-грамм или ваших маленьких групп слов, вы в конечном итоге не добьетесь успеха. И нам стало ясно, что должен быть другой способ, который не требует повторения RNN по длине или повторения в последовательности, скажем, слов или пикселей, но который на самом деле обрабатывает входные и выходные данные более параллельным способом и действительно в конечном итоге удовлетворяют сильные стороны современного аппаратного ускорителя.

Виджай Панде: Подумайте об этом, как мешок слов — это слова в случайном порядке. LSTM, или долговременная кратковременная память, возможно, дает вам некоторую [способность] немного заглянуть [в] прошлое, верно? Но трансформеры делают что-то радикально другое. Как «Трансформеры» выводят это на новый уровень?

Якоб Ушкорейт: Всегда есть два взгляда на это. Один из них — через призму эффективности, но другой способ, который, возможно, немного более интуитивен, — это посмотреть на это с точки зрения, знаете ли, того, сколько контекста вы можете поддерживать. И, как вы сказали, LSTM или рекуррентные нейронные сети в целом, они проходят через свои входные данные шаг за шагом, в широком смысле, и хотя теоретически они могут поддерживать произвольно длинные контекстные окна во входные данные — прошлое — что На практике случается так, что им на самом деле очень трудно идентифицировать события, скажем, слова или пиксели, которые очень далеки в прошлом и которые действительно влияют на смысл в конце дня. Они склонны сосредотачиваться на вещах, которые находятся поблизости.

Преобразователь, с другой стороны, в основном просто переворачивает это с ног на голову и говорит: «Нет, на каждом шагу то, что мы делаем, не проходит через вход». На каждом этапе мы смотрим на ввод или вывод целиком, и мы в основном постепенно пересматриваем представления каждого слова, каждого пикселя, каждого патча или каждого кадра видео, поскольку мы в основном двигаемся, а не во входном пространстве. , но в пространстве представления.

Виджай Панде: Да.

Якоб Ушкорейт: И у этой идеи были некоторые недостатки с точки зрения того, как вы могли бы приспособить ее к современному оборудованию, но по сравнению с рекуррентными нейронными сетями у нее были прежде всего преимущества, потому что теперь вы фактически не были обязаны последовательно вычислять представления, скажем, слово в слово. То, чем вы были связаны, на самом деле, насколько они должны быть хороши? Сколько слоев такого рода параллельной обработки всех позиций, где все, где все пары слов или все пары патчей изображений могут взаимодействовать сразу? Сколько ревизий этих представлений я могу себе позволить?

Виджай Панде: Что действительно интересно, так это то, что, очевидно, источником вдохновения является естественный язык, но есть много структур, которые вы хотели бы ввести, когда вы не хотите просто изучать их последовательно, например, последовательность ДНК — и мы перейдем к биологии. достаточно скоро — что вы хотите иметь модель всего этого.

С языком как-то забавно. Когда я говорю или когда слушаю вас, я обрабатываю каждое слово, но, в конце концов, мне приходится не просто токенизировать слова в отдельные значения, но я должен как бы развить это представление. Да? Я бы хотел, чтобы мы могли делать это так, как это делают трансформеры. И, может быть, хитрость в том, что LSTM ближе к тому, как это делаем мы, люди, а трансформеры, возможно, именно так, как мы должны это делать, или я бы хотел, чтобы мы могли это сделать.

Якоб Ушкорейт: На первый взгляд, я думаю, что это правда, хотя, в конце концов, интроспективные аргументы, подобные этим, тонкие и каверзные.

Поэтому я думаю, что многие из нас знают это явление, когда вы кричите или кричите на кого-то, пытающегося что-то сообщить через оживленную улицу. И вот вы слышите что-то, что они говорят, и это не короткая последовательность слов, и вы в принципе ничего не понимаете. Но затем, примерно через полсекунды, вы вдруг поняли все предложение. На самом деле это намекает на тот факт, что хотя мы вынуждены писать и произносить язык последовательно — только из-за стрелы времени — не так уж ясно, действительно ли наше более глубокое понимание происходит именно таким последовательным образом.

Создание команды

Виджай Панде: Если кто-нибудь изучит хотя бы просто бумагу «Внимание — это все, что вам нужно» или работу трансформатора, в ней много частей. И кажется, что, вероятно, уже пройден тот момент, когда один человек мог эффективно выполнять эту работу самостоятельно за любой короткий период времени.

Якоб Ушкорейт: Абсолютно.

Виджай Панде: Так что теперь вам действительно нужна команда людей, чтобы делать такие вещи. При чем здесь социология? Как происходит что-то подобное?

Якоб Ушкорейт: Лично я считаю, что этот конкретный случай является действительно замечательным примером чего-то, что исключительно хорошо соответствует более, скажем так, индустриальному подходу к научным исследованиям. Потому что ты совершенно прав. Это не была одна большая искра воображения и творчества, которая привела в действие все это.

Это была действительно целая куча вкладов, которые в конечном счете были необходимы. Имея среду, библиотеку, которая позже также была открыта под названием Tensor2Tensor, которая фактически включала реализации. И не просто каких-то реализаций, а исключительно хороших реализаций, быстрых реализаций всяких трюков глубокого обучения.
Но также и на всем пути к этим механизмам внимания, которые вышли из предыдущих публикаций — например, модель декомпозируемого внимания [которая была] опубликована ранее — но затем были фактически объединены с улучшениями и инновациями, изобретениями вокруг оптимизаторов. Я думаю, вы не найдете людей, которые действительно являются одними из ведущих мировых экспертов во всех этих аспектах одновременно и действительно так же увлечены всеми этими аспектами.

Виджай Панде: И особенно есть первоначальная идея, есть ее реализация, есть ее масштабирование. Достичь такого масштаба где-либо еще, кроме как в крупной компании, прямо сейчас, вероятно, невозможно сделать только из-за стоимости.

Якоб Ушкорейт: Я бы подумал, что на самом деле, возможно, аспект крупной компании не так уж и важен.

Виджай Панде: Да?

Якоб Ушкорейт: Аспект компании — это то, что я бы оценил выше. Крупная компания, конечно, не помешает, если вам нужны тысячи и тысячи TPU или GPU или что у вас есть. Глубокие карманы никогда не помешают таким вещам. Но в то же время я считаю, что структура стимулирования такого рода поисковых исследований в промышленности гораздо лучше подходит для таких проектов. И я думаю, что это действительно то, что мы наблюдаем, глядя на проекты генеративного ИИ по всем направлениям.

Виджай Панде: Ага. И, по вашему мнению, это может быть стартап.

Якоб Ушкорейт: Это определенно может быть стартап. И я думаю, что сейчас мы видим, что использование аппаратного ускорителя становится как минимум более доступным. И есть стартапы, которые очень сильно конкурируют, когда дело доходит до генеративного ИИ, нацеленного на генерацию изображений или генерацию текста.

Переход к наукам о жизни

Виджай Панде: Я хотел бы перейти к тому, что вы делаете сейчас. Вы генеральный директор Inceptive, компании, которая применяет ИИ к биологии РНК для РНК-терапии. Как вы перешли в науки о жизни? На первый взгляд, разговоры о языковых моделях за ужином [столом], а затем в кафетерии Google… кажется, что это может быть переходом к следующему поколению терапии. Как все это произошло?

Якоб Ушкорейт: Я не мог не согласиться. Это удивительный опыт обучения, с моей стороны. В течение некоторого времени биология казалась мне такой проблемой, где не кажется невероятным, что существуют пределы того, как далеко мы можем зайти, скажем, в плане разработки лекарств и прямого дизайна с традиционной биологией в качестве основы того, как мы заняться разработкой — или открытием методов разработки — лекарств будущего.

Похоже, что глубокое обучение, в частности масштабное, по целому ряду причин является потенциально действительно подходящим инструментом. И одной из этих причин на самом деле является то, что часто не обязательно считается преимуществом, а именно тот факт, что это большой черный ящик, в который вы можете просто бросить что-то. И не факт, что можно просто бросить. Это то, что вы должны знать, как бросить его.

Виджай Панде: И не совсем черный. Мы можем поспорить об этом позже.

Якоб Ушкорейт: Да, точно. В точку. Но, в конце концов, возвращаясь к аналогии с языком, нам никогда не удавалось полностью, в этом смысле, понять и концептуализировать язык в той степени, в какой вы могли бы заявить: «О, сейчас я пойду и скажу вам». эту теорию, лежащую в основе языка, и затем вы сможете реализовать алгоритм, который «понимает» его. Мы никогда не доходили до этого момента. Вместо этого нам пришлось прерваться и сделать шаг назад и, на мой взгляд, в какой-то степени признать себе, что это, возможно, был не самый прагматичный подход. Вместо этого мы должны попробовать подходы, которые не требуют такого уровня концептуального понимания. И я думаю, что то же самое может быть верно для частей биологии.

Использование ИИ для развития биологии

Виджай Панде: Это интересно, мы уже говорили о таких вещах раньше. Вы думаете о прошлом веке, [который был] во многом веком физики и исчисления. Там есть определенный менталитет, где есть способ, которым вы можете очень элегантно упростить вещи, что вы можете иметь одно уравнение, подобное уравнениям поля Эйнштейна, которое описывает так много, и это очень простое уравнение на очень сложном языке. Вы говорили о том, что подход Фейнмана, почти как социология физики, может не применяться здесь, в биологии, верно?

Якоб Ушкорейт: Это может быть неприменимо, по крайней мере, по двум причинам, которые я вижу на данный момент. Во-первых, в игре задействовано слишком много игроков. И хотя это правда, что, возможно, мы можем просто свести все это к уравнению Шрёдингера и просто решить его, так уж вышло, что это не только неразрешимо в вычислительном отношении, но и нам нужно знать обо всех этих различных игроках, а мы в настоящее время не знаем. . Даже не близко. Так что это один аспект.

И затем второе — это, в основном, вычислительная неразрешимость, когда редукция, в определенном смысле, зашла так далеко, что, хотя и сводит все к одному, это не помогает нам, потому что наши вычислительные подходы в основном используют эти основы для предсказаний слишком медленны, чтобы делать эти предсказания для систем, достаточно больших, чтобы действительно иметь значение для жизни.

Виджай Панде: Ага. Так что это не уравнение с n телами, но все же в нем все же есть ощущение формализма — может быть, это больше формализм, управляемый данными, или более байесовский формализм. Как это связано с тем, что вы хотели бы сделать? Как это влияет на применение ИИ и других типов новых алгоритмов?

Якоб Ушкорейт: Я думаю, что есть несколько разных аспектов. В конце концов, на мой взгляд, один из главных выводов из того, что мы сейчас наблюдаем в генеративном ИИ, заключается в том, что нам больше не нужно тренироваться на данных, которые не только идеально чистые, но и точно из предметной области. и от видов задач, которые вы позже хотели бы решить. Но вместо этого это может быть на самом деле более полезным или даже единственным способом, который мы нашли до сих пор, на самом деле пытаться тренироваться на всем, что вы найдете, что даже отдаленно связано. А затем используйте информацию, эффективно полученную из этих данных, чтобы в конечном итоге получить так называемые базовые модели, которые затем можно точно настроить для всех видов конкретных задач, используя гораздо меньшие, гораздо более удобные объемы более чистых данных.

Я думаю, что мы немного недооцениваем то, что мы должны знать о феномене в целом. Чтобы построить очень хорошую большую языковую модель, вы должны понимать, что существует такая штука, как Интернет, и в ней много текста. На самом деле вам нужно немного понимать, как найти этот текст, что не является текстом и т. д., чтобы затем извлечь из него обучающие данные, которые вы затем используете.

Я полагаю, что в биологии возникнут очень похожие проблемы. Большой вопрос заключается в следующем: какие эксперименты мы можем масштабировать так, чтобы мы могли наблюдать жизнь в достаточном масштабе с достаточной точностью, но гораздо меньшей конкретностью, помня о проблемах, которые вы пытаетесь решить в конечном итоге, чтобы мы могли в основном берем из этого данные, которые нам нужны, чтобы начать строить эти базовые модели, которые мы затем можем использовать, точно настроенные и специально спроектированные, чтобы действительно подойти к проблемам, которые мы хотим решить.

Часть генерации данных, безусловно, является одной из них. Архитектуры и эффективные модели и сетевые архитектуры, которые имитируют то, что мы знаем, например, о лежащей в их основе физике, по-прежнему останутся невероятно мощным способом фактической экономии вычислений, а также снижения все еще огромного аппетита к данным, которые должны будут иметь эти модели. , до допустимого уровня. И поэтому одна вещь, которую я считаю действительно интересной, заключается в том, что многие современные приложения моделей, скажем, трансформеры, которые [были] обнаружены, довольно хорошо масштабируются в других модальностях, других областях, языке, видении, создании изображений, и т. д. и т. д., и применение их к биологии в основном игнорирует тот факт, что мы знаем, что существует такая вещь, как время, и что законы физики, по крайней мере, насколько нам известно, не меняются просто так. через некоторое время.

Процесс фолдинга белка, если не принимать во внимание тот факт, что существует множество игроков — шаперонов и еще чего-то, — на самом деле, в определенном смысле, является достаточно произвольно отделенной проблемой от остальной кинетики белка. Это такая же кинетика, как и остальная часть кинетики или остаток жизни этого белка, этой молекулы. Так почему же мы пытаемся обучать модели специально для одного и, по крайней мере потенциально, игнорируем данные, которые у нас могут быть о другом? В этом случае, может быть, более конкретно, некоторые модели предсказания структуры белка, которые у нас есть сегодня, уже узнают что-то о кинетике неявным образом из-за того, что они постепенно начинают принимать, знаете ли, существование времени?

Разработка новых архитектур

Виджай Панде: Одна из интересных вещей, которые я думаю о том, где вы сейчас находитесь, заключается в том, что, за несколькими редкими исключениями, большинство глубоких нейронных сетей или других типов ИИ в биологии чувствуют, что они берут что-то, изобретенное где-то еще, и переносят это. Например, мы будем использовать сверточные нейронные сети для изображений. Может быть, для небольших молекул… в моей лаборатории в Стэнфорде мы использовали графовые нейронные сети и несколько сверточных нейронных сетей. Но действительно разработать алгоритм специально для биологической проблемы довольно редко. И я всегда предполагал, что это потому, что трудно иметь набор навыков команды, сильной в области биологии и в области компьютерных наук. Но мне любопытно узнать ваше мнение. Или вообще редко приходится разрабатывать новые архитектуры?

Якоб Ушкорейт: Ну, я думаю, в конце концов, мы видим, что новые архитектуры, хотя и мотивированы конкретными проблемами, если они действительно имеют значение, то они, как правило, применимы и в других местах. С другой стороны, это не означает, что на пути к цели тщательный выбор мотивирующих приложений и доменов не будет иметь большого значения. И я думаю, что это определенно так.

Я чувствую, что одна из ключевых проблем здесь на самом деле заключается в том, что мы еще не находимся в режиме в биологии, когда у нас есть огромное количество данных, хотя по сравнению с тем, что у нас было некоторое время назад, это потрясающе. Но мы еще не в том режиме, когда это просто сидит в эквиваленте сети, и мы можем немного отфильтровать это, загрузить и покончить с этим. Но вместо этого, я думаю, мы должны создать его в достаточно большой степени. И этого не сделают специалисты по глубокому обучению, по крайней мере, большинство из них.

И я считаю, что это должно происходить одновременно с пониманием особенностей указанных данных, верно? Виды шума, с которыми вы сталкиваетесь там. Тот факт, что на самом деле они создаются в очень больших пулах, экспериментах с высокой пропускной способностью, но, тем не менее, экспериментах, которые проводятся в разные дни разными экспериментаторами и так далее и тому подобное. И там, где люди с большим опытом глубокого обучения работают достаточно тесно с людьми с опытом биологии, узнают достаточно о том, что мы знаем о лежащих в основе явлениях, [они] в основном будут вдохновлены попробовать новые интересные подходы.

Виджай Панде: Что ж, мне понравилось, когда вы упомянули только пример статьи «Внимание — это все, что вам нужно», о том, как вы хотели привлечь эту разнородную группу людей, чьи увлечения были, как вы знаете, довольно ортогональны друг другу. И в некотором смысле, когда вы занимаетесь этим в биологии, и особенно в том, что вы делаете в Inceptive, вы также должны вкладывать всю эту работу в создание данных. И генерация данных на самом деле означает, если быть очень точным, проведение биологических экспериментов в масштабе. Сама часть ввода очень дорогая и очень техническая, и, как вы сказали, есть много способов пойти не так. Но похоже, что вы строите культуру, которую вы делали раньше, и теперь это просто больше экспертов с разными увлечениями, координирующих свои действия аналогичным образом.

Якоб Ушкорейт: Мне действительно нужно, [и] людям это нужно. Насколько я могу судить, это наиболее перспективное направление. [Это] не стремление в определенном смысле к конвейерной модели, где определенные данные в лаборатории, в которой они были созданы, с учетом наших знаний об основных аспектах жизни. А затем начать запускать на нем существующие подходы к глубокому обучению, а затем настраивать их. Но вместо этого на самом деле иметь людей, которые, в определенном смысле, могут быть одними из первых людей, которые действительно работают в дисциплине, которая в настоящее время еще не имеет большого имени.

Возможно, наименее общим знаменателем является любопытство, которое выходит за рамки того, что вы знаете, чему научились раньше и на что, возможно, потратили большую часть своего времени. Мы обнаруживаем, что, как и во многих других областях, нам действительно нужна группа людей с очень разным опытом, но разделяющих любопытство.

Куда движется ИИ?

Виджай Панде: Как вы думаете, где сейчас находится ИИ для решения более сложных задач, разработки лекарств, здравоохранения и так далее? Что нужно сделать? Когда он там появится?

Якоб Ушкорейт: Я ожидаю — а делать прогнозы на будущее всегда очень опасно — я был бы очень удивлен, если в течение следующих трех лет мы на самом деле не начнем наблюдать [переломный] момент, когда дело доходит до реальных последствий машинное обучение, крупномасштабное глубокое обучение в разработке лекарств, дизайн лекарств. Где именно они будут первыми, конечно, я считаю, что многие из них будут связаны с РНК, РНК-терапией и вакцинами. Это, безусловно, будет не единственной областью, затронутой этим, но я определенно думаю, что мы приближаемся к территории переломного момента.

Виджай Панде: Вы сделали интересное замечание. Чем отличается РНК? Потому что я думаю, что особенно интересно не только то, что вы перешли от Google Brain к биологии, но и конкретно к РНК. Что вас привлекает в РНК, особенно с точки зрения ИИ или машинного обучения?

Якоб Ушкорейт: Что интересно в отношении РНК, так это сочетание, как мы видели, очень широкой применимости — хотя она все еще узка в смысле единственного показания — но просто глядя на эту волну процессов утверждения, которая начинается и началась, это довольно Ясно, что применимость очень и очень широка в сочетании с — это немного двусмысленно — структурно простой проблемой. И это структурно просто не в том смысле, что предсказание структуры РНК просто, а в том смысле, что это биополимер с четырьмя различными основаниями. Мы не говорим о более чем 20 аминокислотах. Это то, что можно производить достаточно эффективно.

Там есть некоторые проблемы, но синтез — это то, что может масштабироваться и масштабируется быстро, и эти вещи действительно объединяются, чтобы обеспечить эту быструю петлю обратной связи, на которую, я думаю, часто ссылаются, но очень редко, по крайней мере, насколько я знаю, на самом деле реализуется и реализовать в конце дня.

Виджай Панде: Да, возможно, это более быстрая петля обратной связи, особенно для того, как вы к этому стремитесь.

Якоб Ушкорейт: Да. И учитывая, что я считаю, что нам нужно создать львиную долю данных для обучения моделей, которые мы обучаем, мы действительно инвестируем Inceptive в создание таких данных в масштабе. И я бы сказал, относительно довольно масштабный, учитывая, что РНК кажется лучшей комбинацией, когда речь идет о структурной простоте, а также о масштабируемости синтеза и экспериментов. Здесь заложен огромный потенциал, который до сих пор оставался неиспользованным.

Виджай Панде: Да, и я думаю, особенно потенциальная возможность иметь эти быстрые циклы, как доклинические, так и, следовательно, быстрее добираться до клиники и находиться в клинике [в течение более короткого периода времени].

Якоб Ушкорейт: Абсолютно. Это действительно то, на что мы надеемся. Мы также видим, возможно, ранние намеки, указывающие на то, что это может быть так, и что мы, конечно, очень, очень взволнованы этим.

Виджай Панде: Думать о последних 10 годах было удивительно, знаете ли, с 2012 года по настоящее время. Как вы думаете, какими будут ближайшие 10 лет? Как вы думаете, где мы будем через 10 лет с ИИ? Либо в целом, либо специально для био?

Якоб Ушкорейт: Я думаю, что если это действительно правда, что мы входим в эту точку перелома, то, когда мы оглянемся через 10 лет, это будет похоже на революцию, по крайней мере, такую ​​же большую и обширную, как та, которую мы думаем, мы видели в последние 10 лет. По крайней мере. Теперь я думаю, что будет решающее различие, и оно заключается в том, что не совсем ясно, насколько широко революция, которую мы наблюдаем в последние 10 лет, влияет на жизнь каждого. Есть определенные области, поисковые системы или вспомогательное письмо и т. д., где это очевидно, но неясно, насколько широко применима эта революция. Я считаю, что это очень так, но мы пока этого не видим. Я думаю, что революция, которую мы увидим именно в области биологии в течение следующих 10 лет, или которую мы собираемся оглянуться назад через 10 лет, действительно будет отличаться с точки зрения ее глубокого влияния на всю нашу жизнь. .

Даже если оставить в стороне приложения для разработки и открытия лекарств, есть такие удивительные приложения в области научных открытий и вокруг них, что теперь вы можете себе представить, что с помощью веб-интерфейса вы можете в основном сконструировать молекулы, которые в определенных организмах с очень высокой вероятностью собираются. отвечать на определенные вопросы, производя более надежные данные, чем те, которые вы могли получить раньше. Таким образом, даже если не учитывать всю сложность того, как это повлияет, в конечном счете, на пациентов и всех остальных, я думаю, довольно ясно, что эти инструменты просто быстро ускорят такие области, как биология.

Виджай Панде: Кажется, это отличное место, чтобы покончить с этим. Большое спасибо, Джейкоб, за то, что присоединились к Bio Eats World.

Якоб Ушкорейт: Большое спасибо за то, что приняли меня.

Оливия Уэбб: Спасибо, что присоединились к Bio Eats World. Bio Eats World организована и продюсирована мной, Оливией Уэбб, с помощью команды Bio + Health в a16z и под редакцией Фила Хегсета. Bio Eats World является частью сети подкастов a16z.

Если у вас есть вопросы об этом эпизоде ​​или вы хотите предложить темы для следующего эпизода, напишите нам по электронной почте. И последнее, но не менее важное: если вам нравится Bio Eats World, оставьте нам оценку и отзыв, где бы вы ни слушали подкасты.

Обратите внимание, что содержимое здесь предназначено только для информационных целей, не должно восприниматься как юридическая, деловая, налоговая или инвестиционная консультация или использоваться для оценки каких-либо инвестиций или ценных бумаг, а также не направлено ни на каких инвесторов или потенциальных инвесторов в какой-либо фонд a16z. . Дополнительные сведения см. на странице a16z.com/disclosures.

Мнения, выраженные здесь, принадлежат отдельным цитируемым сотрудникам AH Capital Management, LLC («a16z») и не являются мнением a16z или ее аффилированных лиц. Определенная информация, содержащаяся здесь, была получена из сторонних источников, в том числе от портфельных компаний фондов, управляемых a16z. Хотя информация взята из источников, считающихся надежными, a16z не проводила независимую проверку такой информации и не делает никаких заявлений о неизменной точности информации или ее уместности в данной ситуации. Кроме того, этот контент может включать стороннюю рекламу; a16z не просматривал такие рекламные объявления и не поддерживает какой-либо рекламный контент, содержащийся в них.

Этот контент предоставляется только в информационных целях и не может рассматриваться как юридическая, деловая, инвестиционная или налоговая консультация. Вы должны проконсультироваться со своими советниками по этим вопросам. Ссылки на любые ценные бумаги или цифровые активы предназначены только для иллюстративных целей и не представляют собой инвестиционную рекомендацию или предложение предоставить консультационные услуги по инвестициям. Кроме того, этот контент не предназначен и не предназначен для использования какими-либо инвесторами или потенциальными инвесторами, и ни при каких обстоятельствах на него нельзя полагаться при принятии решения об инвестировании в какой-либо фонд, управляемый a16z. (Предложение инвестировать в фонд a16z будет сделано только в меморандуме о частном размещении, договоре о подписке и другой соответствующей документации любого такого фонда, и их следует читать полностью.) Любые инвестиции или портфельные компании, упомянутые, упомянутые или описанные не являются репрезентативными для всех инвестиций в транспортные средства, управляемые a16z, и нет никаких гарантий, что инвестиции будут прибыльными или что другие инвестиции, сделанные в будущем, будут иметь аналогичные характеристики или результаты. Список инвестиций, сделанных фондами, управляемыми Andreessen Horowitz (за исключением инвестиций, в отношении которых эмитент не предоставил разрешение на публичное раскрытие информации a16z, а также необъявленных инвестиций в публично торгуемые цифровые активы), доступен по адресу https://a16z.com/investments. /.

Диаграммы и графики, представленные в нем, предназначены исключительно для информационных целей, и на них не следует полагаться при принятии каких-либо инвестиционных решений. Прошлые показатели не свидетельствуют о будущих результатах. Содержание говорит только по состоянию на указанную дату. Любые прогнозы, оценки, прогнозы, цели, перспективы и/или мнения, выраженные в этих материалах, могут быть изменены без предварительного уведомления и могут отличаться или противоречить мнениям, выраженным другими. Пожалуйста, посетите https://a16z.com/disclosures для получения дополнительной важной информации.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/