Bio Eats World: Wykorzystanie sztucznej inteligencji do dalszego rozwoju bio

W tym odcinku Vijay Pande rozmawia z Jakobem Uszkoreitem, współzałożycielem i dyrektorem generalnym Inceptive. Wspólnie dyskutują o wszystkim, co dotyczy sztucznej inteligencji.

Poniżej publikujemy pełną transkrypcję, na wypadek gdybyś chciał przeczytać dalej.

***

Oliwia Web: Witamy w Bio Eats World, podcaście z pogranicza bio, opieki zdrowotnej i technologii. Jestem Olivia Webb, szefowa redakcji Bio + Health w a16z. W tym odcinku rozmawialiśmy z Jakobem Uszkoreitem, byłym pracownikiem Google Brain, współzałożycielem Inceptive. Jakob jest także jednym z autorów przełomowego artykułu badawczego dotyczącego sztucznej inteligencji Uwaga to wszystko, czego potrzebujesz, do którego link podamy w notatkach do programu. Jakob spotkał się z Vijayem Pande, współzałożycielem a16z Bio + Health, aby porozmawiać o wszystkim, co dotyczy sztucznej inteligencji: od czasu pracy w Google Brain, przez sposób, w jaki ludzie i komputery przetwarzają język, po wiarę firmy Inceptive w obietnicę RNA i to, jak Jakob wierzy, że wkraczamy na terytorium punktu przegięcia z AI.

To odcinek, którego nie chcesz przegapić — ale jest to również dyskusja na poziomie absolwentów na temat sztucznej inteligencji, więc opublikujemy transkrypcję wraz z odcinkiem. Zacznijmy.

Stosowane algorytmy

Vijay Pande: Tak więc, Jakob, bardzo dziękuję za bycie w Bio Eats World. Wspaniale jest cię mieć.

Jakub Uszkoreit: Wspaniale być tutaj. Dziękuje za gościnę.

Vijay Pande: Szczególnie, że masz tak fascynującą historię jako informatyk, przedsiębiorca i założyciel, chciałbym, abyś poprowadził nas przez swoją karierę zawodową, zaczynając od dowolnego miejsca, ale to, co doprowadziło Cię do Google Brain, jest prawdopodobnie dobrym miejscem do rozpoczęcia .

Jakub Uszkoreit: Pamiętam do pewnego stopnia naprawdę, uh, napotkanie problemu uczenia maszynowego, być może w najszerszym tego słowa znaczeniu, [i] rozumienia języka, nieco dokładniej, jako problem rodzinny. Więc mój tata jest informatykiem i lingwistą komputerowym i wiesz, dorastając, takie rzeczy jak maszyny Turinga niekoniecznie były całkiem obcymi koncepcjami dość wcześnie.

Vijay Pande: Tak, wygląda na to, że w rzeczywistości mogła to być rozmowa przy obiedzie.

Jakub Uszkoreit: Były to rozmowy przy stole. Tak więc, zwłaszcza automaty skończone i to, jak faktycznie odnoszą się do automatów sprzedających, były częstymi tematami. Im byłam starsza, tym bardziej chciałam mieć pewność, że ostatecznie robię coś innego. I tak skończyło się na tym, że trochę zagłębiłem się w czystą matematykę i dziedziny pokrewne. [Ja] naprawdę skupiłem się trochę na optymalizacji, algorytmach optymalizacyjnych, ogólnie algorytmach, szerzej teorii złożoności, zanim zdałem sobie sprawę, że być może nie była to najbardziej praktyczna i najbardziej odpowiednia rzecz, co, wiesz, stało się trochę czerwona nić przez całą moją karierę. A potem dosłownie natknąłem się na staż w Google w 2005 roku.

Dostałem kilka różnych opcji [co do] tego, do jakiego rodzaju projektów badawczych dołączyć, [i] wśród nich były różne wysiłki związane z wizją komputerową, ale także projekt tłumaczenia maszynowego, który w zasadzie stał się Tłumaczem Google. Mniej więcej w tym czasie lub trochę wcześniej [Tłumacz] uruchomił swój pierwszy produkt, który był naprawdę oparty na wewnętrznych systemach Google, które zostały opracowane i w pewnym sensie, ku mojemu wielkiemu przerażeniu, okazuje się, że Tłumacz Google na czas zdecydowanie miał najciekawsze problemy z algorytmami na dużą skalę.

W tamtym czasie było to naprawdę interesujące, ponieważ tym, co przekonało mnie do przerwania doktoratu i powrotu do Google po tym stażu, było to, że stało się oczywiste, że jeśli chcesz pracować nad czymś w uczenie maszynowe, które było nie tylko interesujące i, powiedzmy, intelektualnie i naukowo, ekscytujące, stanowiące wyzwanie i stymulujące, ale także dawało duże nadzieje na natychmiastowe poruszenie igły w przemyśle i produktach. W tamtych czasach naprawdę nie było zbyt wielu miejsc na świecie. I z pewnością nie były to wówczas laboratoria akademickie, ale miejsca takie jak Google. A Google tam i wtedy było w rzeczywistości bardzo na czele tego. I tak, wiesz, w tamtym czasie myślałem, że to niesamowite uruchomić moje pierwsze algorytmy klastrowania na dużą skalę na tysiącu maszyn, a było to po prostu absolutnie niemożliwe, aby zrobić to gdzie indziej.

Vijay Pande: Kiedy rozmawia się z naszymi starszymi kolegami, można dostrzec wiele romantyzmu okresu rozkwitu Bell Labs i zawsze zastanawiałem się, czy Google Brain nie może być dzisiaj jednym z bliższych wariantów. Jakie było otoczenie?

Jakub Uszkoreit: Czuję więc, że między tym czasem a początkiem Google Brain, czyli mniej więcej pięć lat później, nastąpiła znacząca zmiana. Zanim firma Brain and Translate zaczęła działać, była znacznie bardziej napędzana przez produkty, które naprawdę robiły różnicę, niż myślę, że Bell Labs. I oczywiście mieliśmy wśród nas wielu absolwentów Bell Labs, ale było to o wiele bardziej motywowane bezpośrednim zastosowaniem.

Co było dla mnie naprawdę niesamowite, jak tłumaczenie maszynowe zmieniło się [z czegoś, co] było dobre do śmiechu na przyjęciu, całkiem dosłownie. Gdyby cię zapytali, gdzie pracujesz? A ty powiedziałeś, Google. A potem powiedzieli: co tam robisz? I na początku byli pod wrażeniem. A potem powiedziałeś, och, pracuję nad Tłumaczem Google. A potem śmiali się i pytali, czy to kiedykolwiek zadziała? nie sądzę. Ale w tym samym czasie powiedziałbym, że fala uczenia maszynowego, renesansowa fala uczenia maszynowego sprzed głębokiego uczenia się, zaczęła się stabilizować. Wiesz, głębokie uczenie się było czymś, co robiłem wcześniej w szkole i podobało mi się to, ale nie było to coś, co można było naprawdę zastosować w tamtych czasach.

Vijay Pande: Tak, szczególnie dlatego, że nie miałeś skali w środowisku akademickim, aby wykonać obliczenia, które musiałbyś wykonać.

Jakub Uszkoreit: Na pewno nie w środowisku akademickim, ale nawet w Google. Chociaż w tamtym czasie w Tłumaczu najbardziej interesującą cechą wyróżniającą było, powiedziałbym, naprawdę wierzyliśmy w absolutną moc danych na koniec dnia.

Staraliśmy się więc nie tworzyć bardziej skomplikowanych, bardziej wyrafinowanych algorytmów, ale zamiast tego upraszczać je i skalować tak bardzo, jak to możliwe, a następnie umożliwiać im trenowanie na coraz większej liczbie danych. Ale po prostu uderzyliśmy w sufit. Uproszczenia, które trzeba było wprowadzić, aby skalować je do ówczesnej skali Google, to był naprawdę nasz cel. Ale wtedy, i to był jeden z tych wahadłowych ruchów, wycofywanie się, poza środowisko akademickie, grupa ludzi z wieloma procesorami graficznymi – głębokie uczenie się powróciło w pewnym sensie z zemstą. I nagle środowisko się dostosowało, ponieważ nie było jasne, jaka będzie bezpośrednia ścieżka do produkcji na dużą skalę.

I tak całe środowisko zmieniło się z bardziej zorientowanego na aplikacje i produkty na coś, co przynajmniej przez kilka lat wydawało się znacznie bardziej akademickie. To wciąż trochę różni się od laboratoriów akademickich, ponieważ mogliśmy sobie pozwolić na znacznie więcej procesorów graficznych, ale w pewnym sensie o wiele bardziej zgodne z ideą [bycia] napędzanym publikacjami, napędzanym skokami, a nie krokami. [To] zmieniło się w bardzo, bardzo produktywne — i naprawdę niesamowite — ale o wiele bardziej otwarte [środowisko].

Uwaga to wszystko, czego potrzebujesz

Vijay Pande: Cóż, wiesz, mówiąc o publikacjach, naturalnym momentem do przemyślenia jest opublikowanie przez ciebie i zespół „Attention is All You Need”. I wiesz, to był przełomowy artykuł dla tak dużej części generatywnej sztucznej inteligencji, odkąd po raz pierwszy opracowano algorytm transformatora.

Jakub Uszkoreit: Dwa lata przed opublikowaniem tego artykułu zdaliśmy sobie sprawę, że to, co było wówczas najnowocześniejsze w przypadku problemów takich jak tłumaczenie maszynowe, lub [co] pojawiało się jako najnowocześniejsze, a mianowicie oparte na LSTM lub RNN , Seq2Seq ogólnie jako paradygmat szkoleniowy i jako konfiguracja, ale także jako architektura sieciowa — miał niesamowite problemy nawet z najnowocześniejszymi procesorami graficznymi w tamtym czasie, jeśli chodzi o skalowanie pod względem danych.

Na przykład, pierwszy neuronowy system tłumaczenia maszynowego uruchomiony przez Google, GNMT, w rzeczywistości, o ile mi wiadomo, nigdy tak naprawdę nie był trenowany na wszystkich dostępnych danych szkoleniowych, które wcześniej wydobywaliśmy dla systemów statystycznych opartych na frazach. A to dlatego, że algorytmy po prostu nie skalowały się dobrze pod względem ilości danych. Krótko mówiąc, w tamtym czasie nie zajmowaliśmy się tłumaczeniem maszynowym, ale problemami, w przypadku których wewnętrznie w Google mieliśmy dostęp do jeszcze większych ilości danych szkoleniowych. Więc to były problemy, które pojawiły się podczas wyszukiwania, gdzie masz w zasadzie kolejne trzy lub cztery rzędy wielkości. Wiesz, teraz nie ma już miliardów słów, ale łatwo biliony, i nagle napotkaliśmy ten wzorzec, w którym proste sieci sprzężenia zwrotnego, mimo że przyjęły absurdalne upraszczające założenia, takie jak, to tylko worek słów, albo to tylko worek bigramów , a ty ich uśredniasz i wysyłasz przez duży MNLP, w rzeczywistości osiągają lepsze wyniki niż RNN i LSTM, przynajmniej po przeszkoleniu na większej ilości danych.

[I byli] n-razy szybsi, z łatwością 10, 20 razy szybsi w trenowaniu. I tak możesz wyszkolić ich na znacznie większej ilości danych. W niektórych przypadkach trenowali sto razy szybciej. I tak konsekwentnie kończyliśmy na modelach, które były prostsze i które nie mogły wyrazić ani uchwycić pewnych zjawisk, o których wiemy, że są zdecydowanie powszechne w języku.
A jednak, wiesz, w ostatecznym rozrachunku, były tańsze w trenowaniu i [oni] osiągali lepsze wyniki.

Vijay Pande: Podajmy przykład dla osób, które nie są zaznajomione. Więc, jeśli chodzi o worek słów, jeśli powiem, pokaż mi wszystkie restauracje w pobliżu oprócz włoskiej, pokaże ci wszystkie włoskie restauracje, prawda?

Jakub Uszkoreit: Dokładnie tak. W rzeczywistości to, co powiedziałeś, prawdopodobnie można zmienić, aby pokazać mi wszystkie włoskie restauracje z wyjątkiem pobliskich. To tylko zupa słów i możesz zmienić jej kolejność w coś, co zdecydowanie oznacza coś innego.

Vijay Pande: Tak.

Jakub Uszkoreit: A następnie zbliżasz się do struktury i docierasz do bardziej globalnych zjawisk, umieszczając bigram. Więc w zasadzie grupy dwóch następujących po sobie słów i tym podobne rzeczy. Ale jasne jest, że z pewnością w językach takich jak niemiecki, gdzie można w zasadzie umieścić czasownik na samym końcu zdania…

Vijay Pande: I to zmienia całe znaczenie, prawda?

Jakub Uszkoreit: Zmienia całe znaczenie, dokładnie tak. Bez względu na rozmiar twoich n-gramów — lub małych grup słów — ostatecznie nie odniesiesz sukcesu. I stało się dla nas jasne, że musi istnieć inny sposób, który nie wymaga powtarzania długości RNN ani powtarzania się sekwencji, powiedzmy słów lub pikseli, ale który faktycznie przetwarza dane wejściowe i wyjściowe w bardziej równoległy sposób i naprawdę ostatecznie zaspokoić mocne strony nowoczesnego sprzętu akceleratora.

Vijay Pande: Pomyśl o tym, jak worek słów to słowa w przypadkowej kolejności. LSTM, czyli długa pamięć krótkotrwała, może daje ci jakąś [zdolność] spojrzenia [w] przeszłość, prawda? Ale transformers robi coś zupełnie innego. Jak transformers przenosi to na wyższy poziom?

Jakub Uszkoreit: Zawsze można na to spojrzeć na dwa sposoby. Jeden jest przez pryzmat wydajności, ale drugi, być może nieco bardziej intuicyjny, polega na spojrzeniu na to pod kątem, wiesz, ile kontekstu możesz utrzymać. I tak jak powiedziałeś, LSTM lub ogólnie rekurencyjne sieci neuronowe przechodzą przez swoje dane wejściowe krok po kroku, ogólnie rzecz biorąc, i chociaż teoretycznie są w stanie utrzymywać dowolnie długie okna kontekstowe do danych wejściowych - przeszłości - co dzieje się w praktyce, jest to, że w rzeczywistości bardzo trudno jest im zidentyfikować zdarzenia, powiedzmy słowa lub piksele, które są bardzo odległe w przeszłości i naprawdę wpływają na znaczenie na koniec dnia. Mają tendencję do skupiania się na rzeczach, które są w pobliżu.

Z drugiej strony transformator po prostu stawia to na głowie i mówi: nie, na każdym kroku to, co robimy, nie przechodzi przez wejście. Na każdym kroku patrzymy na całość danych wejściowych lub wyjściowych i zasadniczo stopniowo poprawiamy reprezentacje każdego słowa, każdego piksela, każdej poprawki lub każdej klatki wideo, ponieważ zasadniczo poruszamy się, a nie w przestrzeni wejściowej , ale w przestrzeni reprezentacji.

Vijay Pande: Tak.

Jakub Uszkoreit: Ten pomysł miał pewne wady, jeśli chodzi o dopasowanie go do nowoczesnego sprzętu, ale w porównaniu z rekurencyjnymi sieciami neuronowymi miał przede wszystkim zalety, ponieważ teraz nie trzeba było sekwencyjnie obliczać reprezentacji, powiedzmy słowo w słowo. To, czym byłeś związany, to tak naprawdę, jak dobre powinny być? Ile warstw tego rodzaju równoległego przetwarzania wszystkich pozycji, w których wszystko, gdzie wszystkie pary słów lub wszystkie pary plam obrazu mogą od razu oddziaływać? Na ile rewizji tych przedstawień tak naprawdę mogę sobie „pozwolić”?

Vijay Pande: Interesujące jest również to, że oczywiście inspiracją jest język naturalny, ale istnieje wiele struktur, które chciałbyś wprowadzić, a nie chcesz po prostu studiować ich sekwencyjnie, jak sekwencja DNA - i przejdziemy do biologii wystarczająco szybko — że chcesz mieć model całości.

To trochę zabawne z językiem. Kiedy mówię lub kiedy cię słucham, przetwarzam każde słowo, ale w końcu muszę nie tylko przekształcić słowa w indywidualne znaczenia, ale muszę jakoś rozwinąć tę reprezentację. Tak? Chciałbym, żebyśmy mogli zrobić to tak, jak robią to transformersy. I może na tym polega sztuczka, że ​​LSTM są bliższe sposobowi, w jaki robimy to my, ludzie, a transformatory są może po prostu sposobem, w jaki powinniśmy to robić, albo chciałbym, żebyśmy mogli to zrobić.

Jakub Uszkoreit: Z pozoru wydaje mi się, że to prawda, chociaż w ostatecznym rozrachunku takie argumenty introspekcyjne są subtelne i podstępne.

Myślę więc, że wielu z nas zna to zjawisko, gdy krzyczysz lub krzyczysz z kimś, kto próbuje coś zakomunikować po drugiej stronie ruchliwej ulicy. I tak słyszysz coś, co mówią, i to nie jest krótki ciąg słów, iw zasadzie nic nie zrozumiałeś. Ale pół sekundy później nagle zrozumiałeś całe zdanie. W rzeczywistości wskazuje to na fakt, że chociaż jesteśmy zmuszeni pisać i wypowiadać język w sposób sekwencyjny - tylko z powodu strzałki czasu - nie jest tak jasne, czy nasze głębsze zrozumienie naprawdę przebiega w ten sekwencyjny sposób.

Budowanie zespołu

Vijay Pande: Jeśli ktoś studiuje choćby tylko artykuł Uwaga jest wszystkim, czego potrzebujesz lub jak działa transformator, jest w tym wiele części. I wygląda na to, że prawdopodobnie minął już punkt, w którym jedna osoba mogłaby skutecznie wykonać tę pracę samodzielnie w dowolnym krótkim okresie czasu.

Jakub Uszkoreit: Absolutnie.

Vijay Pande: Więc teraz naprawdę potrzebujesz zespołu ludzi do robienia tego typu rzeczy. Jaka jest z tego socjologia? Jak coś takiego powstaje?

Jakub Uszkoreit: Osobiście uważam, że ten konkretny przypadek jest naprawdę wspaniałym przykładem czegoś, co wyjątkowo dobrze pasuje do bardziej, powiedzmy, przemysłowego podejścia do badań naukowych. Bo dokładnie masz rację. To nie była jedna wielka iskra wyobraźni i kreatywności, która to wszystko zapoczątkowała.

To była naprawdę cała masa wkładów, które ostatecznie były konieczne. Mając środowisko, bibliotekę — która później również była open source pod nazwą Tensor2Tensor — która faktycznie zawierała implementacje. I to nie byle jakie implementacje, ale wyjątkowo dobre implementacje, szybkie implementacje wszelkiego rodzaju sztuczek głębokiego uczenia.
Ale potem także aż do tych mechanizmów uwagi, które wyszły z poprzednich publikacji – jak opublikowany wcześniej model dekompozycji uwagi – ale potem zostały faktycznie połączone z ulepszeniami i innowacjami, wynalazkami wokół optymalizatorów. Myślę, że nie znajdziesz ludzi, którzy naprawdę należą do czołowych światowych ekspertów we wszystkich tych dziedzinach jednocześnie i którzy są naprawdę podobnie pasjonatami wszystkich tych aspektów.

Vijay Pande: A zwłaszcza jest początkowy pomysł, jest jego realizacja, jest skalowanie. Osiągnięcie tego rodzaju skali gdziekolwiek indziej niż w dużej firmie, w tej chwili, jest prawdopodobnie niewykonalne tylko ze względu na koszty.

Jakub Uszkoreit: Myślę, że właściwie może aspekt dużej firmy nie jest aż tak istotny.

Vijay Pande: Tak?

Jakub Uszkoreit: Aspekt firmy jest tym, który ceniłbym wyżej. Duża firma z pewnością nie zaszkodzi, jeśli potrzebujesz tysięcy TPU lub procesorów graficznych lub czegokolwiek innego. Głębokie kieszenie nigdy nie zaszkodziły takim rzeczom. Ale jednocześnie uważam, że struktura motywacyjna wokół tego rodzaju badań eksploracyjnych w przemyśle jest znacznie lepiej dopasowana do tego rodzaju projektów. Myślę, że właśnie to obserwujemy, patrząc na generatywne projekty sztucznej inteligencji we wszystkich dziedzinach.

Vijay Pande: Tak. I do twojego punktu, to może być startup.

Jakub Uszkoreit: To na pewno może być start-up. I myślę, że teraz widzimy, że używanie sprzętu akceleracyjnego staje się co najmniej bardziej przystępne cenowo. Są też startupy, które bardzo mocno konkurują, jeśli chodzi o generatywną sztuczną inteligencję ukierunkowaną na generowanie obrazu lub generowanie tekstu.

Skoki do nauk przyrodniczych

Vijay Pande: Chętnie zamienię się w to, co teraz robisz. Jesteś dyrektorem generalnym Inceptive, firmy, która stosuje sztuczną inteligencję w biologii RNA do terapii RNA. Jak przeniosłeś się na nauki przyrodnicze? Powierzchownie, rozmawianie o modelach językowych przy kolacji [stole], a następnie wokół stołówki Google… wydaje się, że może to być skok do następnej generacji terapii. Jak do tego doszło?

Jakub Uszkoreit: Nie mogłem się bardziej zgodzić. To niesamowite, pouczające doświadczenie z mojej strony. Od dłuższego czasu biologia wydawała mi się takim problemem, że nie wydaje się nie do pomyślenia, że ​​istnieją granice tego, jak daleko możemy się posunąć w zakresie, powiedzmy, opracowywania leków i bezpośredniego projektowania z tradycyjną biologią jako podstawą tego, jak zająć się projektowaniem — lub odkrywaniem metod projektowania — leków przyszłości.

Wydaje się, że głębokie uczenie się, w szczególności na dużą skalę, jest z wielu powodów potencjalnie bardzo przydatnym narzędziem. A jednym z tych powodów jest coś, co często niekoniecznie jest rozliczane jako zaleta, a mianowicie fakt, że jest to wielka czarna skrzynka, którą można po prostu w coś rzucić. I nie jest prawdą, że można tak po prostu rzucić. To coś, co musisz wiedzieć, jak to rzucić.

Vijay Pande: I nie jest też do końca czarny. Później możemy się o to kłócić.

Jakub Uszkoreit: Tak, dokładnie. Dokładnie tak. Ale na koniec dnia, wracając do analogii do języka, nigdy nie udało nam się w pełni, w tym sensie, zrozumieć i skonceptualizować języka w stopniu, w jakim można by twierdzić, och, teraz pójdę i powiem ci tę teorię stojącą za językiem, a następnie będziesz w stanie zaimplementować algorytm, który go „zrozumie”. Nigdy nie doszliśmy do tego punktu. Zamiast tego musieliśmy przerwać i zrobić krok wstecz i, moim zdaniem, do pewnego stopnia przyznać przed samym sobą, że może to nie było najbardziej pragmatyczne podejście. Zamiast tego powinniśmy wypróbować podejścia, które nie wymagają tego poziomu zrozumienia pojęciowego. I myślę, że to samo może dotyczyć części biologii.

Wykorzystanie sztucznej inteligencji, aby przenieść biografię dalej

Vijay Pande: To ciekawe, rozmawialiśmy już o takich rzeczach. Myślisz o ostatnim stuleciu, które było w dużej mierze stuleciem fizyki i rachunku różniczkowego. Istnieje pewna mentalność, w której istnieje sposób na bardzo eleganckie uproszczenie rzeczy, dzięki czemu można mieć pojedyncze równanie, takie jak równania pola Einsteina, które opisuje tak wiele, a to jest bardzo proste równanie w bardzo złożonym języku. Mówiłeś o tym, że podejście Feynmana, prawie jak socjologia fizyki, może nie mieć zastosowania w biologii, prawda?

Jakub Uszkoreit: Może nie mieć zastosowania, przynajmniej z dwóch powodów, które widzę w tym momencie. Po pierwsze, zaangażowanych jest zbyt wielu graczy. I chociaż prawdą jest, że być może możemy po prostu zredukować to wszystko do równania Schrodingera i po prostu je rozwiązać, tak się składa, że ​​jest to nie tylko trudne obliczeniowo, ale także musielibyśmy wiedzieć o tych wszystkich różnych graczach, a obecnie nie . Nawet nie blisko. Więc to jest jeden aspekt.

A drugi to w zasadzie niewykonalność obliczeniowa, gdzie redukcja w pewnym sensie zaszła tak daleko, że chociaż sprowadza wszystko z powrotem do jednej rzeczy, to nam nie pomaga, ponieważ nasze podejście obliczeniowe zasadniczo wykorzystuje te podstawy w celu przewidywania są po prostu zbyt wolne, aby przewidywać systemy wystarczająco duże, aby naprawdę miały znaczenie dla życia.

Vijay Pande: Tak. Więc to nie jest równanie n-ciałowe, ale wciąż istnieje poczucie formalizmu - może jest to formalizm bardziej oparty na danych lub bardziej formalizm bayesowski. Jak to wpływa na to, co chciałbyś robić? W jaki sposób przekłada się to na stosowanie sztucznej inteligencji i innych rodzajów nowych algorytmów?

Jakub Uszkoreit: Myślę, że jest kilka różnych aspektów. Na koniec dnia, moim zdaniem, jednym z największych wniosków płynących z tego, co obecnie obserwujemy w generatywnej sztucznej inteligencji, jest to, że nie musimy już trenować na danych, które są nie tylko idealnie czyste, ale także dokładnie z domeny oraz od rodzaju zadań, którymi chciałbyś się później zająć. Ale zamiast tego może to być bardziej korzystne, a nawet jedyny sposób, jaki do tej pory znaleźliśmy, aby faktycznie spróbować trenować na wszystkim, co znajdziesz, co jest nawet zdalnie powiązane. A następnie wykorzystaj informacje skutecznie zebrane z tych danych, aby otrzymać tak zwane modele podstawowe, które możesz następnie dostroić do wszelkiego rodzaju konkretnych zadań przy użyciu znacznie mniejszych, znacznie łatwiejszych w obsłudze ilości czystszych danych.

Myślę, że trochę nie doceniamy tego, co musimy wiedzieć o zjawiskach w ogóle. Aby zbudować bardzo dobry duży model językowy, musisz zrozumieć, że istnieje coś takiego jak Internet i zawiera dużo tekstu. W rzeczywistości musisz trochę zrozumieć, jak znaleźć ten tekst, co nie jest tekstem i tak dalej, aby następnie w zasadzie wydestylować z niego dane treningowe, których następnie używasz.

Wierzę, że w biologii pojawią się bardzo bezpośrednio analogiczne wyzwania. Najważniejsze pytanie brzmi: jakie eksperymenty możemy przeprowadzić na taką skalę, że będziemy mogli obserwować życie w wystarczającej skali z prawie wystarczającą wiernością – ale znacznie mniejszą szczegółowością, pamiętając o problemach, które ostatecznie próbujecie rozwiązać – tak, że możemy zasadniczo weźmy z tego dane, których potrzebujemy, aby zacząć budować te podstawowe modele, które możemy następnie wykorzystać, dopracowane i specjalnie zaprojektowane, aby naprawdę podejść do problemów, którymi chcemy się zająć.

Część generowania danych jest z pewnością jedną z nich. Architektury i skutecznie posiadające modele i architektury sieciowe, które naśladują to, co wiemy, na przykład o fizyce pod spodem, nadal pozostaną niesamowicie potężnym sposobem faktycznego oszczędzania obliczeń, a także zmniejszania wciąż ogromnego apetytu na dane, które te modele będą musiały mieć , do możliwego poziomu. Uważam, że warto zauważyć, że wiele obecnych zastosowań modeli, na przykład transformatorów, które okazały się dość dobrze skalować w innych modalnościach, innych domenach, języku, wizji, generowaniu obrazów, itd., itd., a zastosowanie ich do biologii zasadniczo ignoruje fakt, że wiemy, że istnieje coś takiego jak czas i że prawa fizyki, przynajmniej zgodnie z naszą najlepszą wiedzą, nie wydają się tak po prostu zmieniać nadgodziny.

Proces fałdowania białka, ignorując fakt, że istnieje mnóstwo graczy – opiekunów i tak dalej – jest właściwie w pewnym sensie problemem dość arbitralnie oddzielonym od pozostałej części kinetyki białek. To tyle samo kinetyki, co pozostała część kinetyki lub pozostała część życia tego białka, tej cząsteczki. Dlaczego więc próbujemy trenować modele specjalnie dla jednego i potencjalnie przynajmniej ignorować dane, które możemy mieć na temat drugiego? W tym przypadku, może dokładniej, czy niektóre modele przewidywania struktury białek, które mamy dzisiaj, uczą się już czegoś o kinetyce, ponieważ powoli zaczynają akceptować istnienie czasu?

Opracowywanie nowych architektur

Vijay Pande: Jedną z interesujących rzeczy, które myślę o tym, gdzie teraz jesteś, jest to, że z kilkoma rzadkimi wyjątkami większość głębokich sieci neuronowych lub innych rodzajów sztucznej inteligencji w biologii ma wrażenie, że bierze coś wymyślonego gdzie indziej i przenosi to. Na przykład użyjemy konwolucyjnych sieci neuronowych do obrazów. Może dla małych cząsteczek… w moim laboratorium w Stanford używaliśmy grafowych sieci neuronowych i kilku konwolucyjnych sieci neuronowych. Ale naprawdę rzadkie jest opracowanie algorytmu bezpośrednio dla problemu biologicznego. I zawsze zakładałem, że dzieje się tak dlatego, że po prostu trudno jest mieć silny zestaw umiejętności zespołu w dziedzinie biologii i informatyki. Ale jestem ciekaw twojej opinii. A może po prostu rzadko tworzy się nowe architektury?

Jakub Uszkoreit: Cóż, myślę, że na koniec dnia widzimy, że nowe architektury, choć motywowane konkretnymi problemami, jeśli naprawdę robią różnicę, to mają tendencję do zastosowania również gdzie indziej. Z drugiej strony nie oznacza to, że uważny wybór motywujących aplikacji i domen nie zrobi wielkiej różnicy. I myślę, że na pewno tak.

Czuję, że jednym z kluczowych wyzwań jest to, że nie jesteśmy jeszcze w reżimie w biologii, w którym mamy mnóstwo danych, chociaż w porównaniu z tym, co mieliśmy jakiś czas temu, jest to niesamowite. Ale nie jesteśmy jeszcze w tym reżimie, w którym to po prostu siedzi w odpowiedniku sieci i możemy to trochę przefiltrować, pobrać i skończyć z tym. Ale zamiast tego myślę, że musimy go stworzyć w miarę dużym stopniu. A tego nie zrobią eksperci od głębokiego uczenia się, a przynajmniej nie większość z nich.

I wierzę, że musi to nastąpić w porozumieniu, a następnie naprawdę zrozumieć specyfikę wspomnianych danych, prawda? Rodzaje hałasu, które tam napotykasz. Fakt, że są one faktycznie tworzone w bardzo dużych skalowanych pulach, eksperymentach o dużej przepustowości, ale wciąż eksperymentach przeprowadzanych w różne dni przez różnych eksperymentatorów i tak dalej i tak dalej. A tam, gdzie ludzie z doświadczeniem w głębokim uczeniu się wystarczająco ściśle współpracują z ludźmi z doświadczeniem w biologii, dowiadują się wystarczająco dużo o tym, co wiemy o podstawowych zjawiskach, [będą] w zasadzie zainspirowani do wypróbowania interesujących nowych podejść.

Vijay Pande: Cóż, podobało mi się, kiedy mówiłeś tylko o przykładzie artykułu „Uwaga to wszystko, czego potrzebujesz”, o tym, jak chciałeś zdobyć tę zróżnicowaną grupę ludzi, których pasje były, wiesz, dość ortogonalne względem siebie. I w pewnym sensie, kiedy robisz to na biologii, a zwłaszcza w Inceptive, musisz również włożyć całą tę pracę w generowanie danych. A generowanie danych naprawdę oznacza, mówiąc bardzo wyraźnie, przeprowadzanie eksperymentów biologicznych na dużą skalę. Sama część wejściowa jest bardzo droga i bardzo techniczna, i jak powiedziałeś, ma tak wiele sposobów, aby się nie udać. Ale wygląda na to, że opierasz się na kulturze, którą tworzyłeś wcześniej, a teraz jest to po prostu więcej ekspertów z różnymi pasjami, koordynujących w analogiczny sposób.

Jakub Uszkoreit: Naprawdę tego potrzebuję, [i] ludzie tego potrzebują. To jest, o ile mi wiadomo, najbardziej obiecująca droga. [Chodzi o to], aby w pewnym sensie nie dążyć do modelu potokowego, w którym pewne dane w laboratorium, w którym zostały utworzone, biorąc pod uwagę naszą najlepszą wiedzę o podstawowych aspektach życia. A potem zacząć uruchamiać na nim istniejące podejścia do głębokiego uczenia się, a następnie je modyfikować. Ale zamiast tego naprawdę mieć ludzi, którzy w pewnym sensie mogą być jednymi z pierwszych ludzi, którzy naprawdę pracują w dyscyplinie, która obecnie nie ma jeszcze dobrej nazwy.

Być może najmniejszym wspólnym mianownikiem jest ciekawość, która wykracza poza to, co wiesz, czego nauczyłeś się wcześniej i na co być może spędziłeś większość swojego czasu. Odkryliśmy, że podobnie jak w wielu innych obszarach, tak naprawdę szukamy ludzi z bardzo różnych środowisk, ale których łączy ciekawość.

Dokąd zmierza AI?

Vijay Pande: Jak myślisz, gdzie jest teraz sztuczna inteligencja w przypadku trudniejszych problemów, projektowania leków, opieki zdrowotnej i tak dalej? Co należy zrobić? Kiedy się tam dostanie?

Jakub Uszkoreit: Spodziewałbym się - a przewidywanie przyszłości jest zawsze bardzo niebezpieczne - byłbym bardzo zaskoczony, gdybyśmy w ciągu najbliższych trzech lat faktycznie nie zaczęli widzieć [punktu przegięcia], jeśli chodzi o skutki w świecie rzeczywistym uczenie maszynowe, głębokie uczenie się na dużą skalę w opracowywaniu leków, projektowanie leków. Gdzie dokładnie będą pierwsi, oczywiście wierzę, że wiele z nich wydarzy się wokół RNA, leków RNA i szczepionek. Z pewnością nie będzie to jedyny obszar, na który to wpłynie, ale zdecydowanie uważam, że zmierzamy na terytorium punktu przegięcia.

Vijay Pande: Ciekawą kwestię poruszyłeś. Czym różni się RNA? Ponieważ myślę, że to szczególnie interesujące, nie tylko to, że przeszedłeś z Google Brain do biologii, ale konkretnie do RNA. Co cię pociąga w RNA, zwłaszcza z punktu widzenia AI lub ML?

Jakub Uszkoreit: Jedną z interesujących rzeczy w RNA jest połączenie, jak widzieliśmy, bardzo szerokiego zastosowania — chociaż wciąż jest ono wąskie w sensie pojedynczego wskazania — ale patrząc na tę falę procesów zatwierdzania, która się rozpoczyna i już się rozpoczęła, jest całkiem jasne, że stosowalność jest bardzo, bardzo szeroka, połączona z - to jest trochę niejednoznaczne - strukturalnie prostym problemem. I jest strukturalnie prosty nie w zdaniu, że przewidywanie struktury RNA jest proste, ale jest strukturalnie prosty w tym sensie, że jest to biopolimer z czterema różnymi zasadami. Nie mówimy o ponad 20 aminokwasach. To coś, co można dość skutecznie wyprodukować.

Jest tam kilka wyzwań, ale synteza jest czymś, co można skalować i skaluje się szybko, a te rzeczy łączą się naprawdę, aby umożliwić tę szybką pętlę sprzężenia zwrotnego, o której, jak sądzę, często się wspomina, ale bardzo rzadko, przynajmniej z tego, co wiem, faktycznie wdrażaną i wykonalne na koniec dnia.

Vijay Pande: Tak, prawdopodobnie prawdopodobnie jest to szybsza pętla sprzężenia zwrotnego, zwłaszcza jeśli chodzi o sposób, w jaki po nią idziesz.

Jakub Uszkoreit: Tak. A biorąc pod uwagę, że uważam, że musimy stworzyć lwią część danych do szkolenia modeli, które trenujemy, naprawdę inwestujemy Inceptive w tworzenie takich danych na dużą skalę. I powiedziałbym, że stosunkowo masową skalę, biorąc pod uwagę, że RNA wydaje się być zdecydowanie najlepszą kombinacją, jeśli chodzi o prostotę strukturalną, ale także skalowalność syntezy i tego eksperymentowania. Jest tu ogromny potencjał, który do tej pory nie został wykorzystany.

Vijay Pande: Tak, i myślę, że szczególnie potencjalna jest możliwość posiadania tych szybkich cykli, zarówno przedklinicznych, jak i szybszego dotarcia do kliniki i przebywania w klinice [przez krótszy okres czasu].

Jakub Uszkoreit: Absolutnie. Naprawdę na to liczymy. Widzimy też być może wczesne wskazówki wskazujące, że tak może być i że jesteśmy oczywiście bardzo, bardzo podekscytowani.

Vijay Pande: Myślenie o ostatnich 10 latach było niesamowite, wiesz, od 2012 do teraz. Jak myślisz, jak będzie wyglądać następne 10 lat? Jak myślisz, gdzie jesteśmy za 10 lat z AI? Albo ogólnie, czy szczególnie dla bio?

Jakub Uszkoreit: Myślę, że jeśli to prawda, że ​​wkraczamy na terytorium punktu przegięcia, to kiedy spojrzymy wstecz za 10 lat, będzie to wyglądać jak rewolucja co najmniej tak duża i ekspansywna jak ta, którą widzieliśmy w ostatnie 10 lat. Przynajmniej. Teraz myślę, że będzie zasadnicza różnica, a mianowicie to, że nie jest jasne, jak szeroko rewolucja, której jesteśmy świadkami w ciągu ostatnich 10 lat, wpływa na życie każdego z nas. Istnieją pewne obszary, wyszukiwarki lub wspomagane pisanie itp., w których jest to oczywiste, ale nie jest jasne, jak szerokie zastosowanie ma ta rewolucja. Wierzę, że tak jest, ale jeszcze tego nie widzimy. Myślę, że rewolucja, której będziemy świadkami szczególnie w dziedzinie biotechnologii w ciągu najbliższych 10 lat lub na którą będziemy spoglądać wstecz za 10 lat, będzie naprawdę różna pod względem głębokiego wpływu na nasze życie. .

Nawet pomijając aplikacje do projektowania i odkrywania leków, są tak niesamowite zastosowania w odkryciach naukowych i wokół nich, że można sobie teraz wyobrazić, że za pomocą interfejsu internetowego można w zasadzie zaprojektować cząsteczki, które w niektórych organizmach z bardzo dużym prawdopodobieństwem przejdą do odpowiedzieć na pewne pytania, uzyskując bardziej wiarygodne odczyty niż, no wiesz, to, do czego wcześniej mogłeś się dostać. Więc nawet pomijając cały rodzaj złożoności tego, jak ostatecznie wpłynie to na pacjentów i wszystkich, jest całkiem jasne, jak sądzę, że te narzędzia po prostu przyspieszą dziedziny takie jak biologia.

Vijay Pande: To wydaje się być świetnym miejscem na zakończenie. Dziękuję bardzo, Jakob, za dołączenie do Bio Eats World.

Jakub Uszkoreit: Dziękuję bardzo za przyjęcie mnie.

Oliwia Web: Dziękujemy za dołączenie do Bio Eats World. Bio Eats World jest prowadzony i produkowany przeze mnie, Olivię Webb, z pomocą zespołu Bio + Health w a16z i redagowany przez Phila Hegsetha. Bio Eats World jest częścią sieci podcastów a16z.

Jeśli masz pytania dotyczące odcinka lub chcesz zasugerować tematy na kolejny odcinek, wyślij e-maila Na koniec, jeśli podoba Ci się Bio Eats World, zostaw nam ocenę i recenzję, gdziekolwiek słuchasz podcastów.

Należy pamiętać, że treści zawarte tutaj służą wyłącznie celom informacyjnym i nie powinny być traktowane jako porady prawne, biznesowe, podatkowe lub inwestycyjne ani wykorzystywane do oceny jakiejkolwiek inwestycji lub zabezpieczeń i nie są skierowane do żadnych inwestorów ani potencjalnych inwestorów w jakimkolwiek funduszu a16z . Więcej informacji można znaleźć na stronie a16z.com/disclosures.

***

Wyrażone tutaj poglądy są poglądami poszczególnych cytowanych pracowników AH Capital Management, LLC („a16z”) i nie są poglądami a16z ani jej podmiotów stowarzyszonych. Niektóre informacje w nim zawarte zostały pozyskane ze źródeł zewnętrznych, w tym od spółek portfelowych funduszy zarządzanych przez a16z. Chociaż pochodzi ze źródeł uważanych za wiarygodne, a16z nie zweryfikowała niezależnie takich informacji i nie składa żadnych oświadczeń dotyczących trwałej dokładności informacji lub ich adekwatności w danej sytuacji. Ponadto treści te mogą zawierać reklamy osób trzecich; a16z nie przeglądał takich reklam i nie popiera żadnych zawartych w nich treści reklamowych.

Te treści są udostępniane wyłącznie w celach informacyjnych i nie należy ich traktować jako porady prawnej, biznesowej, inwestycyjnej lub podatkowej. Powinieneś skonsultować się w tych sprawach z własnymi doradcami. Odniesienia do jakichkolwiek papierów wartościowych lub aktywów cyfrowych służą wyłącznie celom ilustracyjnym i nie stanowią rekomendacji inwestycyjnej ani oferty świadczenia usług doradztwa inwestycyjnego. Ponadto treść ta nie jest skierowana ani przeznaczona do użytku przez jakichkolwiek inwestorów lub potencjalnych inwestorów iw żadnym wypadku nie można na nich polegać przy podejmowaniu decyzji o zainwestowaniu w jakikolwiek fundusz zarządzany przez a16z. (Oferta inwestycji w fundusz a16z zostanie złożona wyłącznie na podstawie memorandum dotyczącego oferty prywatnej, umowy subskrypcyjnej i innej odpowiedniej dokumentacji takiego funduszu i należy ją przeczytać w całości.) Wszelkie inwestycje lub spółki portfelowe wymienione, wymienione lub opisane nie są reprezentatywne dla wszystkich inwestycji w pojazdy zarządzane przez a16z i nie można zapewnić, że inwestycje będą opłacalne lub że inne inwestycje dokonane w przyszłości będą miały podobne cechy lub wyniki. Lista inwestycji dokonanych przez fundusze zarządzane przez Andreessena Horowitza (z wyłączeniem inwestycji, w przypadku których emitent nie wyraził zgody na publiczne ujawnienie przez a16z oraz niezapowiedzianych inwestycji w aktywa cyfrowe będące w obrocie publicznym) jest dostępna pod adresem https://a16z.com/investments /.

Wykresy i wykresy zamieszczone w niniejszym dokumencie służą wyłącznie celom informacyjnym i nie należy na nich polegać przy podejmowaniu jakichkolwiek decyzji inwestycyjnych. Wyniki osiągnięte w przeszłości nie wskazują na przyszłe wyniki. Treść mówi dopiero od wskazanej daty. Wszelkie prognozy, szacunki, prognozy, cele, perspektywy i/lub opinie wyrażone w tych materiałach mogą ulec zmianie bez powiadomienia i mogą się różnić lub być sprzeczne z opiniami wyrażanymi przez innych. Dodatkowe ważne informacje można znaleźć na stronie https://a16z.com/disclosures.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
• Źródło: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/