Bio Eats World: Sử dụng AI để đưa Bio đi xa hơn

Bio Eats World: Sử dụng AI để đưa Bio đi xa hơn

Nút nguồn: 1896777

Trong tập này, Vijay Pande nói chuyện với Jakob Uszkoreit, người đồng sáng lập và CEO của Inceptive. Cùng nhau, họ thảo luận về mọi thứ liên quan đến AI.

Chúng tôi sẽ xuất bản bản ghi đầy đủ bên dưới, trong trường hợp bạn muốn đọc cùng.

***

OliviaWebb: Xin chào và chào mừng bạn đến với Bio Eats World, một podcast giao thoa giữa sinh học, chăm sóc sức khỏe và công nghệ. Tôi là Olivia Webb, trưởng biên tập của Bio + Health tại a16z. Trong tập này, chúng tôi đã nói chuyện với Jakob Uszkoreit, trước đây thuộc Google Brain và là người đồng sáng lập Inceptive. Jakob cũng là một trong những tác giả của bài báo nghiên cứu chuyên đề về AI Chú ý là tất cả những gì bạn cần, mà chúng tôi sẽ liên kết trong các ghi chú của chương trình. Jakob đã ngồi xuống với Vijay Pande, đối tác sáng lập của a16z Bio + Health để nói về mọi thứ liên quan đến AI: từ thời của anh ấy ở Google Brain, đến cách con người và máy tính xử lý ngôn ngữ, đến niềm tin của Inceptive vào triển vọng của RNA và cách Jakob tin chúng ta đang bước vào lãnh thổ điểm uốn với AI.

Đây là một tập mà bạn không muốn bỏ lỡ—nhưng đây cũng là một cuộc thảo luận ở cấp độ sau đại học về AI, vì vậy chúng tôi sẽ xuất bản một bản ghi cùng với tập này. Bắt đầu nào.

thuật toán áp dụng

Vijay Pande: Vì vậy, Jakob, cảm ơn bạn rất nhiều vì đã tham gia Bio Eats World. Thật tuyệt khi có bạn.

Jakob Uszkoreit: Thật tuyệt khi được ở đây. Cảm ơn bạn đã mời tôi.

Vijay Pande: Đặc biệt là vì bạn có một câu chuyện hấp dẫn với tư cách là một nhà khoa học máy tính, một doanh nhân và một nhà sáng lập, tôi rất muốn bạn hướng dẫn chúng tôi về hành trình sự nghiệp của mình, bắt đầu từ bất cứ đâu bạn muốn, nhưng điều đã đưa bạn đến với Google Brain có lẽ là một nơi tuyệt vời để bắt đầu .

Jakob Uszkoreit: Ở một mức độ nào đó, tôi thực sự nhớ rằng, uh, đã gặp phải vấn đề về máy học này, có thể theo nghĩa rộng nhất, [và] hiểu ngôn ngữ, cụ thể hơn một chút, là một vấn đề xảy ra trong gia đình. Vì vậy, bố tôi là một nhà khoa học máy tính và nhà ngôn ngữ học máy tính, và bạn biết đấy, những thứ như máy Turing lớn lên không nhất thiết phải là những khái niệm hoàn toàn xa lạ từ rất sớm.

Vijay Pande: Vâng, thực tế có vẻ như đó là cuộc trò chuyện trên bàn ăn tối.

Jakob Uszkoreit: Họ là những cuộc trò chuyện trên bàn ăn tối. Và đặc biệt là máy tự động hữu hạn, và cách chúng thực sự liên quan đến máy bán hàng tự động, bạn biết đấy, là những chủ đề phổ biến. Càng lớn tuổi, tôi càng muốn đảm bảo rằng mình thực sự sẽ làm điều gì đó khác biệt. Và vì vậy, cuối cùng tôi đã tìm hiểu khá nhiều về toán học thuần túy và các lĩnh vực liên quan ở đó. [Tôi] thực sự tập trung khá nhiều vào tối ưu hóa, vào các thuật toán tối ưu hóa, các thuật toán tổng thể, rộng hơn là lý thuyết về độ phức tạp, trước khi nhận ra rằng có lẽ đó không phải là điều thực tế nhất và điều áp dụng nhất, mà bạn biết đấy, đã trở thành một chút sợi chỉ đỏ trong suốt sự nghiệp của tôi. Và sau đó, tình cờ gặp phải một kỳ thực tập tại Google vào năm 2005.

Tôi đã được đưa ra một vài lựa chọn khác nhau [như] tham gia loại dự án nghiên cứu nào, [và] trong số đó có những nỗ lực khác nhau về thị giác máy tính, nhưng cũng có dự án dịch máy mà về cơ bản đã trở thành Google Dịch. Ngay trong khoảng thời gian đó, hoặc chỉ trước đó một chút, [Dịch] đã tung ra sản phẩm đầu tiên thực sự được hỗ trợ bởi các hệ thống nội bộ của Google đã được phát triển và theo một nghĩa nào đó, khiến tôi rất thất vọng, hóa ra Google Dịch tại thời gian cho đến nay có các vấn đề thuật toán quy mô lớn thú vị nhất.

Vào thời điểm đó, thật sự rất thú vị khi được chứng kiến, bởi vì điều đã thuyết phục tôi từ bỏ bằng tiến sĩ và thực sự quay lại Google sau kỳ thực tập đó, thực sự là vào thời gian tôi ở đó, điều đó trở nên rõ ràng rằng nếu bạn muốn làm việc gì đó trong học máy không chỉ thú vị và có thể nói là trí tuệ và khoa học, thú vị, thách thức và kích thích, mà còn có hy vọng thực sự cao để chuyển kim ngay lập tức trong ngành và trong các sản phẩm. Thực sự, vào khoảng thời gian đó, không có nhiều nơi trên thế giới. Và họ chắc chắn không phải là phòng thí nghiệm học thuật vào thời điểm đó, mà là rất nhiều nơi như Google. Và Google ở ​​đó và sau đó đã thực sự đi đầu trong lĩnh vực này. Và vì vậy, bạn biết đấy, vào thời điểm đó, tôi nghĩ thật tuyệt vời khi chạy các thuật toán phân cụm quy mô lớn đầu tiên của mình trên một nghìn máy, và hoàn toàn không thể làm như vậy ở nơi khác.

Vijay Pande: Khi bạn nói chuyện với các đồng nghiệp cấp cao của chúng tôi, có rất nhiều chủ nghĩa lãng mạn về thời kỳ hoàng kim của Bell Labs và tôi luôn tự hỏi liệu Google Brain có thể là một trong những biến thể gần gũi hơn ngày nay hay không. Môi trường như thế nào?

Jakob Uszkoreit: Vì vậy, tôi thực sự cảm thấy giữa thời điểm đó và khi Google Brain thực sự bắt đầu, tức là khoảng XNUMX năm sau, đã có một sự thay đổi đáng kể. Trước khi Brain and Translate bắt đầu, nó được thúc đẩy bởi những sản phẩm thực sự tạo ra sự khác biệt hơn tôi nghĩ Bell Labs. Và chúng tôi có một số lượng lớn cựu sinh viên Bell Labs, tất nhiên, trong số chúng tôi, nhưng điều đó được thúc đẩy nhiều hơn bởi khả năng ứng dụng trực tiếp.

Điều mà đối với tôi thực sự rất tuyệt vời khi được chứng kiến, cách dịch máy biến [từ thứ gì đó] thành trò cười trong một bữa tiệc, theo đúng nghĩa đen. Nếu họ hỏi bạn, bạn làm việc ở đâu? Và bạn nói, Google. Và sau đó họ nói, bạn làm gì ở đó? Và họ đã rất ấn tượng lúc đầu. Và sau đó bạn nói, ồ, tôi làm việc trên Google Dịch. Và sau đó họ cười và hỏi, điều này có bao giờ hiệu quả không? Tôi không nghĩ vậy. Nhưng đồng thời, tôi sẽ nói rằng làn sóng học máy, làn sóng phục hưng của học máy trước khi học sâu, bắt đầu chững lại. Bạn biết đấy, deep learning là thứ tôi đã làm trước đây ở trường và tôi thích nó, nhưng đó không phải là thứ mà bạn thực sự có thể áp dụng vào thời đó.

Vijay Pande: Vâng, đặc biệt là vì bạn không có quy mô trong học viện để thực hiện các phép tính mà bạn cần thực hiện.

Jakob Uszkoreit: Chắc chắn không phải trong giới học thuật, mà ngay cả ở Google. Mặc dù vào thời điểm đó, trong Dịch, trên thực tế, tính năng phân biệt thú vị nhất là, tôi có thể nói rằng, chúng tôi thực sự tin vào sức mạnh tuyệt đối của dữ liệu vào cuối ngày.

Vì vậy, chúng tôi đã cố gắng không tạo ra các thuật toán phức tạp hơn, phức tạp hơn, mà thay vào đó đơn giản hóa và mở rộng chúng hết mức có thể, sau đó cho phép chúng huấn luyện ngày càng nhiều dữ liệu. Nhưng chúng tôi chỉ chạm trần ở đó. Việc đơn giản hóa mà bạn phải thực hiện để mở rộng chúng theo quy mô của Google vào thời điểm đó, đó thực sự là mục tiêu của chúng tôi. Nhưng sau đó, và đó là một trong những chuyển động con lắc này, quay trở lại, ra khỏi giới hàn lâm, một nhóm người với một loạt GPU—học sâu đã quay trở lại theo một nghĩa nào đó với sự báo thù. Và đột nhiên môi trường thích nghi, bởi vì không rõ con đường trực tiếp sẽ là gì ở quy mô sản xuất.

Và do đó, toàn bộ môi trường chuyển từ định hướng ứng dụng và sản phẩm nhiều hơn sang một thứ gì đó mà ít nhất trong một vài năm đã cảm thấy, mang tính hàn lâm hơn nhiều. Nó vẫn hơi khác so với các phòng thí nghiệm học thuật vì chúng tôi có thể mua nhiều GPU hơn, nhưng theo một nghĩa nào đó, phù hợp hơn nhiều với ý tưởng về [được] thúc đẩy bởi các ấn phẩm, được thúc đẩy bởi các bước nhảy vọt hơn là các bước. [Nó] trở thành một [môi trường] rất, rất hiệu quả—và thực sự tuyệt vời—nhưng cởi mở hơn nhiều.

Chú ý là tất cả những gì bạn cần

Vijay Pande: Chà, bạn biết đấy, nói về các ấn phẩm, một nơi tự nhiên để nghĩ đến là khi bạn và nhóm xuất bản Chú ý là tất cả những gì bạn cần. Và, bạn biết đấy, đó là một bài báo quan trọng đối với rất nhiều AI tổng quát kể từ đó là khi thuật toán biến áp lần đầu tiên được đưa ra.

Jakob Uszkoreit: Hai năm trước khi xuất bản bài báo đó, chúng tôi đã nhận ra [rằng] điều gì là tiên tiến nhất đối với các vấn đề như dịch máy, hoặc [điều gì] đang nổi lên như là hiện đại, cụ thể là dựa trên LSTM hoặc RNN , Seq2Seq về tổng thể với tư cách là một mô hình đào tạo và thiết lập, nhưng cũng là một kiến ​​trúc mạng—có những vấn đề đáng kinh ngạc ngay cả trên các GPU hiện đại nhất vào thời điểm đó, khi nói đến việc mở rộng quy mô dữ liệu.

Ví dụ: hệ thống dịch máy thần kinh đầu tiên mà Google tung ra, GNMT, thực sự, theo hiểu biết của tôi, chưa bao giờ thực sự được đào tạo trên tất cả dữ liệu đào tạo mà chúng tôi có sẵn, mà trước đây chúng tôi đã khai thác cho các hệ thống thống kê dựa trên cụm từ. Và đó là do các thuật toán không mở rộng tốt về lượng dữ liệu. Vì vậy, tóm lại, vào thời điểm đó, chúng tôi đang tìm kiếm không phải bản dịch máy mà là các vấn đề mà trong nội bộ Google, chúng tôi thậm chí còn có sẵn lượng dữ liệu đào tạo lớn hơn. Vì vậy, đây là những vấn đề phát sinh từ tìm kiếm, về cơ bản bạn có ba hoặc bốn bậc độ lớn khác. Bạn biết đấy, bây giờ không còn hàng tỷ từ nữa, mà là hàng nghìn tỷ từ một cách dễ dàng, và đột nhiên chúng tôi bắt gặp mô hình này nơi các mạng chuyển tiếp đơn giản, mặc dù họ đưa ra các giả định đơn giản hóa lố bịch chẳng hạn như đó chỉ là một túi từ hoặc đó chỉ là một túi các chữ cái lớn và bạn tính trung bình chúng và bạn gửi chúng qua một MNLP lớn, chúng thực sự vượt trội so với RNN và LSTM, ít nhất là khi được đào tạo về nhiều dữ liệu hơn.

[Và họ] nhanh hơn gấp n lần, dễ dàng gấp 10, 20 lần, để huấn luyện. Và vì vậy bạn có thể đào tạo họ về nhiều dữ liệu hơn. Trong một số trường hợp, [họ] huấn luyện nhanh hơn gấp trăm lần. Và vì vậy, chúng tôi liên tục thực sự kết thúc với các mô hình đơn giản hơn và không thể diễn đạt hoặc nắm bắt một số hiện tượng mà chúng tôi biết chắc chắn là phổ biến trong ngôn ngữ.
Tuy nhiên, bạn biết đấy, điểm mấu chốt là họ rẻ hơn để đào tạo và [họ] thể hiện tốt hơn.

Vijay Pande: Hãy chỉ đưa ra một ví dụ cho những người không quen thuộc. Vì vậy, đối với một từ, nếu tôi nói, chỉ cho tôi tất cả các nhà hàng gần đó ngoại trừ tiếng Ý, nó sẽ cho bạn thấy tất cả các nhà hàng Ý, phải không?

Jakob Uszkoreit: Một cách chính xác. Trên thực tế, những gì bạn nói có thể được sắp xếp lại để hiển thị cho tôi tất cả các nhà hàng Ý trừ những nhà hàng gần đó. Nó chỉ là một mớ hỗn độn các từ và bạn có thể sắp xếp lại nó thành thứ gì đó chắc chắn có ý nghĩa khác.

Vijay Pande: Vâng.

Jakob Uszkoreit: Và sau đó, bạn ước lượng việc tiếp cận cấu trúc và tiếp cận các hiện tượng toàn cầu hơn bằng cách đưa vào các bigram. Vì vậy, về cơ bản là các nhóm gồm hai từ liên tiếp và những thứ tương tự. Nhưng rõ ràng là, chắc chắn là trong các ngôn ngữ như tiếng Đức, về cơ bản bạn có thể đặt động từ vào cuối câu…

Vijay Pande: Và nó thay đổi toàn bộ ý nghĩa, phải không?

Jakob Uszkoreit: Thay đổi tất cả ý nghĩa, chính xác, vâng. Bất kể kích thước n-gram của bạn—hay các nhóm từ nhỏ của bạn—là bao nhiêu, thì cuối cùng bạn cũng sẽ không thành công. Và chúng tôi thấy rõ rằng phải có một cách khác không yêu cầu độ dài lặp lại của RNN hoặc lặp lại theo trình tự, chẳng hạn như từ hoặc pixel, mà thực sự xử lý đầu vào và đầu ra theo cách song song hơn và thực sự cuối cùng phục vụ [các] điểm mạnh của phần cứng máy gia tốc hiện đại.

Vijay Pande: Hãy nghĩ về nó, giống như một túi từ là các từ theo thứ tự ngẫu nhiên. LSTM, hay trí nhớ dài hạn ngắn hạn, có thể mang lại cho bạn một số loại [khả năng] nhìn [về] quá khứ một chút, phải không? Nhưng máy biến áp làm một cái gì đó hoàn toàn khác. Làm thế nào để máy biến áp đưa điều đó lên cấp độ tiếp theo?

Jakob Uszkoreit: Luôn luôn có hai cách để xem xét điều này. Một là thông qua lăng kính hiệu quả, nhưng cách khác có thể trực quan hơn một chút là xem xét nó về mặt, bạn biết đấy, bạn có thể duy trì bao nhiêu ngữ cảnh. Và giống như bạn đã nói, LSTM hoặc mạng thần kinh tái phát nói chung, chúng di chuyển qua các đầu vào của chúng từng bước, nói rộng ra, và trong khi về lý thuyết, chúng có thể duy trì các cửa sổ ngữ cảnh dài tùy ý vào đầu vào — quá khứ — cái gì điều xảy ra trong thực tế là họ thực sự rất khó xác định các sự kiện, nói từ hoặc pixel, rất xa trong quá khứ thực sự ảnh hưởng đến ý nghĩa vào cuối ngày. Họ có xu hướng tập trung vào những thứ xung quanh.

Mặt khác, máy biến áp, về cơ bản, chỉ quay đầu nó và nói, không, ở mỗi bước những gì chúng tôi đang làm không di chuyển qua đầu vào. Ở mỗi bước, chúng tôi đang xem xét toàn bộ đầu vào hoặc đầu ra và về cơ bản, chúng tôi đang sửa đổi dần dần các biểu diễn của từng từ hoặc từng pixel hoặc từng mảng hoặc từng khung hình của video, khi chúng tôi di chuyển về cơ bản chứ không phải trong không gian đầu vào , nhưng trong không gian đại diện.

Vijay Pande: Vâng.

Jakob Uszkoreit: Và ý tưởng đó có một số hạn chế về cách bạn sẽ lắp nó vào phần cứng hiện đại, nhưng so với mạng thần kinh hồi quy, nó chủ yếu có lợi thế vì bây giờ bạn không thực sự bị ràng buộc để tính toán tuần tự các biểu diễn, ví dụ, từng từ. Điều bạn bị ràng buộc thực sự là chúng phải tốt đến mức nào? Có bao nhiêu lớp của kiểu xử lý song song mọi vị trí mà mọi thứ, mọi cặp từ hay mọi cặp mảng hình ảnh có thể tương tác ngay lập tức? Tôi thực sự có thể “đủ khả năng” sửa đổi bao nhiêu bản trình bày này?

Vijay Pande: Điều thực sự thú vị nữa là rõ ràng nguồn cảm hứng là ngôn ngữ tự nhiên, nhưng có nhiều cấu trúc mà bạn muốn nhập mà bạn không muốn chỉ nghiên cứu nó một cách tuần tự, chẳng hạn như chuỗi DNA—và chúng ta sẽ tìm hiểu về sinh học đủ sớm—rằng bạn muốn có một mô hình của toàn bộ sự việc.

Đó là loại buồn cười với ngôn ngữ. Khi tôi đang nói hoặc khi tôi đang lắng nghe bạn nói, tôi đang xử lý từng từ, nhưng cuối cùng tôi không chỉ mã hóa các từ thành các nghĩa riêng lẻ, mà tôi còn phải phát triển cách trình bày này. Đúng? Tôi ước chúng ta có thể làm theo cách mà những người máy biến áp đã làm. Và có lẽ đó là mẹo mà LSTM gần giống với cách con người chúng ta làm, và máy biến thế có lẽ là cách chúng ta nên làm, hoặc tôi ước chúng ta có thể làm được.

Jakob Uszkoreit: Nhìn bề ngoài, tôi nghĩ điều đó đúng, mặc dù xét cho cùng thì những lập luận nội tâm như thế này rất tế nhị và khó hiểu.

Vì vậy, tôi đoán nhiều người trong chúng ta biết hiện tượng này khi bạn la hét hoặc la hét với ai đó đang cố gắng giao tiếp điều gì đó trên một con phố đông đúc. Và thế là bạn nghe họ nói gì đó, và đó không phải là một chuỗi từ ngắn, và về cơ bản bạn không hiểu gì cả. Nhưng rồi nửa giây sau, bạn đột nhiên hiểu ra toàn bộ câu nói. Nó thực sự ám chỉ một thực tế rằng trong khi chúng ta buộc phải viết và nói ngôn ngữ theo trình tự—chỉ vì mũi tên thời gian—không rõ ràng là sự hiểu biết sâu sắc hơn của chúng ta thực sự diễn ra theo trình tự đó.

Xây dựng một đội

Vijay Pande: Nếu bất cứ ai nghiên cứu dù chỉ bài báo Chú ý là tất cả những gì bạn cần hoặc cách thức hoạt động của một máy biến áp, thì sẽ có rất nhiều phần trong đó. Và có vẻ như giờ đây có lẽ đã qua thời điểm mà một người có thể tự mình thực hiện công việc đó một cách hiệu quả trong bất kỳ khoảng thời gian ngắn nào.

Jakob Uszkoreit: Chắc chắn rồi.

Vijay Pande: Vì vậy, bây giờ bạn thực sự cần một nhóm người để làm những việc này. Xã hội học của điều đó là gì? Làm thế nào để một cái gì đó như thế xảy ra?

Jakob Uszkoreit: Trường hợp cụ thể này, cá nhân tôi cảm thấy, là một ví dụ thực sự tuyệt vời về một điều gì đó phù hợp hơn, giả sử, cách tiếp cận công nghiệp đối với nghiên cứu khoa học, đặc biệt tốt. Bởi vì bạn hoàn toàn đúng. Đây không phải là tia sáng lớn duy nhất của trí tưởng tượng và óc sáng tạo làm nên tất cả.

Rốt cuộc, đó thực sự là một loạt các đóng góp cần thiết. Có một môi trường, một thư viện—mà sau này cũng được mã nguồn mở, với tên gọi là Tensor2Tensor—thực sự bao gồm các triển khai. Và không chỉ bất kỳ triển khai nào, mà là triển khai đặc biệt tốt, triển khai nhanh tất cả các loại thủ thuật học sâu.
Nhưng sau đó, tất cả các cơ chế chú ý này đã xuất hiện từ các ấn phẩm trước đó — chẳng hạn như mô hình chú ý có thể phân tách [đã] được xuất bản trước đó — nhưng sau đó thực sự được kết hợp với các cải tiến và đổi mới, các phát minh xung quanh trình tối ưu hóa. Tôi nghĩ bạn sẽ không tìm thấy những người thực sự nằm trong số những chuyên gia hàng đầu thế giới về tất cả những lĩnh vực này đồng thời và cũng thực sự đam mê tất cả các khía cạnh này như nhau.

Vijay Pande: Và đặc biệt là có ý tưởng ban đầu, có việc triển khai nó, có quy mô của nó. Để đạt được loại quy mô đó ở bất kỳ nơi nào khác ngoài một công ty lớn, ngay bây giờ, có lẽ không khả thi chỉ vì chi phí.

Jakob Uszkoreit: Tôi thực sự nghĩ có lẽ khía cạnh công ty lớn không quá quan trọng.

Vijay Pande: Vâng?

Jakob Uszkoreit: Khía cạnh công ty là một khía cạnh mà tôi sẽ đánh giá cao hơn. Công ty lớn chắc chắn không hại gì nếu bạn cần hàng nghìn hàng nghìn TPU hoặc GPU hoặc bất cứ thứ gì bạn có. Túi sâu không bao giờ đau cho loại công cụ này. Nhưng đồng thời, tôi tin rằng cơ cấu khuyến khích xung quanh loại nghiên cứu khám phá này trong ngành phù hợp hơn nhiều cho các loại dự án này. Và tôi nghĩ đó thực sự là thứ mà chúng ta đang thấy, khi xem xét các dự án AI tổng quát trên diện rộng.

Vijay Pande: Ừ. Và theo quan điểm của bạn, nó có thể là một công ty khởi nghiệp.

Jakob Uszkoreit: Nó chắc chắn có thể là một khởi động. Và tôi nghĩ rằng chúng ta đang thấy rằng việc sử dụng phần cứng tăng tốc ít nhất đang trở nên hợp lý hơn. Và có những công ty khởi nghiệp đang cạnh tranh rất nhiều khi nói đến AI tổng quát nhắm mục tiêu tạo hình ảnh hoặc tạo văn bản.

Chuyển sang khoa học đời sống

Vijay Pande: Tôi muốn chuyển sang những gì bạn đang làm bây giờ. Bạn là Giám đốc điều hành của Inceptive, một công ty áp dụng AI vào sinh học ARN để điều trị bằng ARN. Làm thế nào bạn chuyển sang khoa học đời sống? Nhìn bề ngoài, nói về các mô hình ngôn ngữ xung quanh [bàn] bữa tối và sau đó là xung quanh quán ăn tự phục vụ của Google… có vẻ như đó có thể là một bước chuyển sang thế hệ trị liệu tiếp theo. Làm thế nào mà tất cả xảy ra?

Jakob Uszkoreit: Tôi không thể đồng ý nhiều hơn. Đó là một trải nghiệm học tập tuyệt vời, từ phía tôi. Đã khá lâu rồi, sinh học gây ấn tượng với tôi như một vấn đề dường như không thể tưởng tượng được rằng có những giới hạn về việc chúng ta có thể tiến xa đến mức nào, chẳng hạn như phát triển thuốc và thiết kế trực tiếp với sinh học truyền thống là xương sống của cách chúng ta bắt tay vào thiết kế—hoặc khám phá các phương pháp thiết kế—các loại thuốc của tương lai.

Có vẻ như deep learning, đặc biệt, ở quy mô lớn, vì nhiều lý do, có khả năng trở thành một công cụ thực sự phù hợp ở đây. Và một trong những lý do đó thực sự là một thứ thường không nhất thiết phải được coi là một lợi thế, đó là thực tế rằng đó là chiếc hộp đen lớn này mà bạn có thể ném vào một thứ gì đó. Và nó không đúng khi bạn chỉ có thể ném nó. Đó là thứ bạn phải biết cách ném nó.

Vijay Pande: Và nó cũng không hẳn là màu đen. Chúng ta có thể tranh luận về điều đó sau.

Jakob Uszkoreit: Đúng chính xác. Một cách chính xác. Nhưng, vào cuối ngày, quay trở lại với sự tương đồng với ngôn ngữ, chúng ta chưa bao giờ có thể hiểu và khái niệm hóa ngôn ngữ một cách đầy đủ, theo nghĩa đó đến mức bạn có thể tuyên bố, ồ, bây giờ tôi sẽ đi và nói cho bạn biết lý thuyết này đằng sau ngôn ngữ, và sau đó bạn sẽ có thể thực hiện một thuật toán “hiểu” nó. Chúng tôi chưa bao giờ đạt đến điểm đó. Thay vào đó, chúng tôi phải hủy bỏ và lùi lại một bước, và theo ý kiến ​​của tôi, ở một mức độ nào đó, chúng tôi thừa nhận với bản thân rằng đó có thể không phải là cách tiếp cận thực dụng nhất. Thay vào đó, chúng ta nên thử những cách tiếp cận không yêu cầu mức độ hiểu biết về khái niệm đó. Và tôi nghĩ điều tương tự cũng có thể đúng với các bộ phận của sinh học.

Sử dụng AI để đưa sinh học đi xa hơn

Vijay Pande: Thật thú vị, chúng ta đã nói về những thứ như thế này trước đây. Bạn nghĩ về thế kỷ trước, [đó] là thế kỷ của vật lý và giải tích. Có một tâm lý nhất định ở đó có một cách bạn có thể đơn giản hóa mọi thứ rất tao nhã mà bạn có thể có một phương trình duy nhất như phương trình trường của Einstein mô tả rất nhiều, và đó là một phương trình rất đơn giản trong một ngôn ngữ rất phức tạp. Bạn đã nói về cách tiếp cận Feynman, gần giống như xã hội học vật lý, có thể không áp dụng ở đây trong sinh học, phải không?

Jakob Uszkoreit: Nó có thể không áp dụng, ít nhất là vì hai lý do tôi có thể thấy vào thời điểm này. Thứ nhất là có quá nhiều người chơi tham gia. Và mặc dù đúng là có lẽ chúng ta có thể quy tất cả về phương trình Schrodinger và chỉ cần giải nó, nhưng tình cờ là, không chỉ khó tính toán, mà chúng ta còn phải biết về tất cả những người chơi khác nhau này, và hiện tại chúng ta không . Thậm chí không gần. Vì vậy, đó là một khía cạnh.

Và sau đó, thứ hai về cơ bản là tính khó tính toán, trong đó việc giảm thiểu, theo một nghĩa nào đó, đã đi xa đến mức, trong khi nó đưa tất cả trở lại một thứ duy nhất, nó không giúp ích gì cho chúng tôi vì cách tiếp cận tính toán của chúng tôi về cơ bản sử dụng những nguyên tắc cơ bản đó để đưa ra dự đoán quá chậm để đưa ra những dự đoán đó cho các hệ thống đủ lớn để thực sự quan trọng đối với cuộc sống.

Vijay Pande: Ừ. Vì vậy, nó không phải là một phương trình n-body, nhưng vẫn có cảm giác về chủ nghĩa hình thức—có thể đó là một chủ nghĩa hình thức dựa trên dữ liệu nhiều hơn hoặc chủ nghĩa hình thức Bayes hơn. Làm thế nào để điều đó ăn vào những gì bạn muốn làm? Làm thế nào để điều đó đưa vào việc áp dụng AI và các loại thuật toán mới khác?

Jakob Uszkoreit: Tôi nghĩ rằng có một vài khía cạnh khác nhau. Vào cuối ngày, theo ý kiến ​​​​của tôi, một trong những điều quan trọng mà chúng ta đang thấy trong AI tổng quát là chúng ta không còn phải đào tạo dữ liệu không chỉ hoàn toàn sạch mà còn chính xác từ miền và từ các loại nhiệm vụ mà sau này bạn muốn giải quyết. Nhưng thay vào đó, nó thực sự có thể có lợi hơn hoặc thậm chí là cách duy nhất mà chúng tôi đã tìm thấy cho đến nay để thực sự cố gắng luyện tập mọi thứ mà bạn thấy thậm chí có liên quan từ xa. Và sau đó sử dụng thông tin thu thập được một cách hiệu quả từ những dữ liệu đó để tạo ra cái gọi là mô hình nền tảng, sau đó bạn có thể tinh chỉnh cho tất cả các loại tác vụ cụ thể bằng cách sử dụng lượng dữ liệu sạch hơn, nhỏ hơn và dễ xử lý hơn nhiều.

Tôi nghĩ rằng chúng ta hơi đánh giá thấp những gì chúng ta phải biết về các hiện tượng nói chung. Để xây dựng một mô hình ngôn ngữ lớn rất tốt, bạn phải hiểu rằng có một thứ gọi là internet và có rất nhiều văn bản trong đó. Trên thực tế, bạn phải hiểu khá nhiều về cách tìm văn bản này, đâu không phải là văn bản, v.v., để về cơ bản chắt lọc từ đó dữ liệu đào tạo mà sau đó bạn sử dụng.

Tôi tin rằng sẽ có những thách thức tương tự rất trực tiếp xung quanh sinh học. Câu hỏi lớn là: thí nghiệm nào mà chúng ta có thể mở rộng quy mô sao cho chúng ta có thể quan sát sự sống ở quy mô vừa đủ với độ trung thực vừa đủ—nhưng ít cụ thể hơn nhiều trong khi vẫn ghi nhớ các vấn đề mà cuối cùng bạn đang cố gắng giải quyết—như vậy chúng ta có thể về cơ bản lấy dữ liệu mà chúng tôi cần để bắt đầu xây dựng các mô hình nền tảng này, sau đó chúng tôi có thể sử dụng, tinh chỉnh và thiết kế cụ thể, để thực sự tiếp cận các vấn đề mà chúng tôi muốn giải quyết.

Phần tạo dữ liệu chắc chắn là một trong số đó. Các kiến ​​trúc và việc có các mô hình và kiến ​​trúc mạng bắt chước một cách hiệu quả những gì chúng ta biết, chẳng hạn, về vật lý bên dưới, sẽ vẫn là một cách cực kỳ hiệu quả để thực sự tiết kiệm tính toán và cũng giảm nhu cầu dữ liệu khổng lồ mà các mô hình này sẽ phải có , đến mức khả thi. Và vì vậy, một điều mà tôi tin rằng thực sự thú vị cần lưu ý là rất nhiều ứng dụng hiện tại của các mô hình, chẳng hạn như máy biến áp, [đã] được phát hiện là có quy mô khá tốt trong các phương thức khác, các lĩnh vực khác, ngôn ngữ, tầm nhìn, tạo hình ảnh, v.v., và việc áp dụng chúng vào sinh học về cơ bản bỏ qua sự thật rằng chúng ta biết rằng có một thứ gọi là thời gian, và rằng các định luật vật lý, ít nhất là theo hiểu biết tốt nhất của chúng ta, dường như không thay đổi tăng ca.

Quá trình gấp protein, bỏ qua thực tế là có hàng tấn người chơi — những người đi kèm và không có gì — thực sự, theo một nghĩa nào đó, là một vấn đề được tách biệt khá tùy tiện khỏi phần còn lại của động học protein. Nó chỉ là động học giống như phần còn lại của động học, hoặc phần còn lại của vòng đời của protein đó, của phân tử đó. Vậy tại sao chúng ta lại cố gắng đào tạo các mô hình cụ thể cho một mô hình và ít nhất có khả năng bỏ qua dữ liệu mà chúng ta có thể có về mô hình kia? Trong trường hợp này, có thể cụ thể hơn, là một số mô hình dự đoán cấu trúc protein mà chúng ta có ngày nay, phải chăng chúng đã ngầm học được điều gì đó về động học vì thực tế là chúng dần bắt đầu chấp nhận, bạn biết đấy, sự tồn tại của thời gian?

Phát triển kiến ​​trúc mới

Vijay Pande: Một trong những điều thú vị mà tôi nghĩ về vị trí hiện tại của bạn là, với một vài trường hợp ngoại lệ hiếm hoi, hầu hết các mạng lưới thần kinh sâu hoặc các loại AI khác trong sinh học đều có cảm giác như nó đang lấy thứ gì đó được phát minh ở một nơi khác và mang nó đi. Giống như chúng ta sẽ sử dụng mạng thần kinh tích chập cho hình ảnh. Có thể đối với các phân tử nhỏ… trong phòng thí nghiệm của tôi tại Stanford, chúng tôi đã sử dụng mạng nơ-ron đồ thị và một số mạng nơ-ron tích chập. Nhưng để thực sự phát triển một thuật toán rõ ràng cho vấn đề sinh học là khá hiếm. Và tôi luôn cho rằng đó là bởi vì thật khó để có bộ kỹ năng của một nhóm mạnh trong lĩnh vực sinh học và trong lĩnh vực khoa học máy tính. Nhưng tôi tò mò muốn nhận được của bạn. Hay nó chỉ hiếm khi phát triển các kiến ​​trúc mới ngay từ đầu?

Jakob Uszkoreit: Chà, tôi nghĩ, vào cuối ngày, những gì chúng ta đang thấy là các kiến ​​trúc mới, trong khi được thúc đẩy bởi các vấn đề cụ thể, nếu chúng thực sự tạo ra sự khác biệt, thì chúng cũng có xu hướng được áp dụng ở những nơi khác. Mặt khác, điều đó không có nghĩa là, trên đường đến đó, việc lựa chọn cẩn thận những ứng dụng và miền thúc đẩy sẽ không tạo ra sự khác biệt lớn. Và tôi nghĩ nó chắc chắn có.

Tôi cảm thấy một trong những thách thức chính ở đây thực sự là chúng ta chưa ở trong một chế độ sinh học nơi chúng ta có hàng đống dữ liệu, mặc dù, so với những gì chúng ta từng có trước đây, nó thật đáng kinh ngạc. Nhưng chúng tôi vẫn chưa ở trong chế độ đó, nơi mà nó chỉ nằm xung quanh trên trang web tương đương và chúng tôi có thể lọc nó một chút, tải xuống và hoàn thành nó. Nhưng thay vào đó, tôi nghĩ chúng ta phải tạo ra nó ở một mức độ lớn hợp lý. Và điều đó sẽ không được thực hiện bởi các chuyên gia học sâu, ít nhất là không phải bởi hầu hết họ.

Và tôi tin rằng điều đó phải xảy ra đồng thời với việc sau đó cũng thực sự hiểu được đặc thù của dữ liệu nói trên, phải không? Các loại tiếng ồn mà bạn gặp phải ở đó. Thực tế là những thứ này thực sự được tạo ra trong các nhóm có quy mô rất lớn, các thử nghiệm có thông lượng cao, tuy nhiên, các thử nghiệm được thực hiện vào những ngày khác nhau bởi những người thử nghiệm khác nhau, v.v. Và khi những người có nền tảng học sâu hơn làm việc chặt chẽ với những người có nền tảng sinh học, tìm hiểu đầy đủ về những gì chúng ta biết về các hiện tượng cơ bản, [họ] về cơ bản sẽ được truyền cảm hứng để thử các phương pháp mới thú vị.

Vijay Pande: Chà, tôi rất thích khi bạn chỉ nói về ví dụ của bài báo Chú ý là tất cả những gì bạn cần, về cách bạn muốn có được một nhóm người đa dạng có niềm đam mê khá trực giao với nhau. Và theo một nghĩa nào đó, khi bạn làm điều này trong sinh học và đặc biệt là những gì bạn đang làm ở Inceptive, bạn cũng phải đặt tất cả công việc này vào việc tạo ra dữ liệu. Và tạo ra dữ liệu thực sự có nghĩa là, rất rõ ràng, chạy các thí nghiệm sinh học trên quy mô lớn. Bản thân phần đầu vào rất đắt tiền và rất kỹ thuật, và như bạn đã nói, có rất nhiều sai sót. Nhưng có vẻ như bạn đang xây dựng nền văn hóa mà bạn đã làm trước đây và bây giờ chỉ có nhiều chuyên gia hơn với những đam mê khác nhau phối hợp theo cách tương tự.

Jakob Uszkoreit: Tôi thực sự cần, [và] mọi người cần điều đó. Đây là, theo như tôi có thể nói, con đường hứa hẹn nhất. [It is to] không nhắm đến, theo một nghĩa nào đó, một mô hình đường ống, trong đó một số dữ liệu nhất định trong phòng thí nghiệm nơi chúng được tạo ra, dựa trên kiến ​​thức tốt nhất của chúng tôi, về các khía cạnh cơ bản của cuộc sống. Và sau đó bắt đầu chạy các phương pháp học sâu hiện có trên đó và sau đó điều chỉnh chúng. Nhưng thay vào đó thực sự có những người, theo một nghĩa nào đó, họ có thể nằm trong số những người đầu tiên thực sự làm việc trong một lĩnh vực mà hiện tại vẫn chưa thực sự nổi tiếng.

Có lẽ mẫu số ít chung nhất là sự tò mò vượt ra ngoài những gì bạn biết, những gì bạn đã học trước đây và những gì bạn có thể đã dành phần lớn thời gian của mình để làm. Chúng tôi thấy rằng giống như trong rất nhiều lĩnh vực khác, những gì chúng tôi thực sự theo đuổi là một nhóm người có xuất thân rất đa dạng, nhưng có chung sự tò mò.

AI sẽ đi về đâu?

Vijay Pande: Bạn nghĩ AI hiện đang ở đâu đối với những vấn đề khó khăn hơn đó, đối với thiết kế thuốc, chăm sóc sức khỏe, v.v.? Thứ gì cần được hoàn thành? Khi nào nó sẽ đến đó?

Jakob Uszkoreit: Tôi mong đợi—và việc đưa ra các dự đoán về tương lai luôn rất nguy hiểm—tôi sẽ rất ngạc nhiên nếu trong vòng ba năm tới chúng ta không thực sự bắt đầu thấy một điểm [biến] xảy ra khi nói đến các tác động trong thế giới thực của học máy, học sâu quy mô lớn trong phát triển thuốc, thiết kế thuốc. Tất nhiên, chính xác thì chúng sẽ ở đâu đầu tiên, tôi tin rằng rất nhiều trong số chúng sẽ xảy ra xung quanh RNA, liệu pháp RNA và vắc-xin. Đó chắc chắn sẽ không phải là khu vực duy nhất bị ảnh hưởng bởi điều này, nhưng tôi chắc chắn nghĩ rằng chúng ta đang tiến vào lãnh thổ điểm uốn.

Vijay Pande: Bạn đã thực hiện một điểm thú vị. ARN có gì khác biệt? Bởi vì tôi nghĩ điều đó đặc biệt thú vị, không chỉ là bạn đã đi từ Google Brain sang lĩnh vực sinh học, mà bạn còn đi sâu vào RNA một cách cụ thể. Điều gì thu hút bạn đến với RNA, đặc biệt có thể từ quan điểm AI hoặc ML?

Jakob Uszkoreit: Một điều thú vị về RNA là sự kết hợp giữa, như chúng ta đã thấy, khả năng ứng dụng rất rộng rãi—mặc dù nó vẫn còn hạn hẹp theo nghĩa của một dấu hiệu duy nhất—nhưng chỉ cần nhìn vào làn sóng quy trình phê duyệt đang bắt đầu và đã bắt đầu này, nó thật tuyệt rõ ràng rằng khả năng ứng dụng là rất, rất rộng, cùng với—điều này hơi mơ hồ—một vấn đề đơn giản về mặt cấu trúc. Và nó đơn giản về mặt cấu trúc không phải ở câu dự đoán cấu trúc RNA đơn giản, mà nó đơn giản về mặt cấu trúc theo nghĩa nó là một chất trùng hợp sinh học với bốn bazơ khác nhau. Chúng tôi không nói về hơn 20 axit amin. Đó là thứ có thể được sản xuất khá hiệu quả.

Có một số thách thức ở đó, nhưng tổng hợp là thứ có thể mở rộng quy mô và mở rộng nhanh chóng, và những điều này thực sự kết hợp với nhau để kích hoạt vòng phản hồi nhanh này mà tôi đoán là thường được ám chỉ, nhưng rất hiếm khi, ít nhất là theo những gì tôi biết, thực sự được triển khai và có thể thực hiện được vào cuối ngày.

Vijay Pande: Vâng, có thể cho rằng đó là một vòng phản hồi nhanh hơn, đặc biệt là đối với cách bạn theo đuổi nó.

Jakob Uszkoreit: Đúng. Và tôi tin rằng chúng tôi cần tạo ra phần lớn dữ liệu để đào tạo các mô hình mà chúng tôi đang đào tạo, chúng tôi đang thực sự đầu tư Inceptive vào việc tạo ra dữ liệu đó trên quy mô lớn. Và tôi có thể nói quy mô tương đối lớn, vì RNA dường như là sự kết hợp tốt nhất cho đến nay khi nói đến sự đơn giản về cấu trúc, cũng như khả năng mở rộng của quá trình tổng hợp và thử nghiệm này. Có tiềm năng to lớn ở đây mà cho đến nay vẫn chưa được khai thác.

Vijay Pande: Vâng, và tôi đặc biệt nghĩ rằng khả năng có những chu kỳ nhanh chóng này, cả hai đều là tiền lâm sàng và do đó đến phòng khám nhanh hơn và ở trong phòng khám [trong một khoảng thời gian ngắn hơn].

Jakob Uszkoreit: Chắc chắn rồi. Đó thực sự là những gì chúng tôi đang hy vọng. Chúng tôi cũng đang thấy những gợi ý ban đầu có thể chỉ ra rằng đó có thể là trường hợp và tất nhiên chúng tôi thực sự rất vui mừng về điều đó.

Vijay Pande: Nghĩ về 10 năm qua thật tuyệt vời, bạn biết đấy, 2012 đến nay. Bạn nghĩ 10 năm tới sẽ như thế nào? Bạn nghĩ chúng ta đang ở đâu trong 10 năm tới với AI? Hoặc rộng rãi hoặc đặc biệt cho sinh học?

Jakob Uszkoreit: Tôi nghĩ nếu thực sự đúng là chúng ta đang bước vào lãnh thổ điểm uốn này, thì khi chúng ta nhìn lại 10 năm kể từ bây giờ, nó sẽ giống như một cuộc cách mạng ít nhất là lớn và mở rộng như cuộc cách mạng mà chúng ta nghĩ rằng chúng ta đã thấy trong 10 năm qua. Ít nhất. Bây giờ tôi nghĩ sẽ có một sự khác biệt quan trọng, đó là không rõ chính xác cuộc cách mạng mà chúng ta đã chứng kiến ​​trong 10 năm qua ảnh hưởng đến cuộc sống của mọi người rộng rãi như thế nào. Có một số lĩnh vực nhất định, công cụ tìm kiếm hoặc văn bản hỗ trợ, v.v., rõ ràng, nhưng không rõ cuộc cách mạng này có thể áp dụng rộng rãi như thế nào. Tôi tin rằng nó rất nhiều như vậy, nhưng chúng ta vẫn chưa nhìn thấy nó. Tôi nghĩ rằng cuộc cách mạng mà chúng ta sẽ chứng kiến ​​cụ thể về sinh học trong 10 năm tới, hoặc chúng ta sẽ nhìn lại 10 năm kể từ bây giờ, sẽ thực sự khác biệt về tác động sâu sắc của nó đối với tất cả cuộc sống của chúng ta .

Ngay cả khi bỏ qua các ứng dụng khám phá và thiết kế thuốc, vẫn có những ứng dụng tuyệt vời như vậy trong và xung quanh khám phá khoa học mà giờ đây bạn có thể tưởng tượng rằng, với giao diện web, về cơ bản bạn có thể có các phân tử được thiết kế mà trong một số sinh vật nhất định có khả năng rất cao sẽ thành công. trả lời một số câu hỏi nhất định, tạo ra kết quả đọc đáng tin cậy hơn những gì bạn biết trước đây. Vì vậy, ngay cả khi bỏ qua toàn bộ loại phức tạp về việc điều này cuối cùng sẽ ảnh hưởng như thế nào đến bệnh nhân và mọi người, tôi nghĩ khá rõ ràng rằng những công cụ này sẽ chỉ tăng tốc nhanh chóng các lĩnh vực như sinh học.

Vijay Pande: Đó dường như là một nơi tuyệt vời để kết thúc nó. Cảm ơn Jakob rất nhiều vì đã tham gia Bio Eats World.

Jakob Uszkoreit: Cảm ơn bạn rất nhiều vì đã có tôi.

OliviaWebb: Cảm ơn bạn đã tham gia Bio Eats World. Bio Eats World được tổ chức và sản xuất bởi tôi, Olivia Webb, với sự trợ giúp của nhóm Bio + Health tại a16z và được chỉnh sửa bởi Phil Hegseth. Bio Eats World là một phần của mạng podcast a16z.

Nếu bạn có câu hỏi về tập phim hoặc muốn đề xuất chủ đề cho tập phim trong tương lai, vui lòng gửi email Cuối cùng nhưng không kém phần quan trọng, nếu bạn đang thưởng thức Bio Eats World, vui lòng để lại cho chúng tôi xếp hạng và đánh giá bất cứ nơi nào bạn nghe podcast.

Xin lưu ý rằng nội dung ở đây chỉ nhằm mục đích cung cấp thông tin, không nên được coi là lời khuyên về pháp lý, kinh doanh, thuế hoặc đầu tư hoặc được sử dụng để đánh giá bất kỳ khoản đầu tư hoặc chứng khoán nào và không hướng đến bất kỳ nhà đầu tư hoặc nhà đầu tư tiềm năng nào trong bất kỳ quỹ a16z nào . Để biết thêm chi tiết, vui lòng xem a16z.com/disclosures.

***

Các quan điểm được trình bày ở đây là quan điểm của từng nhân viên AH Capital Management, LLC (“a16z”) được trích dẫn và không phải là quan điểm của a16z hoặc các chi nhánh của nó. Một số thông tin trong đây đã được lấy từ các nguồn của bên thứ ba, bao gồm từ các công ty danh mục đầu tư của các quỹ do a16z quản lý. Mặc dù được lấy từ các nguồn được cho là đáng tin cậy, a16z đã không xác minh độc lập thông tin đó và không đưa ra tuyên bố nào về tính chính xác lâu dài của thông tin hoặc tính thích hợp của nó đối với một tình huống nhất định. Ngoài ra, nội dung này có thể bao gồm các quảng cáo của bên thứ ba; a16z đã không xem xét các quảng cáo đó và không xác nhận bất kỳ nội dung quảng cáo nào có trong đó.

Nội dung này chỉ được cung cấp cho mục đích thông tin và không được dựa vào như lời khuyên về pháp lý, kinh doanh, đầu tư hoặc thuế. Bạn nên tham khảo ý kiến ​​của các cố vấn của riêng mình về những vấn đề đó. Các tham chiếu đến bất kỳ chứng khoán hoặc tài sản kỹ thuật số nào chỉ dành cho mục đích minh họa và không cấu thành khuyến nghị đầu tư hoặc đề nghị cung cấp dịch vụ tư vấn đầu tư. Hơn nữa, nội dung này không hướng đến cũng như không nhằm mục đích sử dụng cho bất kỳ nhà đầu tư hoặc nhà đầu tư tiềm năng nào và không được dựa vào bất kỳ trường hợp nào khi đưa ra quyết định đầu tư vào bất kỳ quỹ nào do a16z quản lý. (Đề nghị đầu tư vào quỹ a16z sẽ chỉ được thực hiện bởi bản ghi nhớ phát hành riêng lẻ, thỏa thuận đăng ký và các tài liệu liên quan khác về bất kỳ quỹ nào như vậy và phải được đọc toàn bộ.) Bất kỳ khoản đầu tư hoặc công ty danh mục đầu tư nào được đề cập, đề cập đến, hoặc được mô tả không phải là đại diện cho tất cả các khoản đầu tư vào xe do a16z quản lý và không thể đảm bảo rằng các khoản đầu tư sẽ sinh lời hoặc các khoản đầu tư khác được thực hiện trong tương lai sẽ có các đặc điểm hoặc kết quả tương tự. Danh sách các khoản đầu tư được thực hiện bởi các quỹ do Andreessen Horowitz quản lý (không bao gồm các khoản đầu tư mà tổ chức phát hành không cho phép a16z tiết lộ công khai cũng như các khoản đầu tư không thông báo vào tài sản kỹ thuật số được giao dịch công khai) có tại https://a16z.com/investments /.

Các biểu đồ và đồ thị được cung cấp bên trong chỉ nhằm mục đích cung cấp thông tin và không nên dựa vào khi đưa ra bất kỳ quyết định đầu tư nào. Hiệu suất trong quá khứ không cho thấy kết quả trong tương lai. Nội dung chỉ nói kể từ ngày được chỉ định. Mọi dự đoán, ước tính, dự báo, mục tiêu, triển vọng và / hoặc ý kiến ​​thể hiện trong các tài liệu này có thể thay đổi mà không cần báo trước và có thể khác hoặc trái ngược với ý kiến ​​của người khác. Vui lòng xem https://a16z.com/disclosures để biết thêm thông tin quan trọng.

Dấu thời gian:

Thêm từ Andreessen Horowitz