Phỏng vấn CEO: Jay Dawani của Lemurian Labs - Semiwiki

Được xuất bản lại bởi Plato

Người theo dõi: 0

Jay Lemurian

Jay Dawani là người đồng sáng lập và CEO tại Phòng thí nghiệm Lemurian, một công ty khởi nghiệp đang phát triển nền tảng điện toán tăng tốc được thiết kế riêng cho các ứng dụng AI. Nền tảng này vượt qua các rào cản phần cứng để giúp phát triển AI nhanh hơn, rẻ hơn, bền vững hơn và có thể tiếp cận được với nhiều công ty.

Trước khi thành lập Lemurian, Jay đã thành lập hai công ty khác trong lĩnh vực AI. Ông cũng là tác giả của cuốn sách được đánh giá cao nhất “Toán học cho học sâu".

Là chuyên gia về trí tuệ nhân tạo, robot và toán học, Jay từng là CTO của BlocPlay, một công ty đại chúng xây dựng nền tảng trò chơi dựa trên blockchain và từng là Giám đốc AI tại GEC, nơi ông lãnh đạo phát triển một số dự án khách hàng bao gồm các lĩnh vực từ bán lẻ, giao dịch bằng thuật toán, gấp protein, robot khám phá không gian, hệ thống khuyến nghị, v.v. Trong thời gian rảnh rỗi, ông cũng từng là cố vấn tại Phòng thí nghiệm Phát triển Biên giới của NASA, Spacebit và SiaClassic.

Lần gần đây nhất chúng tôi giới thiệu Phòng thí nghiệm Lemurian, bạn đã tập trung vào robot và AI biên. Bây giờ bạn đang tập trung vào trung tâm dữ liệu và cơ sở hạ tầng đám mây. Điều gì đã xảy ra khiến bạn muốn xoay chuyển?

Thật vậy, chúng tôi đã chuyển đổi từ việc tập trung vào việc xây dựng hệ thống trên chip hiệu suất cao, độ trễ thấp cho các ứng dụng robot tự động có thể tăng tốc toàn bộ vòng lặp hành động-kế hoạch-cảm giác sang xây dựng một bộ tăng tốc miền cụ thể cho AI tập trung vào các ứng dụng quy mô trung tâm dữ liệu . Nhưng đó không chỉ là một bước xoay trục thông thường; đó là một lời kêu gọi rõ ràng mà chúng tôi cảm thấy mình có trách nhiệm phải trả lời.

Vào năm 2018, chúng tôi đang nỗ lực đào tạo một mô hình tham số trị giá 2.1 tỷ USD nhưng đã từ bỏ nỗ lực này vì chi phí quá cao đến mức chúng tôi không thể biện minh được. Vì vậy, hãy tưởng tượng sự ngạc nhiên của tôi khi GPT3, được OpenAI phát hành dưới tên ChatGPT vào tháng 2022 năm 175, là một mô hình tham số trị giá 80 tỷ USD. Mô hình này lớn hơn 4 lần so với những gì chúng tôi đang nghiên cứu chỉ XNUMX năm trước đó, điều này vừa thú vị vừa đáng sợ.

Ít nhất, chi phí đào tạo một mô hình như vậy là đáng kinh ngạc. Dựa trên xu hướng mở rộng quy mô hiện tại, chúng ta có thể mong đợi chi phí đào tạo một mô hình AI tiên tiến sẽ vượt quá một tỷ đô la trong tương lai không xa. Mặc dù khả năng của những mô hình này sẽ rất đáng kinh ngạc nhưng chi phí lại cao đến mức nực cười. Dựa trên quỹ đạo này, chỉ một số ít công ty có nguồn lực tốt với trung tâm dữ liệu riêng mới có đủ khả năng để đào tạo, triển khai và tinh chỉnh các mô hình này. Điều này không hoàn toàn là do máy tính đắt tiền và ngốn điện mà còn vì các kho phần mềm mà chúng ta dựa vào không được xây dựng cho thế giới này.

Do những hạn chế về mặt địa lý và năng lượng nên chỉ có rất nhiều nơi để xây dựng trung tâm dữ liệu. Để đáp ứng nhu cầu tính toán của AI, chúng ta cần có khả năng chế tạo những cỗ máy có quy mô zetta mà không cần 20 lò phản ứng hạt nhân để cung cấp năng lượng cho nó. Chúng ta cần một giải pháp thiết thực hơn, có thể mở rộng và tiết kiệm hơn. Chúng tôi nhìn xung quanh và không thấy ai đang tìm cách giải quyết vấn đề này. Và vì vậy, chúng tôi lên bàn vẽ để xem vấn đề một cách tổng thể như một hệ thống của các hệ thống và suy luận về giải pháp từ những nguyên tắc đầu tiên. Chúng tôi đã tự hỏi, làm cách nào để thiết kế toàn bộ ngăn xếp, từ phần mềm đến phần cứng, nếu chúng tôi phải phục vụ 10 tỷ truy vấn LLM mỗi ngày một cách tiết kiệm. Chúng tôi đặt mục tiêu tạo ra một cỗ máy zettascale có công suất dưới 200MW vào năm 2028.

Bí quyết là hãy xem xét nó từ quan điểm mở rộng quy mô không tương xứng – các phần khác nhau của hệ thống tuân theo các quy tắc mở rộng quy mô khác nhau, do đó, đến một lúc nào đó, mọi thứ sẽ ngừng hoạt động, bắt đầu hỏng hoặc việc đánh đổi lợi ích chi phí không còn ý nghĩa nữa. Khi điều này xảy ra, lựa chọn duy nhất là thiết kế lại hệ thống. Đánh giá và giải pháp của chúng tôi bao gồm khối lượng công việc, hệ thống số, mô hình lập trình, trình biên dịch, thời gian chạy và phần cứng một cách tổng thể.

Rất may, các nhà đầu tư hiện tại của chúng tôi và phần còn lại của thị trường đã nhìn thấy tầm nhìn và chúng tôi đã huy động được vòng hạt giống trị giá 9 triệu đô la để phát triển định dạng số – PAL, nhằm khám phá không gian thiết kế và hội tụ kiến trúc cho công cụ tăng tốc dành riêng cho miền của chúng tôi và kiến trúc của chúng tôi. trình biên dịch và thời gian chạy. Trong mô phỏng, chúng tôi có thể đạt được mức tăng thông lượng gấp 20 lần với mức sử dụng năng lượng nhỏ hơn so với GPU hiện đại và dự kiến có thể mang lại lợi ích gấp 8 lần về hiệu suất hệ thống với tổng chi phí sở hữu trên cùng một công nghệ bóng bán dẫn.

Không cần phải nói, chúng tôi còn rất nhiều việc phải làm nhưng chúng tôi khá vui mừng về triển vọng có thể xác định lại hoạt động kinh tế của trung tâm dữ liệu để đảm bảo một tương lai nơi AI luôn sẵn có cho mọi người.

Điều đó chắc chắn nghe có vẻ thú vị và những con số đó nghe có vẻ ấn tượng. Nhưng bạn đã đề cập đến hệ thống số, phần cứng, trình biên dịch và thời gian chạy là tất cả những thứ bạn tập trung vào – có vẻ như có rất nhiều việc mà bất kỳ công ty nào cũng phải đảm nhận cùng một lúc. Có vẻ như đây là một đề xuất rất mạo hiểm. Không phải các công ty khởi nghiệp cần phải tập trung hơn sao?

Nghe có vẻ có nhiều nỗ lực khác nhau, nhưng trên thực tế, đó là một nỗ lực có rất nhiều bộ phận liên kết với nhau. Chỉ giải quyết một trong những thành phần này một cách tách biệt với những thành phần khác sẽ chỉ cản trở tiềm năng đổi mới vì nó dẫn đến việc bỏ qua những điểm nghẽn và sự thiếu hiệu quả của hệ thống. Jensen Huang đã nói điều đó hay nhất, “Để trở thành một công ty điện toán tăng tốc, bạn phải là một công ty toàn diện” và tôi hoàn toàn đồng ý. Họ là người dẫn đầu thị trường hiện tại là có lý do. Nhưng tôi sẽ thách thức quan điểm cho rằng chúng tôi không tập trung. Trọng tâm của chúng tôi là ở cách chúng tôi nghĩ về vấn đề một cách tổng thể và cách giải quyết vấn đề đó tốt nhất cho khách hàng.

Để làm được điều đó đòi hỏi cách tiếp cận đa ngành như của chúng tôi. Mỗi phần công việc của chúng tôi cung cấp thông tin và hỗ trợ cho những phần khác, cho phép chúng tôi tạo ra giải pháp vượt xa tổng số các phần của nó. Hãy tưởng tượng nếu bạn phải chế tạo một chiếc xe đua. Bạn sẽ không tùy tiện chọn khung gầm, thêm lốp xe đua và thả vào động cơ mạnh nhất mà bạn có thể tìm được và đua nó, phải không? Bạn sẽ nghĩ đến tính khí động học của thân xe để giảm lực cản và tăng cường lực xuống, tối ưu hóa sự phân bổ trọng lượng để có khả năng xử lý tốt, thiết kế tùy chỉnh động cơ để đạt hiệu suất tối đa, có hệ thống làm mát để tránh quá nhiệt, trang bị lồng chống lật để giữ an toàn cho người lái. , v.v. Mỗi yếu tố này được xây dựng dựa trên và thông báo cho yếu tố kia.

Điều đó nói lên rằng, sẽ rất rủi ro nếu cố gắng làm tất cả những việc đó cùng một lúc cho bất kỳ công ty nào trong bất kỳ ngành nào. Để quản lý rủi ro, chúng tôi đang thực hiện phương pháp tiếp cận theo từng giai đoạn, cho phép chúng tôi xác nhận công nghệ của mình với khách hàng và điều chỉnh chiến lược của mình khi cần thiết. Chúng tôi đã chứng minh rằng định dạng số của chúng tôi hoạt động và nó có diện tích hiệu suất năng lượng tốt hơn các loại dấu phẩy động tương đương, đồng thời có các thuộc tính số tốt hơn giúp lượng tử hóa mạng thần kinh thành độ rộng bit nhỏ hơn dễ dàng hơn. Chúng tôi đã thiết kế một kiến trúc mà chúng tôi cảm thấy tự tin và nó phù hợp cho cả việc đào tạo và suy luận. Nhưng quan trọng hơn tất cả những điều đó là có được phần mềm phù hợp và đó là trọng tâm trước mắt của chúng tôi. Chúng tôi cần đảm bảo rằng chúng tôi đưa ra những quyết định đúng đắn trong kho phần mềm của mình ở nơi chúng tôi nhìn thấy thế giới sẽ diễn ra trong một hoặc hai năm trở lên kể từ hôm nay.

Xây dựng một công ty phần cứng là một công việc khó khăn, tốn kém và mất nhiều thời gian. Việc tập trung vào phần mềm thoạt nghe có vẻ là một hoạt động kinh doanh rất khả thi và có khả năng hấp dẫn hơn đối với các nhà đầu tư trong bối cảnh hiện tại. Tại sao bạn cũng làm phần cứng khi rất nhiều công ty được tài trợ tốt trong lĩnh vực này đang đóng cửa, vật lộn để được khách hàng chấp nhận và những công ty lớn hơn đang xây dựng phần cứng của riêng họ?

Bạn hoàn toàn đúng khi cho rằng các doanh nghiệp phần mềm nhìn chung có thể huy động vốn dễ dàng hơn nhiều so với các công ty phần cứng và phần cứng đó rất khó khăn. Trọng tâm hiện tại của chúng tôi tập trung rất nhiều vào phần mềm vì đó là nơi chúng tôi nhận thấy vấn đề lớn hơn. Hãy để tôi nói rõ, vấn đề không phải là liệu tôi có thể chạy hạt nhân trên CPU hay GPU với hiệu suất cao hay không; đó là một vấn đề đã được giải quyết từ lâu. Vấn đề của ngày hôm nay là làm cách nào để chúng tôi giúp các nhà phát triển dễ dàng đạt được hiệu suất cao hơn, hiệu quả hơn từ hàng nghìn cụm nút được tạo thành từ tính toán không đồng nhất mà không yêu cầu họ phải sửa đổi quy trình làm việc của mình.

Đó là vấn đề mà chúng tôi hiện đang tập trung giải quyết bằng một gói phần mềm mang lại cho các nhà phát triển siêu năng lực và khai thác toàn bộ khả năng của máy tính quy mô kho hàng, để chúng tôi có thể đào tạo và triển khai các mô hình AI một cách kinh tế hơn.

Hiện nay, liên quan đến đầu tư, vâng, các quỹ đầu tư mạo hiểm đang chọn lọc hơn các loại công ty mà họ hỗ trợ, nhưng điều đó cũng có nghĩa là các quỹ đầu tư mạo hiểm đang tìm kiếm các công ty có tiềm năng cung cấp các sản phẩm thực sự đột phá, có lộ trình thương mại hóa rõ ràng đồng thời có tác động đáng kể. Chúng tôi đã học hỏi từ những thách thức và sai lầm của người khác và đã tích cực thiết kế mô hình và lộ trình kinh doanh của mình để giải quyết các rủi ro. Điều quan trọng cần lưu ý là điều khiến các công ty khởi nghiệp thành công hiếm khi là việc họ có thể huy động vốn từ VC dễ dàng như thế nào mà liên quan nhiều hơn đến sự tháo vát, sự bướng bỉnh và tập trung vào khách hàng của họ.

Và trước khi bạn hỏi, hiện tại chúng tôi vẫn đang nghiên cứu phần cứng nhưng chủ yếu là mô phỏng. Chúng tôi không có ý định dừng hoạt động trong một thời gian. Nhưng chúng ta có thể để dành cuộc trò chuyện đó vào lúc khác.

Điều đó chắc chắn là hấp dẫn và cách tiếp cận theo từng giai đoạn của bạn rất khác so với những gì chúng tôi đã thấy các công ty phần cứng khác làm. Tôi hiểu vấn đề mà bạn đang nói rằng ngăn xếp phần mềm của bạn sẽ giải quyết, nhưng phần mềm của bạn khác biệt như thế nào với những nỗ lực khác nhau trên thị trường?

Hầu hết các công ty mà bạn đang đề cập đến đang tập trung vào việc giúp lập trình GPU dễ dàng hơn bằng cách giới thiệu các mô hình lập trình ánh xạ tác vụ hoặc dựa trên ô xếp để đạt được hiệu suất cao hơn từ GPU hoặc xây dựng các ngôn ngữ lập trình mới để có được các hạt nhân hiệu suất cao được lên lịch trên các nền tảng khác nhau. nền tảng có hỗ trợ lắp ráp nội tuyến. Đó là những vấn đề quan trọng mà họ đang giải quyết, nhưng chúng tôi thấy vấn đề chúng tôi đang giải quyết gần như trực giao.

Chúng ta hãy suy nghĩ một chút về nhịp độ chuyển đổi phần cứng và phần mềm. Kiến trúc lõi đơn đạt được hiệu suất từ tốc độ xung nhịp và mật độ bóng bán dẫn, nhưng cuối cùng tốc độ xung nhịp đã đạt đến mức ổn định. Tính song song sử dụng nhiều lõi đã tránh được điều này và mang lại tốc độ tăng tốc đáng kể. Phần mềm phải mất khoảng một thập kỷ để bắt kịp vì các mô hình lập trình, trình biên dịch và thời gian chạy phải được xem xét lại để giúp các nhà phát triển khai thác được giá trị trong mô hình này. Sau đó, GPU bắt đầu trở thành bộ tăng tốc cho mục đích chung, một lần nữa với một mô hình lập trình khác. Một lần nữa, các nhà phát triển phải mất gần một thập kỷ mới khai thác được giá trị ở đây.

Một lần nữa, phần cứng đang đạt đến trạng thái ổn định – Định luật Moore, các hạn chế về năng lượng và nhiệt, tắc nghẽn bộ nhớ và sự đa dạng của khối lượng công việc cộng với nhu cầu tính toán nhiều hơn theo cấp số nhân đang thúc đẩy chúng ta xây dựng các kiến trúc máy tính ngày càng không đồng nhất để có hiệu suất, hiệu quả và tổng chi phí tốt hơn. Tất nhiên, sự thay đổi về phần cứng này sẽ tạo ra những thách thức cho phần mềm vì chúng ta không có trình biên dịch và thời gian chạy phù hợp để hỗ trợ sự phát triển tiếp theo của điện toán. Tuy nhiên, lần này, chúng ta không cần phải đợi thêm 10 năm nữa để phần mềm khai thác được giá trị của các kiến trúc không đồng nhất hoặc các cụm lớn, đặc biệt là khi hơn 80% chúng không được sử dụng.

Điều chúng tôi đang tập trung vào là xây dựng mô hình lập trình nhận biết tính không đồng nhất với tính song song dựa trên nhiệm vụ, giải quyết hiệu suất di động bằng tối ưu hóa bộ xử lý chéo, biên dịch nhận biết ngữ cảnh và phân bổ tài nguyên động. Và đối với chúng tôi, việc đó là CPU, GPU, TPU, SPU (kiến trúc của Lemurian) hay một mạng lưới của tất cả chúng đều không thành vấn đề. Tôi biết điều đó nghe có vẻ như nhiều từ hoa mỹ, nhưng điều thực sự muốn nói là chúng tôi đã có thể lập trình bất kỳ loại bộ xử lý nào chỉ bằng một cách tiếp cận duy nhất và chúng tôi có thể chuyển mã từ loại bộ xử lý này sang loại bộ xử lý khác với chi phí tối thiểu. nỗ lực mà không cần phải hy sinh hiệu suất và lên lịch làm việc một cách thích ứng và linh hoạt trên các nút.

Kiến trúc đơn vị xử lý không gian LL slide đầy đủ (1)

Nếu những gì bạn nói là đúng thì bạn có thể định nghĩa lại hoàn toàn tính toán. Hãy nói về nguồn tài trợ. Bạn đã huy động được 9 triệu đô la tài trợ ban đầu vào năm ngoái, điều này cho thấy sự ủng hộ mạnh mẽ của nhà đầu tư và niềm tin vào tầm nhìn của bạn. Bạn đã làm gì kể từ đó?

Trong năm qua, được thúc đẩy bởi nguồn tài trợ hạt giống, chúng tôi đã đạt được những bước tiến đáng kể. Với đội ngũ hiện có 20 thành viên, chúng tôi đã giải quyết một cách tỉ mỉ các thách thức, gắn kết với khách hàng và cải tiến cách tiếp cận của mình.

Chúng tôi tập trung vào việc nâng cao PAL cho hoạt động đào tạo và suy luận, khám phá kiến trúc máy tính cho máy gia tốc của mình và phát triển một trình mô phỏng cho các số liệu hiệu suất. Đồng thời, chúng tôi đã mô phỏng lại ngăn xếp phần mềm của mình cho các ứng dụng trung tâm dữ liệu, nhấn mạnh vào tính toán không đồng nhất.

Nỗ lực này đã tạo ra một kiến trúc được xác định rõ ràng, thể hiện tính hiệu quả của PAL đối với AI trên quy mô lớn. Ngoài những tiến bộ về công nghệ, chúng tôi còn theo đuổi sự hợp tác và tiếp cận để dân chủ hóa quyền truy cập. Những nỗ lực này giúp Phòng thí nghiệm Lemurian giải quyết những thách thức trước mắt của khách hàng, chuẩn bị cho việc tung ra sản phẩm silicon sản xuất của chúng tôi.

Kế hoạch trung hạn của Lemurian Labs liên quan đến phát triển ngăn xếp phần mềm, cộng tác và cải tiến kiến trúc của máy gia tốc là gì?

Mục tiêu trước mắt của chúng tôi là tạo ra một nhóm phần mềm nhắm vào CPU, GPU và bộ tăng tốc AI của chúng tôi với hiệu suất di động. Phần mềm này sẽ được cung cấp cho các đối tác sớm vào cuối năm nay. Chúng tôi hiện đang trò chuyện với hầu hết các công ty bán dẫn, nhà cung cấp dịch vụ đám mây, công ty siêu quy mô và công ty AI hàng đầu để cấp cho họ quyền truy cập vào trình biên dịch và thời gian chạy của chúng tôi. Song song đó, chúng tôi tiếp tục nỗ lực và cải thiện kiến trúc của máy gia tốc để có một hệ thống phần cứng và phần mềm được đồng thiết kế thực sự. Và tất nhiên, chúng tôi mới bắt đầu nâng cao vòng series A của mình với sự quan tâm rất lớn từ cộng đồng nhà đầu tư, điều này sẽ cho phép chúng tôi phát triển đội ngũ của mình và đạt được mục tiêu phân phối sản phẩm phần mềm vào cuối năm.

Cuối cùng, bạn thấy Phòng thí nghiệm Lemurian góp phần thay đổi cục diện phát triển AI, khả năng tiếp cận và công bằng như thế nào trong những năm tới?

Chúng tôi không đặt mục tiêu định nghĩa lại máy tính chỉ vì lợi ích thương mại hay vì mục đích giải trí. Với tư cách là người Lemurian, động lực của chúng tôi là chúng tôi tin vào tiềm năng biến đổi của AI và không chỉ một số công ty phải có đủ nguồn lực để xác định tương lai của công nghệ này cũng như cách chúng tôi sử dụng nó. Chúng tôi cũng không thể chấp nhận được rằng cơ sở hạ tầng trung tâm dữ liệu cho AI đang trên đà tiêu thụ tới 20% năng lượng của thế giới vào năm 2030. Tất cả chúng tôi cùng nhau hợp tác vì chúng tôi tin rằng sẽ có một con đường tốt hơn cho xã hội nếu chúng tôi có thể tạo ra AI dễ tiếp cận hơn bằng cách giảm đáng kể chi phí liên quan, đẩy nhanh tốc độ đổi mới trong AI và mở rộng tác động của nó. Bằng cách giải quyết những thách thức của cơ sở hạ tầng phần cứng hiện tại, chúng tôi tìm cách mở đường để trao quyền cho một tỷ người bằng khả năng của AI, đảm bảo phân phối công bằng công nghệ tiên tiến này. Chúng tôi hy vọng cam kết của chúng tôi đối với các giải pháp tập trung vào sản phẩm, sự hợp tác và đổi mới liên tục sẽ giúp chúng tôi trở thành động lực định hình tương lai phát triển AI trở nên tích cực.