Phỏng vấn CEO: Suresh Sugumar của Matiska AI – Semiwiki

Hãy cho chúng tôi biết về công ty của bạn
"Mastiṣka AI” (Mastiṣka có nghĩa là Bộ não trong tiếng Phạn) là một công ty AI tập trung vào việc xây dựng các máy tính giống não bộ để chạy các mô hình nền tảng hiệu quả hơn cho các trường hợp sử dụng Generative AI trong tương lai.

Bạn đang giải quyết vấn đề gì?
Với những lợi ích của AI/GenAI, nhu cầu của nó chắc chắn sẽ tăng lên và các tác dụng phụ của nó đối với hành tinh của chúng ta cũng vậy. Làm thế nào chúng ta có thể giảm thiểu hoặc vô hiệu hóa các tác dụng phụ của AI trên hành tinh của chúng ta? Thu hồi carbon và năng lượng hạt nhân đang đi đúng hướng. Nhưng về cơ bản, chúng ta cần phải suy nghĩ lại về cách chúng ta thực hiện AI, liệu đó có phải là cách sai khi thực hiện hàng tấn phép nhân ma trận?

Bộ não của chúng ta có thể học và thực hiện nhiều nhiệm vụ song song, trong và dưới 10W, nhưng tại sao các hệ thống AI này lại tiêu tốn tới 10 megawatt để đào tạo mô hình?

Có lẽ tương lai sẽ nắm giữ các kiến ​​trúc tiết kiệm năng lượng như kiến ​​trúc mô hình thần kinh và các máy biến áp dựa trên mạng thần kinh tăng tốc gần nhất với bộ não con người, có thể tiêu thụ năng lượng thấp hơn 100-1000 lần, do đó giảm chi phí sử dụng AI, từ đó dân chủ hóa nó và tiết kiệm năng lượng của chúng ta. hành tinh.

Những thách thức hiện tại mà chúng ta phải đối mặt với AI là a) tính sẵn có, b) khả năng tiếp cận, c) khả năng chi trả và d) an toàn môi trường cùng với một số khuyến nghị để giải quyết chúng.

Nếu chúng ta thấy trước trong tương lai, một số khái niệm AGI hữu ích sẽ được thể hiện trong bộ phim “HER”, trong đó nhân vật 'Samantha' – một tác nhân đàm thoại tự nhiên, hiểu cảm xúc, thể hiện sự đồng cảm, là một phi công phụ tuyệt vời trong công việc — và tiếp tục chạy. thiết bị cầm tay cả ngày thì chúng ta có thể phải giải quyết những thách thức dưới đây ngay bây giờ.

Vấn đề 1: Đào tạo LLM có thể tốn từ 150 nghìn đến hơn 10 triệu đô la và nó chỉ cho phép những người có túi tiền dồi dào hơn mới phát triển AI. Ngoài ra, chi phí suy luận cũng rất lớn (chi phí gấp 10 lần so với tìm kiếm trên web)
—> Chúng ta cần cải thiện hiệu quả sử dụng năng lượng của các mô hình/phần cứng để dân chủ hóa AI vì lợi ích của nhân loại.

Vấn đề 2: Việc chạy các mô hình AI khổng lồ cho các tác nhân đàm thoại hoặc hệ thống đề xuất sẽ gây tổn hại cho môi trường về mức tiêu thụ điện và làm mát.
—> Chúng ta cần cải thiện hiệu quả sử dụng năng lượng của các mô hình/phần cứng để cứu hành tinh của chúng ta cho con em chúng ta.

Vấn đề 3: Bộ não con người có khả năng và có thể thực hiện đa nhiệm nhưng chỉ tiêu thụ 10 Watts thay vì Megawatt.
—> Có lẽ chúng ta nên chế tạo những cỗ máy giống như bộ não của mình chứ không phải các phép nhân ma trận thông thường nhanh hơn.

Nhân loại chỉ có thể phát triển mạnh nhờ những đổi mới bền vững, chứ không phải bằng cách chặt phá toàn bộ rừng và đun sôi các đại dương dưới danh nghĩa đổi mới. Chúng ta phải bảo vệ hành tinh của mình vì phúc lợi của con cháu chúng ta và các thế hệ tương lai mai sau…

Lĩnh vực ứng dụng nào là mạnh nhất của bạn?
Đào tạo và suy luận về các mô hình nền tảng dựa trên Transformer (và kiến ​​trúc thần kinh trong tương lai), tiết kiệm năng lượng hơn 50-100 lần so với các giải pháp dựa trên GPU ngày nay.

Điều gì khiến khách hàng của bạn thức đêm?
Các vấn đề đối với khách hàng đang sử dụng sản phẩm khác:

Mức tiêu thụ điện để đào tạo các mô hình ngôn ngữ khổng lồ vượt quá giới hạn, chẳng hạn, đào tạo LLM tham số 13B trên mã thông báo văn bản 390B trên 200 GPU trong 7 ngày có giá 151,744 USD (Nguồn: Trang dịch vụ cụm đào tạo mới HuggingFace – https://lnkd.in/g6Vc5cz3). Và thậm chí các mô hình lớn hơn với tham số 100+B có giá 10+M USD chỉ để đào tạo. Sau đó trả tiền cho việc suy luận mỗi khi có yêu cầu nhắc nhở mới.

Mức tiêu thụ nước để làm mát, các nhà nghiên cứu tại Đại học California, Riverside đã ước tính tác động môi trường của dịch vụ giống ChatGPT và cho biết dịch vụ này tiêu tốn 500 ml nước (gần bằng lượng nước có trong một chai nước 16 ounce) mỗi khi bạn yêu cầu. chuỗi từ 5 đến 50 lời nhắc hoặc câu hỏi. Phạm vi thay đổi tùy thuộc vào vị trí đặt máy chủ của nó và mùa. Ước tính này bao gồm việc sử dụng nước gián tiếp mà các công ty không đo lường được - chẳng hạn như để làm mát các nhà máy điện cung cấp điện cho các trung tâm dữ liệu. (Nguồn: https://lnkd.in/gybcxX8C)

Các vấn đề đối với những người không phải là khách hàng của sản phẩm hiện tại:

Không đủ tiền CAPEX để mua phần cứng
Không đủ khả năng sử dụng dịch vụ đám mây
Không thể đổi mới hoặc tận dụng AI - mắc kẹt với mô hình dịch vụ loại bỏ mọi lợi thế cạnh tranh

Bối cảnh cạnh tranh trông như thế nào và làm thế nào để bạn phân biệt?

• GPU thống trị không gian đào tạo, mặc dù các ASIC chuyên dụng cũng cạnh tranh trong phân khúc này
• Suy luận Cloud & Edge có quá nhiều lựa chọn

Kỹ thuật số, Analog, Photonic - bạn có thể đặt tên cho nó là mọi người đang cố gắng giải quyết cùng một vấn đề.

Bạn có thể chia sẻ suy nghĩ của mình về hiện trạng kiến ​​trúc chip cho AI/ML không, nghĩa là bạn thấy đâu là xu hướng và cơ hội quan trọng nhất hiện nay?

Xu hướng sau:
Xu hướng 1: 10 năm trước, deep learning hỗ trợ phần cứng đã phát triển mạnh mẽ và giờ đây phần cứng tương tự đang cản trở sự phát triển. Do chi phí phần cứng và điện năng để chạy các mô hình rất lớn, việc truy cập phần cứng đã trở thành một thách thức. Chỉ những công ty có túi tiền dồi dào mới có thể mua được những thứ này và đang trở thành công ty độc quyền.

Xu hướng 2: Bây giờ các mô hình này đã có, chúng ta cần sử dụng chúng cho các mục đích thực tế để tải suy luận sẽ tăng lên, cho phép các CPU có bộ tăng tốc AI trở lại ánh đèn sân khấu.

Xu hướng 3: Các công ty khởi nghiệp đang cố gắng đưa ra các cách biểu diễn số dấu phẩy động thay thế mà định dạng IEEE truyền thống - chẳng hạn như logarit và dựa trên số nguyên - là tốt nhưng chưa đủ. Tối ưu hóa không gian thiết kế PPA$ bùng nổ khi chúng tôi cố gắng tối ưu hóa cái này và cái khác.

Xu hướng 4: Ngành công nghiệp này đang chuyển từ mô hình AI dựa trên dịch vụ sang lưu trữ các mô hình riêng của mình tại cơ sở riêng của mình - nhưng việc tiếp cận phần cứng là một thách thức do thiếu nguồn cung, các biện pháp trừng phạt, v.v.

Tình trạng hiện tại:
Sự sẵn có của phần cứng và dữ liệu đã thúc đẩy sự phát triển của AI 10 năm trước, giờ đây chính phần cứng đó đang cản trở nó - hãy để tôi giải thích

Kể từ khi CPU hoạt động kém hiệu quả và GPU được tái sử dụng để làm AI, nhiều chuyện đã xảy ra

Các công ty đã và đang giải quyết 4 phân đoạn AI/ML cụ thể là – 1) đào tạo trên đám mây, 2) suy luận trên đám mây, 3) suy luận biên và 4) đào tạo biên (học tập liên kết cho các ứng dụng nhạy cảm với quyền riêng tư).
Kỹ thuật số & Analog

Bên đào tạo – rất nhiều công ty sản xuất GPU, bộ tăng tốc khách hàng dựa trên RISC-V, chip quy mô wafer (lõi 850K), v.v. mà CPU truyền thống thiếu (mục đích chung của chúng). Phía suy luận – Bộ tăng tốc NN có sẵn từ mọi nhà sản xuất, trên điện thoại thông minh, máy tính xách tay và các thiết bị biên khác.

Kiến trúc dựa trên điện trở nhớ tương tự cũng đã xuất hiện cách đây một thời gian.

Chúng tôi tin rằng CPU có thể suy luận rất tốt nếu chúng tôi tăng cường khả năng tăng tốc như mở rộng ma trận

Mặt RISC-V của sự việc:
Về mặt RISC-V, chúng tôi đang phát triển các bộ tăng tốc cho hoạt động ma trận và các hoạt động phi tuyến tính khác để loại bỏ các tắc nghẽn có thể xảy ra đối với khối lượng công việc của máy biến áp. Các nút thắt của Von Neumann cũng đang được giải quyết bằng cách kiến ​​trúc bộ nhớ gần hơn với điện toán, cuối cùng khiến CPU có khả năng tăng tốc AI trở thành lựa chọn phù hợp cho hoạt động suy luận.

Cơ hội:
Có những cơ hội duy nhất để lấp đầy thị trường các mô hình nền móng. Ví dụ - OpenAI đã đề cập rằng họ không thể đảm bảo đủ điện toán AI (GPU) để tiếp tục phát triển các dịch vụ ChatGPT của họ… và các bản tin về chi phí điện gấp 10 lần so với tìm kiếm trên internet thông thường và 500ml nước để làm mát hệ thống cho mỗi truy vấn. Có một thị trường để lấp đầy ở đây - nó không phải là thị trường ngách mà là toàn bộ thị trường sẽ dân chủ hóa AI giải quyết tất cả các thách thức nêu trên – a) tính sẵn có, b) khả năng tiếp cận, c) khả năng chi trả và d) an toàn môi trường

Bạn đang nghiên cứu những tính năng/công nghệ mới nào?
Chúng tôi đang xây dựng bộ não giống như máy tính tận dụng các kỹ thuật điều biến thần kinh và các mô hình điều chỉnh để tận dụng phần cứng tiết kiệm năng lượng, tái sử dụng có thể các khung mở có sẵn

Bạn hình dung lĩnh vực AI/ML sẽ phát triển hoặc thay đổi như thế nào trong 12-18 tháng tới?
Khi nhu cầu về GPU ngày càng giảm (có giá khoảng 30 nghìn đô la) cộng với việc một số nơi trên thế giới đang phải đối mặt với các lệnh trừng phạt để mua những GPU này, một số nơi trên thế giới cảm thấy họ bị đóng băng trong hoạt động nghiên cứu và phát triển AI mà không được tiếp cận với GPU. Các nền tảng phần cứng thay thế sẽ chiếm lĩnh thị trường.
Các mô hình có thể sẽ bắt đầu thu hẹp lại - các mô hình tùy chỉnh hoặc thậm chí về cơ bản là mật độ thông tin sẽ tăng lên

Cùng một câu hỏi nhưng sự tăng trưởng và thay đổi trong 3-5 năm tới như thế nào?
a) CPU có phần mở rộng AI sẽ chiếm lĩnh thị trường suy luận AI
b) Các mô hình sẽ trở nên linh hoạt hơn và các tham số sẽ bị loại bỏ khi mật độ thông tin được cải thiện từ 16% lên 90%
c) Cải thiện hiệu quả sử dụng năng lượng, giảm lượng khí thải CO2
d) Những kiến ​​trúc mới xuất hiện
e) chi phí phần cứng và chi phí năng lượng giảm xuống nên rào cản gia nhập đối với các công ty nhỏ hơn trong việc tạo và đào tạo mô hình trở nên hợp lý hơn
f) mọi người nói về thời điểm trước AGI, nhưng điểm chuẩn của tôi sẽ là nhân vật Samantha (AI đàm thoại) trong phim “cô ấy”.. điều đó có thể khó xảy ra do chi phí mở rộng quy mô cao

Một số thách thức có thể tác động hoặc hạn chế sự phát triển trong lĩnh vực AI/ML là gì?
a) Truy cập vào phần cứng
b) Chi phí năng lượng, chi phí làm mát và tác hại đến môi trường

Cũng đọc:

Phỏng vấn CEO: David Moore của Pragmatic

Phỏng vấn CEO: Tiến sĩ Meghali Chopra của Sandbox Semiconductor

Phỏng vấn CEO: Tiến sĩ J Provine of Align Carbon