Tăng trưởng mạng lưới thần kinh đòi hỏi quy mô bán dẫn chưa từng có

Sự thật là chúng ta mới chỉ ở giai đoạn đầu của cuộc cách mạng Trí tuệ nhân tạo (AI). Các khả năng của AI hiện mới bắt đầu cho thấy những gợi ý về tương lai. Ví dụ, ô tô đang sử dụng các mô hình mạng lưới thần kinh phức tạp lớn để không chỉ hiểu môi trường của chúng mà còn điều khiển và kiểm soát chính chúng. Đối với bất kỳ ứng dụng nào, phải có dữ liệu đào tạo để tạo các mạng hữu ích. Quy mô của cả hoạt động đào tạo và suy luận đang tăng lên nhanh chóng khi dữ liệu hữu ích trong thế giới thực được tích hợp vào các mô hình. Hãy xem xét sự phát triển của các mô hình trong những năm gần đây để hiểu điều này thúc đẩy nhu cầu về sức mạnh xử lý để đào tạo và suy luận như thế nào.

Trong một bài thuyết trình tại Diễn đàn Kỹ thuật số Ý tưởng Ansys 2021, Phó Giám đốc Kỹ thuật tại Cerebras, Dhiraj Mallik, đã cung cấp một số thông tin chi tiết về sự phát triển của các mô hình mạng thần kinh. Trong hai năm qua, kích thước mô hình đã tăng gấp 1000 lần, từ BERT Base (110 MB) lên GPT-3 (175 GB). Và sắp ra mắt là mẫu MSFT-1T, với kích thước 1 TB. Mô hình GPT-3 – vốn là một chủ đề thú vị của riêng nó – đã được đào tạo với phần cứng thông thường sử dụng 1024 GPU trong 4 tháng. Đó là mô hình xử lý ngôn ngữ tự nhiên (NLP) sử dụng hầu hết dữ liệu văn bản trên internet và các nguồn khác. Nó được phát triển bởi Open AI và hiện là cơ sở cho OpenAI Codex, một ứng dụng có thể viết mã lập trình hữu ích bằng một số ngôn ngữ từ hướng dẫn bằng ngôn ngữ đơn giản của người dùng. GPT-3 có thể được sử dụng để viết các bài báo ngắn mà phần lớn người đọc không thể biết được đã được viết bởi một chương trình AI.

Như bạn có thể thấy ở trên, việc chạy 1024 GPU trong 4 tháng là không khả thi. Trong bài nói chuyện của mình có tựa đề “Mang đến khả năng tăng tốc AP chưa từng có: Ngoài Định luật Moore”, Dhiraj đưa ra quan điểm rằng những tiến bộ cần thiết để hỗ trợ mức tăng trưởng chất bán dẫn này ngày càng vượt xa những gì chúng ta từng thấy với Định luật Moore. Để đáp ứng nhu cầu thị trường nhận thấy này, Cerebras đã phát hành công cụ AI quy mô wafer WSE-1 của họ vào năm 2019 – lớn hơn 56 lần so với bất kỳ con chip nào từng được sản xuất. Một năm rưỡi sau, họ công bố WSE-2, một lần nữa là con chip lớn nhất từng được chế tạo với:

• 6 nghìn tỷ bóng bán dẫn
• 850,000 lõi AI được tối ưu hóa
• GB RAM 40
• Băng thông bộ nhớ 20 petabyte/giây
• Băng thông vải 220 petabyte
• Được xây dựng với quy trình N7 của TSMC
• Một wafer chứa 84 khuôn, mỗi khuôn 550 mm².

Hệ thống CS-2 đóng gói WSE-2 có thể phù hợp với các mô hình AI với 120 nghìn tỷ tham số. Điều thậm chí còn ấn tượng hơn là các hệ thống CS-2 có thể được tích hợp thành các cụm 192 đơn vị để mang lại mức tăng hiệu suất gần như tuyến tính. Cerebras đã phát triển một hệ thống con bộ nhớ phân tách bộ nhớ và tính toán để cung cấp khả năng mở rộng quy mô tốt hơn và cải thiện thông lượng cho các mô hình cực lớn. Cerebras cũng đã phát triển các tính năng tối ưu hóa để tiết kiệm thời gian và năng lượng.

Phần trình bày của Dhiraj đi vào chi tiết hơn về khả năng của họ, đặc biệt là trong lĩnh vực mở rộng quy mô hiệu quả với các mô hình lớn hơn để duy trì thông lượng và công suất. Từ góc độ chất bán dẫn, thật thú vị khi xem cách Cerebras phân tích sự sụt giảm IR, điện di và tín hiệu ESD trên một thiết kế lớn hơn 2 bậc so với bất kỳ thứ gì khác mà ngành công nghiệp bán dẫn từng thử. Dhiraj nói về cách thức ở từng cấp độ của thiết kế – ô xếp, khối và wafer đầy đủ – Cerebras đã sử dụng Ansys RedHawk-SC trên nhiều CPU để đăng xuất IR tĩnh và động. RedHawk-SC cũng được sử dụng để kiểm tra di chuyển điện năng và tín hiệu. Tương tự, họ đã sử dụng Ansys Pathfinder để kiểm tra điện trở ESD và mật độ dòng điện.

Với một miếng silicon lớn ở quy trình 7nm như thế này, các quyết định về công cụ theo đúng nghĩa đen là “tạo ra hoặc phá vỡ”. Xây dựng silicon đột phá này đòi hỏi rất nhiều lựa chọn được cân nhắc kỹ lưỡng trong quá trình phát triển và năng lực vô song tất nhiên là mối quan tâm hàng đầu. Tuy nhiên, như phần trình bày của Dhiraj cho thấy rõ ràng, mức độ tăng sức mạnh xử lý của CS-2 là cần thiết để quản lý tốc độ tăng trưởng mà chúng ta đang thấy trong các mô hình AI/ML. Chắc chắn chúng ta sẽ thấy những đổi mới nằm ngoài sức tưởng tượng của chúng ta ngày nay trong lĩnh vực AI. Giống như web và đám mây đã thay đổi công nghệ và thậm chí cả xã hội, chúng ta có thể mong đợi sự phát triển của công nghệ AI mới sẽ thay đổi thế giới của chúng ta theo những cách ấn tượng. Nếu bạn muốn tìm hiểu thêm về silicon Cerebras, hãy xem phần trình bày của Dhiraj trên Diễn đàn kỹ thuật số Ansys IDEAS tại www.ansys.com/ideas.

Chia sẻ bài đăng này qua: Nguồn: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/