Cập nhật bảng tóm tắt về trạng thái của hệ thống nhiều khuôn - Semiwiki

Được xuất bản lại bởi Plato

Người theo dõi: 0

Synopsys gần đây đã tổ chức một hội thảo liên ngành về trạng thái của hệ thống nhiều khuôn mà tôi thấy thú vị, đặc biệt là vì mức độ liên quan của nó với khả năng tăng tốc nhanh chóng trong phần cứng tập trung vào AI. Thêm về điều đó dưới đây. Các thành viên tham gia hội thảo, tất cả đều có vai trò quan trọng trong các hệ thống nhiều khuôn, là Shekhar Kapoor (Giám đốc cấp cao về quản lý sản phẩm, Synopsys), Cheolmin Park (Phó chủ tịch công ty, Samsung), Lalitha Immaneni (Phó chủ tịch giải pháp kiến trúc, thiết kế và công nghệ, Intel), Michael Schaffert (Phó chủ tịch cấp cao, Bosch) và Murat Becer (Phó chủ tịch R&D, Ansys). Hội thảo được kiểm duyệt bởi Marco Chiappetta (Đồng sáng lập và Nhà phân tích chính, Tầm nhìn và Phân tích HotTech).

đèn đa khuôn 525x315

Trình điều khiển nhu cầu lớn

Trong tiêu đề này, người ta thường đưa ra tất cả các nghi phạm thông thường (HPC, Ô tô, v.v.) nhưng danh sách đó bán khống có lẽ là yếu tố cơ bản lớn nhất - cuộc tranh giành quyền thống trị hiện tại trong mọi thứ LLM và AI tổng quát. Các mô hình ngôn ngữ lớn cung cấp các cấp độ dịch vụ SaaS mới trong tìm kiếm, tạo tài liệu và các khả năng khác, với lợi thế cạnh tranh lớn cho bất kỳ ai có được quyền này trước tiên. Trên thiết bị di động và trong ô tô, khả năng điều khiển và phản hồi dựa trên ngôn ngữ tự nhiên vượt trội sẽ khiến các tùy chọn dựa trên giọng nói hiện tại trở nên thô sơ khi so sánh. Trong khi đó, các phương pháp sáng tạo để tạo hình ảnh mới bằng cách sử dụng các mô hình dòng Khuếch tán và Dòng Poisson có thể tạo ra các bản vẽ đồ họa ngoạn mục trên văn bản hoặc một bức ảnh được bổ sung bởi các thư viện hình ảnh. Với tư cách là một đối tượng thu hút người tiêu dùng, điều này có thể chứng tỏ là điều quan trọng tiếp theo cho các phiên bản điện thoại trong tương lai.

Mặc dù AI dựa trên máy biến áp mang lại cơ hội $$$ rất lớn nhưng nó cũng đi kèm với những thách thức. Các công nghệ giúp thực hiện được những phương pháp như vậy đã được chứng minh trên đám mây và đang nổi lên ở biên, tuy nhiên chúng nổi tiếng là ngốn bộ nhớ. LLM sản xuất chạy từ hàng tỷ đến hàng nghìn tỷ thông số phải được tải vào máy biến áp. Nhu cầu về không gian làm việc trong quá trình sản xuất cũng cao như nhau; hình ảnh dựa trên khuếch tán dần dần thêm nhiễu vào hình ảnh đầy đủ, sau đó quay trở lại hình ảnh đã được sửa đổi, một lần nữa thông qua các nền tảng dựa trên máy biến áp.

Ngoài tải ban đầu, không có quy trình nào trong số này có thể chịu được chi phí tương tác với DRAM bên ngoài. Độ trễ sẽ là không thể chấp nhận được và nhu cầu điện năng sẽ làm hao pin điện thoại hoặc sẽ tiêu hao năng lượng cho trung tâm dữ liệu. Tất cả bộ nhớ cần phải ở gần – rất gần – máy tính. Một giải pháp là xếp SRAM lên trên bộ tăng tốc (như AMD và bây giờ Intel đã chứng minh cho các chip máy chủ của họ). Bộ nhớ băng thông cao trong gói bổ sung thêm một tùy chọn khác chậm hơn một chút nhưng vẫn không chậm như DRAM ngoài chip.

Tất cả đều đòi hỏi hệ thống nhiều khuôn. Vậy chúng ta đang ở đâu trong việc chuẩn bị sẵn sàng cho sản xuất tùy chọn đó?

Quan điểm về vị trí của chúng tôi

Tôi đã nghe thấy rất nhiều sự nhiệt tình dành cho sự phát triển trong lĩnh vực này, trong việc áp dụng, ứng dụng và công cụ. Intel, AMD, Qualcomm, Samsung rõ ràng đều rất tích cực trong lĩnh vực này. Apple M2 Ultra được biết đến là một thiết kế khuôn kép và AWS Graviton 3 là hệ thống nhiều khuôn. Tôi chắc chắn rằng có rất nhiều ví dụ khác trong số các hệ thống lớn và nhà bán dẫn. Tôi có ấn tượng rằng khuôn vẫn chủ yếu được cung cấp từ nội bộ (có lẽ ngoại trừ các ngăn xếp HBM) và được lắp ráp theo công nghệ đóng gói đúc của TSMC, Samsung hoặc Intel. Tuy nhiên, Tenstorrent vừa thông báo rằng họ đã chọn Samsung để sản xuất thiết kế AI thế hệ tiếp theo của họ dưới dạng chiplet (một khuôn phù hợp để sử dụng trong hệ thống nhiều khuôn), vì vậy không gian này đang dần hướng tới việc tìm nguồn cung khuôn rộng hơn.

Tất cả những người tham gia hội thảo đều tỏ ra nhiệt tình với định hướng chung và rõ ràng các công nghệ cũng như công cụ đang phát triển nhanh chóng, điều này tạo nên tiếng vang lớn. Lalitha đưa ra sự nhiệt tình đó bằng cách lưu ý rằng cách mà các hệ thống nhiều khuôn hiện đang được kiến trúc và thiết kế vẫn còn ở giai đoạn sơ khai, chưa sẵn sàng để tung ra thị trường khuôn có thể tái sử dụng rộng rãi. Điều đó không làm tôi ngạc nhiên. Công nghệ phức tạp này có vẻ như sẽ trưởng thành trước tiên trong mối quan hệ hợp tác chặt chẽ giữa các nhà thiết kế hệ thống, xưởng đúc và các công ty EDA, có thể trong vài năm trước khi có thể mở rộng tới lượng đối tượng lớn hơn.

Tôi chắc chắn rằng các xưởng đúc, nhà xây dựng hệ thống và các công ty EDA không hiển thị tất cả các thẻ của họ và có thể còn tiến xa hơn những gì họ chọn quảng cáo. Tôi mong muốn được nghe nhiều hơn. Bạn có thể xem phần thảo luận của nhóm nhấp vào ĐÂY .

Chia sẻ bài đăng này qua: