Atualizações do painel Synopsys sobre o estado dos sistemas Multi-Die - Semiwiki

Republicado por Platão

seguidores: 0

A Synopsys organizou recentemente um painel intersetorial sobre o estado dos sistemas multi-die que achei interessante, principalmente por sua relevância para a rápida aceleração em hardware centrado em IA. Mais sobre isso abaixo. Os painelistas, todos com funções significativas em sistemas multi-die, foram Shekhar Kapoor (Diretor Sênior de Gerenciamento de Produto, Synopsys), Cheolmin Park (VP Corporativo, Samsung), Lalitha Immaneni (VP Arquitetura, Design e Soluções Tecnológicas, Intel), Michael Schaffert (VP sênior, Bosch) e Murat Becer (VP de P&D, Ansys). O painel foi moderado por Marco Chiappetta (Cofundador e Analista Principal, HotTech Vision and Analysis).

multi matriz 525x315 luz

Um grande impulsionador da demanda

É comum neste título lançar todos os suspeitos do costume (HPC, Automotivo, etc.), mas essa lista vende a descoberto, talvez o maior fator subjacente – a atual luta pelo domínio em tudo que é LLM e IA generativa. Grandes modelos de linguagem oferecem novos níveis de serviços SaaS em pesquisa, criação de documentos e outros recursos, com grandes vantagens competitivas para quem acertar primeiro. Em dispositivos móveis e no carro, o controle e feedback superiores baseados em linguagem natural farão com que as opções existentes baseadas em voz pareçam primitivas em comparação. Enquanto isso, métodos generativos para criar novas imagens usando modelos de difusão e fluxo de Poisson podem produzir gráficos espetaculares desenhados em texto ou fotografia complementados por bibliotecas de imagens. Como atração do consumidor, isso pode ser o próximo grande sucesso em futuros lançamentos de telefones.

Embora a IA baseada em transformadores apresente uma enorme oportunidade, ela traz desafios. As tecnologias que tornam esses métodos possíveis já foram comprovadas na nuvem e estão surgindo na borda, mas são notoriamente famintas por memória. Os LLMs de produção executam de bilhões a trilhões de parâmetros que devem ser carregados no transformador. A demanda por espaço de trabalho durante o processo é igualmente alta; a imagem baseada em difusão adiciona progressivamente ruído a uma imagem completa e depois volta para uma imagem modificada, novamente por meio de plataformas baseadas em transformadores.

Além de uma carga inicial, nenhum desses processos pode arcar com a sobrecarga de interação com DRAM externa. As latências seriam inaceitáveis e a demanda de energia esgotaria a bateria do telefone ou esgotaria o orçamento de energia de um datacenter. Toda a memória precisa estar próxima – muito próxima – da computação. Uma solução é empilhar SRAM em cima do acelerador (como a AMD e agora a Intel demonstraram para seus chips de servidor). O pacote de memória de alta largura de banda adiciona outra opção um pouco mais lenta, mas ainda não tão lenta quanto a DRAM off-chip.

Tudo isso requer sistemas multi-die. Então, onde estamos para tornar essa opção pronta para produção?

Opiniões sobre onde estamos

Ouvi muito entusiasmo pelo crescimento neste domínio, em adoção, aplicações e ferramentas. Intel, AMD, Qualcomm, Samsung são claramente muito ativas neste espaço. O Apple M2 Ultra é conhecido por ter um design de matriz dupla e o AWS Graviton 3 por um sistema de matriz múltipla. Tenho certeza de que existem muitos outros exemplos entre as grandes empresas de sistemas e semicondutores. Tenho a impressão de que as matrizes ainda são adquiridas predominantemente internamente (exceto talvez para pilhas HBM) e montadas em tecnologias de embalagem de fundição da TSMC, Samsung ou Intel. No entanto, a Tenstorrent acaba de anunciar que escolheu a Samsung para fabricar seu design de IA de próxima geração como um chiplet (uma matriz adequada para ser usada em um sistema multi-die), então este espaço já está avançando para uma fonte mais ampla de matrizes.

Todos os palestrantes ficaram naturalmente entusiasmados com a direção geral e claramente as tecnologias e ferramentas estão evoluindo rapidamente, o que explica o burburinho. Lalitha fundamentou esse entusiasmo observando que a forma como os sistemas de múltiplas matrizes atualmente sendo arquitetados e projetados ainda está em sua infância, ainda não pronta para lançar um amplo mercado reutilizável para matrizes. Isso não me surpreende. Parece que uma tecnologia desta complexidade deveria amadurecer primeiro em parcerias estreitas entre designers de sistemas, fundições e empresas de EDA, talvez ao longo de vários anos antes de poder se estender a um público maior.

Tenho certeza de que fundições, construtores de sistemas e empresas de EDA não estão mostrando todas as suas cartas e podem estar mais adiantadas do que desejam anunciar. Estou ansioso para ouvir mais. Você pode assistir ao painel de discussão AQUI.

Compartilhe esta postagem via: