Actualizaciones del panel de sinopsis sobre el estado de los sistemas de matrices múltiples - Semiwiki

Reeditado por Platón

seguidores: 0

Synopsys organizó recientemente un panel intersectorial sobre el estado de los sistemas de matrices múltiples que me pareció interesante, sobre todo por su relevancia para la rápida aceleración del hardware centrado en la IA. Más sobre eso a continuación. Los panelistas, todos con roles importantes en sistemas de matrices múltiples, fueron Shekhar Kapoor (director senior de gestión de productos, Synopsys), Cheolmin Park (vicepresidente corporativo, Samsung), Lalitha Immaneni (vicepresidenta de arquitectura, diseño y soluciones tecnológicas, Intel), Michael Schaffert. (VP sénior, Bosch) y Murat Becer (VP I+D, Ansys). El panel fue moderado por Marco Chiappetta (cofundador y analista principal de HotTech Vision and Analysis).

luz multi troquel 525x315

Un impulsor de la gran demanda

Es común que bajo este título se incluyan todos los sospechosos habituales (HPC, Automoción, etc.), pero esa lista se queda corta, tal vez el factor subyacente más importante: la lucha actual por el dominio en todo lo que es LLM y la IA generativa. Los modelos de lenguajes grandes ofrecen nuevos niveles de servicios SaaS en búsqueda, creación de documentos y otras capacidades, con importantes ventajas competitivas para quien lo haga bien primero. En dispositivos móviles y en el automóvil, el control y la retroalimentación superiores basados en el lenguaje natural harán que las opciones existentes basadas en voz parezcan primitivas en comparación. Mientras tanto, los métodos generativos para crear nuevas imágenes utilizando modelos de flujo de Difusión y Poisson pueden producir gráficos espectaculares basados en texto o una fotografía complementados con bibliotecas de imágenes. Como atractivo para el consumidor, esto podría llegar a ser el próximo gran avance para futuros lanzamientos de teléfonos.

Si bien la IA basada en transformadores presenta una enorme oportunidad económica, también conlleva desafíos. Las tecnologías que hacen posibles estos métodos ya están probadas en la nube y están surgiendo en el borde, pero se sabe que consumen mucha memoria. Los LLM de producción ejecutan entre miles de millones y billones de parámetros que deben cargarse en el transformador. La demanda de espacio de trabajo durante el proceso es igualmente alta; Las imágenes basadas en difusión añaden progresivamente ruido a una imagen completa y luego regresan a una imagen modificada, nuevamente a través de plataformas basadas en transformadores.

Aparte de una carga inicial, ninguno de estos procesos puede permitirse la sobrecarga de interactuar con DRAM externa. Las latencias serían inaceptables y la demanda de energía agotaría la batería de un teléfono o arruinaría el presupuesto de energía de un centro de datos. Toda la memoria debe estar cerca (muy cerca) del cálculo. Una solución es apilar SRAM encima del acelerador (como lo han demostrado AMD y ahora Intel para sus chips de servidor). La memoria de alto ancho de banda incluida agrega otra opción algo más lenta, pero aún no tan lenta como la DRAM fuera del chip.

Todo lo cual requiere sistemas de matrices múltiples. Entonces, ¿dónde nos encontramos para que esa opción esté lista para la producción?

Opiniones sobre dónde estamos

Escuché mucho entusiasmo por el crecimiento en este ámbito, en adopción, aplicaciones y herramientas. Intel, AMD, Qualcomm y Samsung están claramente muy activos en este espacio. Se sabe que Apple M2 Ultra tiene un diseño de matriz dual y AWS Graviton 3 un sistema de matriz múltiple. Estoy seguro de que hay muchos otros ejemplos entre las grandes empresas de sistemas y semiconductores. Tengo la impresión de que los troqueles todavía se obtienen predominantemente internamente (excepto quizás las pilas de HBM) y se ensamblan en tecnologías de embalaje de fundición de TSMC, Samsung o Intel. Sin embargo, Tenstorrent acaba de anunciar que han elegido a Samsung para fabricar su diseño de IA de próxima generación como un chiplet (un troquel adecuado para ser utilizado en un sistema de múltiples troqueles), por lo que este espacio ya avanza poco a poco hacia un abastecimiento de troqueles más amplio.

Naturalmente, todos los panelistas estaban entusiasmados con la dirección general y claramente las tecnologías y herramientas están evolucionando rápidamente, lo que explica el revuelo. Lalitha basó ese entusiasmo al señalar que la forma en que se diseñan y diseñan actualmente los sistemas de matrices múltiples aún está en su infancia y aún no está lista para lanzar un amplio mercado reutilizable para matrices. Eso no me sorprende. Parece que una tecnología de esta complejidad debería madurar primero en estrechas asociaciones entre diseñadores de sistemas, fundiciones y empresas de EDA, tal vez durante varios años antes de que pueda extenderse a una audiencia más amplia.

Estoy seguro de que las fundiciones, los fabricantes de sistemas y las empresas de EDA no están mostrando todas sus cartas y pueden estar más avanzados de lo que quieren anunciar. Espero escuchar más. Puedes ver la mesa redonda AQUÍ.

Comparte esta publicación a través de: