Los bits de hiperescala crecerán debido a la demanda de IA

Reeditado por Platón

seguidores: 0

Se prevé que la capacidad total de los centros de datos a hiperescala casi se triplique en los próximos seis años gracias a la demanda de IA, lo que aumentará sustancialmente la cantidad de energía requerida por esas instalaciones.

Con el ciclo generativo de IA en perpetuo movimiento, los operadores de centros de datos están planificando con anticipación para anticipar la necesidad de una infraestructura de mayor densidad y mayor rendimiento para cumplir con los requisitos de procesamiento.

A nuevo reporte del analista IDC, por ejemplo, pronostica que las empresas de todo el mundo gastarán casi 16 mil millones de dólares en IA generativa en 2023. Se estima que este gasto, que incluye software, así como hardware de infraestructura relacionado y servicios de TI/negocios, alcanzará los 143 mil millones de dólares en 2027. .

El resultado de esto, según Grupo de investigación de sinergia, es que la capacidad promedio de cualquier centro de datos a hiperescala que se abra en los próximos años será más del doble que la de las instalaciones actuales.

También habrá algunas modernizaciones de los centros de datos existentes para aumentar su capacidad, y la carga de TI promedio de los bancos de bits individuales continúa creciendo, con el resultado de que Synergy predice que la capacidad total de todos los centros de datos de hiperescala casi se triplicará en los próximos seis años.

Synergy basó este análisis en las operaciones de 19 de las empresas de servicios de Internet y nube más grandes del mundo. Esto incluye proveedores de SaaS, IaaS, PaaS, búsqueda, redes sociales, comercio electrónico y juegos.

En 2023, esos hiperescaladores tenían un total de 926 enormes graneros de bits en funcionamiento en todo el mundo, y Synergy dijo que ya conoce otras 427 instalaciones que están en proyecto.

Synergy afirma que el número total de centros de datos en todo el mundo ya se ha duplicado en los últimos cinco años. Predice que estos seguirán creciendo a más de cien por año.

Sin embargo, los recientes avances en IA generativa no necesariamente acelerarán la construcción de dormitorios de datos, sino que “aumentarán sustancialmente” la cantidad de energía necesaria para operar esas instalaciones, gracias al creciente número de aceleradores GPU de alto voltaje que se están apiñando en nodos del servidor.

Esto fue observado por otro equipo de investigación, Buenos dias, que descubrió que la demanda de servidores equipados con ocho GPU para trabajos de procesamiento de IA también ha tenido el efecto de elevar los precios promedio de los sistemas de centros de datos.

Synergy se muestra tímido acerca de cuánto cree que la cantidad de energía requerida "aumentará sustancialmente".

Sin embargo, una trabajo de investigación reciente calculó que integrar la IA generativa en cada búsqueda de Google podría consumir potencialmente la misma cantidad de energía que un país del tamaño de Irlanda.

El director senior de investigación de IDC para Europa, Andrew Buss, coincidió en que la IA está impulsando la demanda de infraestructura de centros de datos de mayor rendimiento.

"Vemos que se está instalando una enorme cantidad de capacidad informática acelerada", nos dijo. "Vemos que los hiperescaladores compran una cantidad significativa de aceleradores de IA en general que están llegando al mercado para respaldar los grandes modelos generativos y transformadores en clientes B2C y B2B, así como muchas organizaciones que también intentan obtener algo de suministro".

Esto está aumentando la densidad de energía de los servidores y creando muchos problemas de suministro de energía y enfriamiento, dijo Buss. "Muchos centros de datos se construyen con un presupuesto de energía de entre 7.5 y 15 kW por rack, pero ahora una sola Nvidia DGX puede consumir hasta 10 kW, lo que significa que todo el presupuesto de energía es utilizado por una sola caja de 10U", explicó.

El analista jefe de Synergy, John Dinsdale, nos dijo que las preocupaciones energéticas están provocando que los operadores de hiperescala reconsideren algunos de los planes de implementación y arquitectura de sus centros de datos para modificar el diseño y permitir una densidad de energía mucho mayor por rack, y posiblemente incluso revisar la ubicación de sus dormitorios de datos.

"No se trata sólo de la disponibilidad y el costo de la energía", dijo Dinsdale. “Muchas cargas de trabajo de IA no son tan sensibles a la latencia como otras cargas de trabajo, por lo que pueden permitir al operador ubicar centros de datos en ubicaciones más distantes y menos costosas. Por ejemplo, ya estábamos viendo un crecimiento de los centros de datos a hiperescala en el Medio Oeste de EE. UU. superando el crecimiento en otras regiones como el norte de Virginia y Silicon Valley. Esperamos que esa tendencia continúe”, añadió.

Esta misma semana, Nvidia y el fabricante taiwanés de productos electrónicos Foxconn planes anunciados unirse y construir lo que ellos llaman “fábricas de IA”, es decir, centros de datos dedicados al procesamiento de IA.

“Ha surgido un nuevo tipo de fabricación: la producción de inteligencia. Y los centros de datos que los producen son fábricas de IA”, dijo el director ejecutivo de Nvidia, Jensen Huang, en un comunicado, y agregó que Foxconn tiene la experiencia y la escala para construir esas fábricas de IA a nivel mundial.

Foxconn utilizará la tecnología de Nvidia para desarrollar nuevos centros de datos para servicios de inteligencia artificial generativa que cubran una variedad de aplicaciones, incluidos robots industriales y automóviles autónomos. Se espera que Foxconn construya una gran cantidad de sistemas basados en las CPU, GPU y redes de Nvidia para su base global de clientes, muchos de los cuales buscan crear y operar sus propias fábricas de inteligencia artificial, afirmó Nvidia. ®