¿Cómo la inferencia de IA están transformando las demandas de centros de datos?

La Inteligencia Artificial (IA) generativa está poniendo a prueba la infraestructura tradicional de los centros de datos. Para responder bien, primero hay que distinguir el tipo de carga: no es lo mismo entrenar modelos que ejecutar inferencia. Esa diferencia define en qué modernizaciones conviene invertir, desde energía y enfriamiento hasta la manera de operar y escalar.

El entrenamiento es la etapa en la que se construye el modelo y, por naturaleza, concentra la mayor exigencia técnica. Requiere clústeres con procesadores gráficos (Graphics Processing Unit o GPU) y densidades que con frecuencia superan los 100 kW por rack, por lo que la gestión térmica avanzada deja de ser opcional. En este contexto, soluciones como el enfriamiento líquido directo al chip o los intercambiadores de calor en puertas traseras resultan clave, al igual que arquitecturas eléctricas modulares y con capacidad de crecer al ritmo de los aceleradores, cuyo consumo y potencia térmica de diseño (Thermal Design Power o TDP) tienden a aumentar generación tras generación.

La inferencia es la etapa en la que el modelo ya entrenado se pone a trabajar y genera resultados con datos nuevos. Va desde interacciones sencillas hasta análisis en tiempo real en salud, comercio y operaciones industriales. Aunque por servidor suele demandar menos que el entrenamiento, hoy crece en complejidad y escala, y por eso eleva la densidad eléctrica. Puede verse en despliegues por debajo de 40 kW por rack, pero también en rangos de 40 a 80 kW en casos avanzados, sobre todo cuando se requieren tiempos de respuesta muy bajos. Además, es ahí donde se materializa el retorno de la IA, por lo que optimizar la inferencia pasa a ser una prioridad.

La pregunta relevante entonces no es solo cuánta potencia se necesita, sino dónde ocurre esa inferencia y por qué importa. A diferencia del entrenamiento, que tiende a concentrarse en grandes instalaciones hiperescalables, la inferencia se distribuye entre la nube pública, centros de datos de terceros (colocation), entornos en las propias instalaciones (on-premise) y el borde (edge), cerca de donde se generan los datos. Hacia el final de la década, convivirán centros con densidades moderadas enfocadas en inferencia y otros de ultra alta densidad orientados a entrenamiento, lo que aumenta la diversidad de diseños.

Artículo completo en www.panamaamerica.com.pa