GPU · Semiconductores para IA
Graphics Processing Unit / AI Chip
¿Qué es una GPU?
- Semiconductor de cómputo paralelo que calcula simultáneamente con miles de núcleos
- Hardware clave que determina la velocidad del entrenamiento y la inferencia de la IA
- También se puede alquilar en la nube en lugar de comprarla
Cuando llega la GPU, el cuello de botella del proyecto de IA se traslada. Antes, la mitad de la reunión giraba en torno a «qué modelo usar»; ahora lo que marca el calendario es «cuándo quedará libre la GPU para correr ese experimento». La cola de recursos de cómputo es el cronograma de desarrollo. Con el mismo modelo y los mismos datos, si la asignación de GPU se atrasa dos semanas, el informe del piloto también se atrasa dos semanas. Tener la GPU significa poder probar más veces; no tenerla significa que la idea envejece en la cola. Por eso, en la práctica, la discusión sobre GPU no se plantea como una decisión técnica, sino como una toma de decisiones en la que se cruzan presupuesto, cronograma y seguridad al mismo tiempo.
La GPU que conviene depende de cómo se use. Entrenamiento (training) es una tarea que consume decenas o cientos de horas seguidas, así que suele ser más conveniente alquilar por poco tiempo una tarjeta de alto rendimiento. La inferencia (inference) es una tarea de baja carga que funciona todo el día, y para ella lo adecuado es un servidor siempre encendido. El criterio real que define las especificaciones suele ser la capacidad de VRAM (memoria gráfica). Si un modelo de 7 mil millones de parámetros se carga en 16 bits, solo los pesos necesitan unos 14 GB, por eso una tarjeta de 24 GB, con margen adicional, se ha vuelto el mínimo práctico. Además, GPU y chip de IA no son lo mismo. Los chips especializados en operaciones concretas, como las NPU o las TPU, rinden muy bien por vatio, pero el éxito suele depender más de la compatibilidad con ecosistemas de software como CUDA que de la cifra de rendimiento.
En la práctica, el error más frecuente es el cálculo de que «el precio de la tarjeta GPU = costo de implementación». Un solo servidor GPU de clase centro de datos genera una carga eléctrica de varios kW por rack y mucho calor; si simplemente se conecta en una sala de servidores existente, el disyuntor puede saltar o la climatización no da abasto. Los costos de ampliación eléctrica, climatización y espacio en el centro de datos aparecen después, y es común tener que reescribir la solicitud de aprobación inicial. Un error aún más común es «si lo compramos, ya lo usaremos». Si una organización solo necesita entrenar unos pocos días al mes, el servidor comprado tendrá una tasa de uso de un solo dígito, y a partir de ahí la GPU deja de ser un activo estratégico para convertirse en una carga que se deprecia. Por el contrario, subir datos sensibles a una nube externa sin revisión, y que la auditoría interna lo señale obligando a volver el proyecto a cero, tampoco es raro.
Jaryong KooDoctor en Marketing y referente en IA, análisis de datos y marca personal
Seungtae ParkInstructor práctico de AX que enseña el desarrollo de negocios con IA y la automatización del marketing, construyéndolos en la práctica| Diferencias | CPU | GPU |
|---|---|---|
| Configuración de núcleos | Pocos núcleos potentes | Miles de núcleos simples |
| Modo de procesamiento | Procesamiento secuencial de tareas complejas | Procesamiento paralelo masivo de cálculos simples |
| Papel en la IA | Control y cálculo general | Motor central del entrenamiento y la inferencia |
En 1999, NVIDIA lanzó la «GeForce 256» y las GPU se popularizaron como procesadores dedicados a gráficos. Después, en 2012, el modelo de aprendizaje profundo AlexNet, entrenado con GPU, logró resultados sobresalientes en un concurso de reconocimiento de imágenes. Ese fue el momento decisivo que consolidó a la GPU como hardware estándar para el cálculo de IA.
Veamos un caso hipotético. La empresa A, fabricante de autopartes con 420 colaboradores y ventas anuales de KRW 180,000,000,000, (≈ US$134,724,500) impulsó en el mismo trimestre un modelo de detección de anomalías en equipos y un chatbot de normas internas. El equipo de estrategia de TI propuso la compra de dos servidores con GPU de KRW 30,000,000 (≈ US$22,500) cada uno, pero el CFO preguntó «¿cuántas horas a la semana se usa eso?» y suspendió la aprobación.
- El jefe del equipo de planificación de sistemas de información, tras revisar durante dos semanas sus notas de investigación y registros de trabajo, comprobó que el tiempo dedicado al entrenamiento era apenas unas 40 horas al mes, y que todo lo demás eran solicitudes de inferencia livianas.
- El jefe de sección del equipo de tecnología de producción entrenó el modelo de detección de anomalías con GPU en la nube y terminó en seis semanas; el costo de uso fue de KRW 1,800,000 (≈ US$1,350). Si hubiera comprado un servidor, habrían quedado inmovilizados KRW 60,000,000 (≈ US$44,900).
- En cambio, como el chatbot debía leer documentos de personal y contratos, el área legal se opuso a que salieran de la empresa. Con base en el resultado de una medición real, «una tarjeta de 24 GB basta para ejecutar la inferencia de un modelo de 7B», se adoptó un solo servidor propio.
- Al momento de instalar el equipo, la potencia permitida del rack de la sala de cómputo era de 3 kW y el disyuntor no lo soportó. El área de instalaciones gastó KRW 11,000,000 (≈ US$8,230) adicionales en ampliar la potencia y reforzar la climatización, un rubro que no figuraba en la solicitud de aprobación original.
- Seis meses después, al separar el entrenamiento en la nube y la inferencia en un servidor propio, el costo anual previsto bajó de KRW 98,000,000 (≈ US$73,300) a KRW 34,000,000 (≈ US$25,400), y el tiempo medio de respuesta del chatbot pasó de 6 segundos a 1.8 segundos.