Cuantización · Reducción de tamaño
Quantization
¿Qué es la cuantización?
- Se reduce la precisión numérica: tamaño y cálculo ↓
- Más ligero, sin perder rendimiento
- Fundamento del procesamiento en el dispositivo (on-device)
Lo que la cuantización cambia en realidad no es la inteligencia del modelo, sino dónde se puede ejecutar y cuánto cuesta. Para cargar en fp16 un modelo de 7.000 millones de parámetros se necesitan 14 GB de VRAM y hay que alquilar un GPU servidor dedicado; en cambio, con 4 bits baja a unos 4 GB y cabe en una estación de trabajo interna o en una laptop de oficina. Por eso la discusión pasa de «¿usamos un modelo mejor?» a «¿cabe en nuestros equipos?». El alquiler mensual de GPU de KRW 2,000,000 (≈ US$1,500) o más se sustituye por la compra de un equipo, y el punto donde suele empezar la adopción de IA es, justamente, en fábricas u hospitales con redes cerradas que no pueden usar API externas.
En la práctica se divide en dos grandes enfoques. La cuantización posterior al entrenamiento (PTQ), que reduce un modelo ya entrenado, termina en pocas horas, por lo que la mayoría de los proyectos de adopción empiezan aquí. La cuantización consciente del entrenamiento (QAT), que incorpora la pérdida de precisión durante el propio entrenamiento, implica un costo de reentrenamiento mayor, pero mantiene la calidad incluso con 4 bits o menos. En cifras, 8 bits es un valor predeterminado seguro, con pérdida casi nula, mientras que 4 bits reduce la capacidad a una cuarta parte, pero con grandes diferencias según la tarea. También hay que decidir si reducir solo los pesos o también las activaciones; la velocidad real se logra con lo segundo. Es un eje distinto de la poda o la destilación de conocimiento, por lo que ambas pueden combinarse.
El error más frecuente es el juicio de que «si la puntuación de benchmark no cambia, la calidad tampoco». Aunque la puntuación media baje apenas un 1 o 2 %, los errores se concentran en las tareas que exigen copiar con exactitud números y nombres propios, como códigos de producto, números de cuenta o fechas, y la brecha crece cuanto más largo es el contexto. El hardware también influye: en GPU antiguas que no soportan operaciones INT4, la conversión y la restauración de datos pueden ralentizar el sistema. Por eso la precisión no debe elegirse con indicadores públicos, sino con un conjunto de preguntas propio construido con los datos de su trabajo. Si se omite esta verificación, el costo baja, pero el área deja de confiar en las respuestas y el sistema termina sin usarse.
Sungil KimExalumno de KAIST y de Samsung Electronics; experto global en pitching, que formó equipos ganadores en los concursos de pitching de la Organización Mundial del Turismo (ONU) y Select USA IR
Ara LimExperta en liderazgo global, IA y comunicación empresarialEs la aplicación al aprendizaje profundo del antiguo concepto de cuantización de la teoría de señales y la computación. Se extendió ampliamente por la necesidad de desplegar modelos grandes de forma eficiente.
Veamos un caso hipotético. Es la historia de A, un fabricante de autopartes con 420 colaboradores y ventas anuales de KRW 180,000,000,000 (≈ US$134,724,500). Durante seis meses, la empresa usó en GPU de la nube un chatbot interno que localiza manuales de equipos y estándares de trabajo, pero el costo mensual había subido hasta KRW 11,800,000 (≈ US$8,830). Además, la Planta 2, que es la que más consultas genera, opera en una red cerrada sin conexión externa por razones de seguridad, así que ni siquiera podía usar el chatbot.
- Al revisar el desglose de costos y los registros de acceso, el gerente Kim, del equipo de estrategia de información, descubrió que la mitad de los KRW 11,800,000 (≈ US$8,830) mensuales correspondía a horas nocturnas sin uso, y que el número de accesos de la Planta 2 era cero.
- Un consultor externo cargó junto al original una versión de 4 bits del modelo de 13B existente y las ejecutó en paralelo durante dos semanas. El uso de VRAM bajó de 26 GB a 8 GB, así que el modelo se pudo cargar sin cambios en una estación de trabajo que estaba guardada en el almacén.
- Cuando el jefe del equipo de tecnología de producción señaló que el sistema seguía leyendo «M-2270» como «M-227», el gerente Kim reunió por separado 200 preguntas reales que mezclaban números de parte y cifras de especificación, y volvió a medir la tasa de aciertos.
- Al resultar 81% con 4 bits y 93% con 8 bits, A optó por retroceder un paso a 8 bits y, para compensar, guardó en caché las respuestas a las 30 preguntas más frecuentes, lo que mejoró la velocidad percibida.
- Seis semanas después, el chatbot pasó a funcionar en dos estaciones de trabajo dentro de la planta, con el costo mensual de GPU bajando de KRW 11,800,000 (≈ US$8,830) a KRW 1,900,000 (≈ US$1,420), y el tiempo medio de respuesta se redujo de 3.4 a 2.1 segundos. El uso mensual de la Planta 2 pasó de 0 a 1,400 consultas.