Conocimiento · Fundamentos de IA

Cuantización · Reducción de tamaño

Quantization

📂Fundamentos de IA⏱Lectura de 2 min📊Avanzado🔗Relacionados 4

¿Qué es la cuantización?

Definición en una línea
Técnica que reduce la precisión de los números internos del modelo (por ejemplo, de 32 bits a 8 bits) para disminuir su tamaño y sus cálculos. Lo hace más ligero y rápido, manteniendo el rendimiento.
⚡ Resumen en 3 líneas
  • Se reduce la precisión numérica: tamaño y cálculo ↓
  • Más ligero, sin perder rendimiento
  • Fundamento del procesamiento en el dispositivo (on-device)

Lo que la cuantización cambia en realidad no es la inteligencia del modelo, sino dónde se puede ejecutar y cuánto cuesta. Para cargar en fp16 un modelo de 7.000 millones de parámetros se necesitan 14 GB de VRAM y hay que alquilar un GPU servidor dedicado; en cambio, con 4 bits baja a unos 4 GB y cabe en una estación de trabajo interna o en una laptop de oficina. Por eso la discusión pasa de «¿usamos un modelo mejor?» a «¿cabe en nuestros equipos?». El alquiler mensual de GPU de KRW 2,000,000 (≈ US$1,500) o más se sustituye por la compra de un equipo, y el punto donde suele empezar la adopción de IA es, justamente, en fábricas u hospitales con redes cerradas que no pueden usar API externas.

En la práctica se divide en dos grandes enfoques. La cuantización posterior al entrenamiento (PTQ), que reduce un modelo ya entrenado, termina en pocas horas, por lo que la mayoría de los proyectos de adopción empiezan aquí. La cuantización consciente del entrenamiento (QAT), que incorpora la pérdida de precisión durante el propio entrenamiento, implica un costo de reentrenamiento mayor, pero mantiene la calidad incluso con 4 bits o menos. En cifras, 8 bits es un valor predeterminado seguro, con pérdida casi nula, mientras que 4 bits reduce la capacidad a una cuarta parte, pero con grandes diferencias según la tarea. También hay que decidir si reducir solo los pesos o también las activaciones; la velocidad real se logra con lo segundo. Es un eje distinto de la poda o la destilación de conocimiento, por lo que ambas pueden combinarse.

El error más frecuente es el juicio de que «si la puntuación de benchmark no cambia, la calidad tampoco». Aunque la puntuación media baje apenas un 1 o 2 %, los errores se concentran en las tareas que exigen copiar con exactitud números y nombres propios, como códigos de producto, números de cuenta o fechas, y la brecha crece cuanto más largo es el contexto. El hardware también influye: en GPU antiguas que no soportan operaciones INT4, la conversión y la restauración de datos pueden ralentizar el sistema. Por eso la precisión no debe elegirse con indicadores públicos, sino con un conjunto de preguntas propio construido con los datos de su trabajo. Si se omite esta verificación, el costo baja, pero el área deja de confiar en las respuestas y el sistema termina sin usarse.

Capacitaciones en las que aparece este término · IA·DX
Cursos recomendados · Instructores recomendados · Mini cotización
🧮 Mini cotización · Criterio de honorarios
Aprox. KRW 1,200,000 (≈ US$900)Charla especial de 2 horas · hasta 20 personas · en coreano
Solicitar cotización formal con estas condiciones →
💡 Dicho de forma sencilla
Igual que una foto de alta resolución sigue siendo reconocible aunque se comprima un poco, se reduce la precisión para aligerar el modelo.
Por qué es importante en la práctica
Permite ejecutar modelos grandes en dispositivos pequeños y con bajo costo. Es la clave para democratizar la IA y para la ejecución en el propio dispositivo.
Origen y fuentes

Es la aplicación al aprendizaje profundo del antiguo concepto de cuantización de la teoría de señales y la computación. Se extendió ampliamente por la necesidad de desplegar modelos grandes de forma eficiente.

Entender con un caso

Veamos un caso hipotético. Es la historia de A, un fabricante de autopartes con 420 colaboradores y ventas anuales de KRW 180,000,000,000 (≈ US$134,724,500). Durante seis meses, la empresa usó en GPU de la nube un chatbot interno que localiza manuales de equipos y estándares de trabajo, pero el costo mensual había subido hasta KRW 11,800,000 (≈ US$8,830). Además, la Planta 2, que es la que más consultas genera, opera en una red cerrada sin conexión externa por razones de seguridad, así que ni siquiera podía usar el chatbot.

  1. Al revisar el desglose de costos y los registros de acceso, el gerente Kim, del equipo de estrategia de información, descubrió que la mitad de los KRW 11,800,000 (≈ US$8,830) mensuales correspondía a horas nocturnas sin uso, y que el número de accesos de la Planta 2 era cero.
  2. Un consultor externo cargó junto al original una versión de 4 bits del modelo de 13B existente y las ejecutó en paralelo durante dos semanas. El uso de VRAM bajó de 26 GB a 8 GB, así que el modelo se pudo cargar sin cambios en una estación de trabajo que estaba guardada en el almacén.
  3. Cuando el jefe del equipo de tecnología de producción señaló que el sistema seguía leyendo «M-2270» como «M-227», el gerente Kim reunió por separado 200 preguntas reales que mezclaban números de parte y cifras de especificación, y volvió a medir la tasa de aciertos.
  4. Al resultar 81% con 4 bits y 93% con 8 bits, A optó por retroceder un paso a 8 bits y, para compensar, guardó en caché las respuestas a las 30 preguntas más frecuentes, lo que mejoró la velocidad percibida.
  5. Seis semanas después, el chatbot pasó a funcionar en dos estaciones de trabajo dentro de la planta, con el costo mensual de GPU bajando de KRW 11,800,000 (≈ US$8,830) a KRW 1,900,000 (≈ US$1,420), y el tiempo medio de respuesta se redujo de 3.4 a 2.1 segundos. El uso mensual de la Planta 2 pasó de 0 a 1,400 consultas.
Términos relacionados
Capacitaciones relacionadas con este término
📚Introducción práctica a la IA de agentesCapacitación corporativa de Nanum Consultoría · presencial / en líneaVer curso →
¿Necesita capacitación interna sobre este tema?
Reciba de inmediato un currículo y una cotización personalizados para su equipo.
Consultar sobre capacitación
Última modificación 2026-09-13 · Revisado por John Kim

Preguntas frecuentes

Puede haber una leve pérdida, pero suele ser mínima. Las ventajas en velocidad y costo son mucho mayores.
Sí. Gracias a la cuantización, los modelos grandes pueden ejecutarse dentro del propio dispositivo, por lo que es una tecnología clave de la IA en el dispositivo.
Si se reduce con moderación, el rendimiento se mantiene casi intacto. Si se exagera, cae; por eso se busca el punto de equilibrio (8 bits o 4 bits).
Sí. Solo los modelos aligerados con la cuantización pueden funcionar en dispositivos pequeños, como los teléfonos inteligentes.