Modelo de lenguaje pequeño · sLM
Small Language Model
¿Qué es un modelo de lenguaje pequeño (sLM)?
- Modelo de lenguaje pequeño y liviano
- Bajo costo · rápido · en el dispositivo
- Ajuste fino para un uso específico
Lo que realmente cambia el sLM no es la tabla de rendimiento del modelo, sino el visto bueno interno para adoptar IA. Los modelos grandes cobran por cada llamada y los datos salen de la empresa, así que la revisión legal y de seguridad se activa primero. En cambio, un modelo de unos pocos GB puede instalarse en un servidor interno o en una laptop de trabajo, y así probarlo por equipos sin firmar un contrato grande. El orden de «probar y luego decidir» se vuelve posible, y esa es la diferencia más notoria en el terreno.
Conviene tener clara la escala. En general, a los modelos de 1B a 10B parámetros se les llama sLM. Un modelo de 7B ocupa unos 14 GB de memoria en FP16, pero al cuantizarlo a INT4 baja a unos 4 GB, por lo que corre incluso en una laptop o en un teléfono reciente. Aquí lo clave no es el tamaño sino el reparto de roles. Buscar documentos internos, leerlos y resumirlos en un formato definido basta con un sLM combinado con RAG. En cambio, el análisis de causas que exige seguir varios pasos o la planificación de textos largos sigue siendo tarea del modelo grande: lo que requiere la «cabeza» del modelo.
Las tareas en las que un sLM funciona bien comparten un rasgo: la forma de la entrada es constante, el rango de respuestas es estrecho y se repiten cientos de veces al día. Clasificar consultas de clientes, resumir grabaciones de atención, autocompletar código y orientar sobre códigos de error de equipos encajan aquí. En cambio, las tareas donde cada pregunta es distinta dejan pronto al descubierto los límites de un modelo pequeño. El criterio de adopción es simple: ¿superan las 1,000 consultas al mes del mismo tipo? y ¿se puede verificar esa respuesta contra nuestros propios documentos?
El malentendido más común es «si es pequeño, es barato». El costo del modelo puede ser bajo, pero el costo de las personas que crean y gestionan los datos de ajuste fino sigue igual. Crear miles de pares de preguntas y respuestas requiere durante semanas a personal de las áreas, y si cambian el producto o las normas internas, hay que volver a entrenar el modelo. Lo más riesgoso es cambiar de modelo sin un conjunto de evaluación. Los sLM son débiles para reconocer lo que no saben, así que sus respuestas erróneas llegan en frases convincentes. Si antes no se prepara una hoja de calificación fija de 200 a 300 preguntas, la caída de calidad se enterará primero por reclamos de clientes.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Surgió como alternativa a las limitaciones de costo, velocidad y privacidad de los modelos grandes, y gana atención junto con el avance de técnicas de compresión como la destilación y la cuantización.
Veamos un caso hipotético. La empresa A, fabricante de autopartes, tiene 380 colaboradores y ventas anuales de KRW 95,000,000,000 (≈ US$71,104,600). La red interna de la planta está aislada de internet, así que cuando un operario encuentra un error en un equipo solo puede revisar el manual impreso o llamar al área de ingeniería de producción. Cada vez que se detenía un equipo se perdían en promedio 14 minutos.
- El equipo de producción tecnológica, a cargo del jefe de equipo Kim, reunió 1,840 consultas de campo en tres semanas. El 78% eran consultas repetitivas, como la interpretación de códigos de error y los ciclos de reemplazo de piezas.
- El jefe de seguridad de la información dejó claro que «no vamos a aprobar que los planos de proceso salgan al exterior», así que cambiamos el rumbo: cuantizamos un modelo de 7B a INT4 para ejecutarlo en un solo servidor de planta.
- Organizaron 2,300 páginas de manuales de equipos y seis años de historial de mantenimiento para crear 4,000 pares de preguntas y respuestas (QA) y los ajustaron durante dos semanas (ajuste fino o fine-tuning), pero la primera tasa de respuestas correctas fue de apenas 61%.
- Doce líderes de planta lo probaron durante dos semanas y marcaron 340 respuestas incorrectas. Al incorporarlas al reentrenamiento, la tasa de acierto subió del 61% al 88%.
- Las preguntas de razonamiento, como «analiza la causa raíz de este defecto», siguen produciendo respuestas erróneas. Por eso separamos el flujo en dos etapas: solo los casos de este tipo, unos 40 a 50 al mes, pasan a un LLM externo que ha superado la revisión de seguridad.
- Seis meses después, el tiempo de espera de las consultas sobre equipos bajó de 14 minutos a 3, y en lugar de los KRW 19,000,000 (≈ US$14,200) mensuales que costaría procesar todo con una API en la nube, opera con KRW 2,100,000 (≈ US$1,570) al mes, incluida la depreciación de los servidores.
- Cuando se hace ajuste fino para un uso específico
- Cuando importan el costo, la velocidad y la privacidad
- Cuando debe ejecutarse en el propio dispositivo
- Tareas generales diversas y complejas
- Cuando el rendimiento máximo es la prioridad
- Cuando el uso cambia con frecuencia