LLM · Modelo de lenguaje a gran escala
Large Language Model
¿Qué es un LLM?
- Predice la 'siguiente palabra' con base en textos masivos
- Una red neuronal que genera oraciones
- El cerebro de ChatGPT y Claude
Lo que realmente cambió el LLM no es la calidad de las respuestas, sino la forma de dar instrucciones al trabajo. Antes, para crear una función que clasificara los correos de consulta por tipo, había que programar las reglas en código y registrar las excepciones una por una. Hoy basta con una instrucción y algunos ejemplos para empezar la misma tarea. Por eso el punto de partida de la automatización pasó del departamento de desarrollo a los profesionales que mejor conocen el trabajo. A cambio, la calidad del resultado depende de la redacción y no del código, así que la responsabilidad de decidir hasta dónde se puede confiar y qué se envía también recae en las áreas de operación.
En la práctica hay que distinguir al menos tres cosas. La ventana de contexto es la cantidad de texto que el modelo puede ver a la vez; según el producto, va de decenas de miles a cientos de miles de tokens (en español, una palabra suele ocupar uno o dos tokens). Además, lo que se pega en esa conversación desaparece al terminarla. Los datos de entrenamiento tienen un corte en el tiempo, así que el modelo no conoce, por ejemplo, el reglamento interno modificado el mes pasado ni la lista de precios de este trimestre. Para incorporar el conocimiento de la empresa hay tres caminos: pegarlo directamente en el prompt, buscarlo y añadirlo con RAG, o ajustar el estilo y el formato con fine-tuning. Si lo que importa es la precisión, normalmente conviene empezar por RAG y dejar el fine-tuning para después.
En la práctica, el malentendido más frecuente es creer que «como metimos nuestros documentos, el modelo ya aprendió». Un documento pegado en la ventana de chat no se aprende: solo se le muestra por un momento, así que al cerrar la ventana el modelo ya no lo conoce. Además, un LLM no es ni calculadora ni base de datos, así que las cifras como totales de ventas o cantidades en stock salen mal con mucha seguridad. Que la misma pregunta produzca respuestas distintas no es una falla: es consecuencia de que el modelo encadena palabras por probabilidad. Si esa respuesta se copia tal cual en una cotización para un cliente o en un texto contractual, salen al mundo cláusulas inexistentes o números de modelo descontinuados, y lo siguiente es redactar un correo de disculpa.
John KimAutor de «Diseño del marketing B2B» y CEO de Nanum Consultoría. Instructor.
Seolyeong ParkEspecialista en IA generativa y AX, con 17 años de experiencia práctica y más de 200 sesiones de enseñanza, que logra que personas sin formación técnica la usen de inmediato| Diferencias | LLM (grande) | sLM (pequeño) |
|---|---|---|
| Escala | Decenas de miles de millones+ de parámetros | Relativamente pequeño |
| Fortalezas | General y de alto rendimiento | Bajo costo · rápido · en el dispositivo |
| Costo | Alto | Bajo |
| Uso | Tareas complejas y variadas | Ajuste fino (fine-tuning) para usos específicos |
La arquitectura Transformer, base de los LLM actuales, se presentó en 2017 en el artículo «Attention Is All You Need», de investigadores de Google. Sobre ella se construyeron GPT, Claude y Gemini.
Veamos un caso hipotético. La empresa A distribuye piezas industriales, tiene 210 colaboradores y una facturación anual de unos KRW 120,000,000,000 (≈ US$89,816,300). El equipo de atención al cliente, de 6 personas, atiende unos 140 correos diarios de consultas técnicas, y en temporada alta las respuestas se atrasaban dos días y ventas recibía quejas constantes. Durante tres meses se hizo un experimento para generar borradores de respuesta con un LLM.
- El jefe del equipo de atención al cliente separó por tipo 4,200 correos de los últimos tres meses y comprobó que el 62% eran consultas sobre especificaciones o compatibilidad, cuya respuesta ya estaba en el catálogo de productos.
- El jefe de sección de sistemas de información pegó el catálogo completo y pidió respuestas; el modelo respondió como si un modelo descontinuado hace dos años siguiera en stock.
- Por eso se cambió a un método que primero busca en más de 900 PDF internos y incluye solo los párrafos relevantes como base de la respuesta, y al final de cada respuesta se indican el nombre del documento fuente y la página.
- El director comercial fue tajante: 'nunca entregues una respuesta sin fuente'. Por eso lo configuramos para que, si no encuentra evidencia, no genere un borrador y muestre solo «Se requiere confirmación del responsable».
- Tres meses después, el tiempo de respuesta promedio por caso bajó de 18 minutos a 6 minutos, el 74% de los borradores se envió casi sin cambios y los correos devueltos por error pasaron de 31 al mes a 7.