Aprendizaje autosupervisado
Self-Supervised Learning
¿Qué es el aprendizaje autosupervisado?
- Genera respuestas a partir de los datos, sin etiquetas
- Aprende solo adivinando los espacios en blanco
- La clave del entrenamiento a gran escala de los LLM
Lo que realmente cambió el aprendizaje autosupervisado no es la estructura del modelo, sino la economía de los datos. Antes, para usar 10,000 datos había que asignar 10,000 respuestas a mano, y ese presupuesto de etiquetado era el límite máximo del tamaño del proyecto. Ahora, el costo humano del etiquetado se traslada al tiempo de GPU: los documentos internos, los registros de servidor y las grabaciones de consultas, que antes solo se acumulaban como en un almacén, se convierten directamente en material de entrenamiento. El cuello de botella deja de ser 'quién etiqueta' y pasa a ser 'cuántos datos de origen útiles hay'.
Hay, en lo fundamental, dos enfoques. La predicción por enmascaramiento de la familia BERT oculta cerca del 15% de los tokens de una oración y los reconstruye mirando el contexto anterior y posterior; es fuerte para generar embeddings de clasificación y búsqueda. La predicción del siguiente token de la familia GPT mira solo lo anterior y adivina la palabra que sigue; es fuerte para generar texto. En imágenes, el aprendizaje contrastivo sigue el mismo principio: agrupa como par dos versiones de una misma foto, una recortada y otra con los colores cambiados. Suele confundirse con el aprendizaje no supervisado. A diferencia de este último, como el agrupamiento (clustering), donde no existe concepto de respuesta correcta, el aprendizaje autosupervisado tiene una respuesta correcta claramente definida, pero son los propios datos los que la generan.
En la práctica, la implantación suele hacerse en dos etapas. Primero, un preentrenamiento con datos internos sin etiquetar, para que el modelo aprenda la terminología y el estilo del ámbito de trabajo. Después, un ajuste fino con datos etiquetados a escala de miles. Con el preentrenamiento de dominio, la cantidad de etiquetas necesarias para lograr el mismo rendimiento baja mucho, pero baja; no llega a cero.
El malentendido más frecuente es pensar que «ya no hace falta etiquetar nada». Quienes creyeron esto y eliminaron por completo el presupuesto de etiquetado terminan el preentrenamiento sin un conjunto de evaluación con el que medir el rendimiento, y pasan meses sin poder responder si el modelo mejoró o empeoró. Otra expectativa es que, con más datos, todo mejore solo; pero los documentos duplicados y las guías antiguas descartadas también se aprenden. Si una tabla de precios eliminada hace cinco años está mezclada en la pila de documentos, el modelo responde ese precio con mucha seguridad. La preparación de datos y el conjunto de evaluación requieren la participación humana hasta el final.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Surgió de la necesidad de aprovechar grandes volúmenes de datos sin etiquetar y se convirtió en el método central gracias al éxito de modelos de preentrenamiento a gran escala como BERT y GPT.
Veamos un caso hipotético. La empresa A, que fabrica válvulas industriales, tiene 940 colaboradores y ventas anuales de KRW 410,000,000,000 (≈ US$306,872,400). Durante 20 años se acumularon 120,000 informes de inspección de equipos e historiales de fallas, pero solo existían como PDF escaneados. Al intentar crear un modelo de clasificación automática de tipos de falla, la cotización externa de etiquetado fue de KRW 300,000,000 (≈ US$224,500) y seis meses. El área de Calidad se opuso: 'con ese dinero contratamos más personal de mantenimiento'.
- El gerente Kim, del equipo de análisis de datos, convirtió los 120,000 casos a texto y luego ejecutó tres semanas de preentrenamiento sin asignar ni una sola etiqueta, ocultando el 15% de las oraciones para que el modelo las reconstruyera.
- El primer resultado no fue un clasificador, sino un sentido de la terminología. Cuando agrupó 'fuga por empaquetadura' y 'fuga por prensaestopas' en la misma familia, el jefe de mantenimiento, con 15 años de experiencia, dijo: 'Este sabe lo que se habla en planta'.
- Después, dos jefes de equipo de mantenimiento hicieron el ajuste fino durante dos semanas, asignando respuestas solo a 2,000 casos. Lo que habría costado KRW 300,000,000 (≈ US$224,500) con 120,000 casos terminó costando KRW 24,000,000 (≈ US$18,000).
- El director de Calidad apartó 500 casos del conjunto de evaluación y fijó la regla: 'esto nunca debe incluirse en el entrenamiento'. Desde entonces, esos 500 casos fueron el único criterio de evaluación en cada reentrenamiento.
- Como resultado, la precisión de clasificación de tipos de fallo subió de 71% con las reglas anteriores a 89%, el tiempo de procesamiento de cada informe bajó de un promedio de 14 minutos a 3, y el periodo de implantación, previsto en 6 meses, se redujo a 7 semanas.