Transferencia de aprendizaje
Transfer Learning
¿Qué es el aprendizaje por transferencia?
- Reutilizar el conocimiento aprendido en una nueva tarea
- Rápido, sin aprender desde cero
- El ajuste fino es el método más representativo
Lo que realmente cambia la transferencia de aprendizaje es el punto de partida de los proyectos de IA. Antes, las reuniones empezaban con «¿cómo reunimos decenas de miles de datos?»; hoy, la primera pregunta es «¿qué modelo preentrenado conviene usar?». El punto de partida deja de ser cero y pasa a estar cerca de 80: los datos necesarios bajan de decenas de miles a cientos o miles, y el tiempo de entrenamiento pasa de semanas a horas. Por eso, el éxito del proyecto depende menos de la destreza en modelado que de el criterio para elegir un modelo preentrenado cercano a nuestra tarea.
En la práctica hay tres enfoques principales. La extracción de características, que congela los pesos de las capas iniciales y solo añade una nueva capa de clasificación final; el ajuste fino completo, que reajusta todos los pesos con una tasa de aprendizaje pequeña; y las técnicas ligeras como LoRA, que conservan el modelo original y entrenan solo pequeños adaptadores. Con cientos de datos, la extracción de características; con miles o más, el ajuste fino suele ser una opción razonable. En los grandes modelos de lenguaje, reducir los parámetros entrenables a menos del 1% con técnicas ligeras es, en la práctica, el valor por defecto. Aquí hay que distinguir un papel distinto al de la generación aumentada por recuperación (RAG). El ajuste fino sirve para que el modelo incorpore el tono, el formato de salida y los criterios de juicio; incluir información factual que cambia con frecuencia corresponde a RAG.
En la práctica, el malentendido más frecuente es la expectativa de que 'entrenar más con nuestros datos hace que el modelo sea inteligente sin condiciones'. Es común que un ajuste fino completo con 3,000 documentos internos provoque el olvido catastrófico: el modelo deja de hacer bien los resúmenes y traducciones que antes dominaba. También se ve a menudo el sobreajuste de quien repite 200 imágenes defectuosas, alcanza 98% de precisión en validación y luego cae a un 60% en la línea real. Si los datos de preentrenamiento y los propios son muy distintos (fotos generales frente a imágenes de rayos X), la transferencia aporta poco o incluso estorba. Antes de tocar nada, registre el desempeño del modelo original y compárelo con el mismo conjunto de validación. Además, en los modelos comerciales, revise primero en el contrato si la licencia permite el ajuste fino y la redistribución.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Hyerang ParkEspecialista en narrativa de contenidos y marca con IAEs un concepto clásico del aprendizaje automático que se convirtió en la estrategia estándar en la práctica con la llegada de modelos preentrenados a gran escala (ImageNet, BERT, GPT, etc.).
Veamos un caso hipotético. A, un fabricante de válvulas industriales de unos 240 colaboradores, venía inspeccionando a simple vista la totalidad de la apariencia externa. Con 4 inspectores revisando 1,200 piezas al día, por la tarde aumentaban los defectos no detectados y las quejas de clientes llegaron a 7 al mes. Al considerar la incorporación de inspección con IA, solo tenían 320 imágenes de piezas defectuosas acumuladas.
- El proveedor externo respondió que «había que tomar al menos 30,000 imágenes». El jefe de equipo Kim, de Garantía de Calidad, calculó que solo la toma de fotos llevaría un año, así que cambió de rumbo: tomó un modelo de imágenes preentrenado con ImageNet y decidió añadirle únicamente sus propios datos.
- El gerente Park, del equipo de tecnología de producción, volvió a etiquetar las 320 imágenes existentes en tres categorías (rayaduras, cuerpos extraños y pieza normal) y, cambiando el ángulo de iluminación, tomó 780 imágenes adicionales. Las dividió en 980 para entrenamiento y 120 para validación.
- En el primer intento se congelaron todas las capas iniciales y solo se entrenó la capa de clasificación final. En dos semanas la precisión de validación llegó al 88%, y el jefe de equipo Lee, con 20 años de experiencia, lo aceptó al ver que «el modelo se equivoca igual que una persona en los casos dudosos».
- Tras confirmar que la mayoría de los errores restantes se debían al reflejo de la luz en el recubrimiento metálico, se hizo un ajuste fino adicional solo de las tres capas superiores, con una tasa de aprendizaje de 1e-5. Con una sola GPU tomó 4 horas, y el costo en la nube fue de KRW 60,000 (≈ US$45).
- En la semana 6 se conectó el modelo a la línea: la tasa de detección de defectos subió de 71% a 94%, y el volumen de re-inspección visual bajó de 1,200 a 180 piezas diarias, por lo que dos inspectores pasaron a tareas de mejora de procesos.