Retropropagación
Backpropagation
¿Qué es la retropropagación?
- Corregir los pesos retrocediendo a partir del error
- Motor del aprendizaje de las redes neuronales
- En pareja con el descenso de gradiente
Lo que realmente cambió con la retropropagación fue «la manera de determinar quién tiene la culpa». En las redes neuronales de muchas capas, aunque la respuesta final fuera incorrecta, no había forma de saber qué conexión, de entre millones, se había equivocado y en qué medida. Por eso, los modelos anteriores exigían que una persona diseñara a mano qué debía observar el modelo. La retropropagación calcula automáticamente esta distribución de responsabilidad. Gracias a ello, el trabajo de los ingenieros pasó de diseñar las características a mano a preparar la estructura y los datos, y dejar el resto en manos de la máquina.
En la práctica conviene distinguir entre propagación hacia adelante y retropropagación. La propagación hacia adelante calcula desde la entrada hacia la salida para obtener la respuesta y el error; la retropropagación retrocede ese error mediante la regla de la cadena del cálculo diferencial para obtener el gradiente de cada peso. Con frecuencia se habla de ambas junto con el descenso de gradiente, pero cada una cumple un papel distinto. La retropropagación solo calcula el gradiente; quien cambia realmente los valores es el optimizador (SGD, Adam, etc.). Aun con el mismo gradiente, el resultado varía según el optimizador y la tasa de aprendizaje.
También hay que tener en cuenta las condiciones. Los pesos no se ajustan con cada dato individual: normalmente se actualizan por lotes de 32 a 256 datos, y recorrer todo el conjunto de datos una vez se llama 1 época. La tasa de aprendizaje suele empezar alrededor de 0.001, y este valor, por sí solo, decide con frecuencia el éxito o el fracaso del entrenamiento. Si es demasiado grande, la pérdida se dispara y el modelo diverge; si es demasiado pequeña, aunque se ejecute durante días, no avanza. En redes profundas, el problema del gradiente que se desvanece hace que el gradiente se acerque a cero al retroceder, y las capas iniciales llegan a no aprender nada.
El error más frecuente en la práctica es creer que “la retropropagación lo resuelve todo por sí sola”. La retropropagación solo reduce el error respecto de la respuesta dada; por eso, aunque apenas el 5% de los datos tenga etiquetas incorrectas, aprende con fidelidad también esos errores y los incorpora al modelo. Si entra basura, el modelo aprende esa basura con precisión. El ajuste fino (fine-tuning) tampoco es distinto: si se aplica la retropropagación a todas las capas, el costo y el tiempo de GPU se multiplican. Muchos equipos gastan su presupuesto sin conocer la opción de abrir solo unas pocas capas superiores y congelar el resto.
Seungtae ParkEspecialista en AX que enseña construyendo por sí mismo la automatización del desarrollo de negocios y del marketing con IA
Sungil KimEgresado de KAIST y exintegrante de Samsung Electronics, experto en pitch global que dirigió al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo de la ONUSe popularizó en 1986 con el artículo de Rumelhart, Hinton y Williams, y se convirtió en el algoritmo estándar para el aprendizaje de redes neuronales.
Veamos un caso hipotético. La empresa A, fabricante de piezas para automóviles, tiene 340 colaboradores y ventas anuales de KRW 120,000,000,000 (≈ US$89,816,300). Durante seis meses utilizó una IA de inspección para detectar defectos externos, pero la precisión se quedó estancada en 82%. Como resultado, el jefe de inspección tuvo que revisar a simple vista 1,800 piezas al día.
- El gerente Kim, del equipo de calidad, revisó el registro de entrenamiento y vio que la tasa de aprendizaje estaba fija en 0.1. Al notar que la gráfica de pérdida oscilaba arriba y abajo desde la época 3, dijo: “Esto no es aprender, sino dar vueltas sin rumbo”.
- El líder de equipo Lee, de la empresa de desarrollo externa, bajó la tasa de aprendizaje a 0.001 y fijó el tamaño del lote en 64. Tras entrenar 40 épocas, la pérdida bajó a 0.31 y la gráfica se volvió, por primera vez, más estable.
- Como la precisión volvió a estancarse en 87%, revisaron los datos. De las 12,000 imágenes de inspección, unas 600 tenían las etiquetas invertidas: defectos reales marcados como arañazos o cuerpos extraños, y el modelo estaba aprendiendo fielmente también esos errores.
- Dos jefes de inspección volvieron a etiquetar los datos durante dos semanas. Surgió la propuesta de “descartar las imágenes borrosas”, pero las 480 imágenes en las que los evaluadores no coincidían se apartaron, se acordó un criterio común para volver a juzgarlas y luego se incorporaron al conjunto de entrenamiento.
- Tras el reentrenamiento, la precisión subió a 94.2%, y las piezas que requieren revisión manual bajaron de 1,800 al día a 210. Dos inspectores fueron reasignados a otra línea de producción.