Red neuronal recurrente · RNN/LSTM
Recurrent Neural Network / Long Short-Term Memory
¿Qué es una red neuronal recurrente?
- Procesa datos secuenciales recordando lo anterior
- LSTM mejora el manejo de contextos largos
- Protagonista antes del Transformer
Lo que realmente cambió RNN es que «no trata la entrada como un solo bloque». En lugar de introducir de una vez una entrada de tamaño fijo, como en la clasificación de imágenes, aplica repetidamente el mismo conjunto de pesos en cada instante de tiempo y traslada el estado oculto al instante siguiente. Gracias a ello, procesa datos de longitud variable con un solo modelo, sin necesidad de crear modelos separados para oraciones de 10 y de 50 palabras. Sin embargo, como hay que terminar el cálculo del instante anterior para poder calcular el siguiente, el tiempo de entrenamiento crece en proporción a la longitud de la secuencia.
Las variantes se dividen en tres grandes familias. El RNN vainilla es sencillo, pero suele perder el gradiente al superar entre 10 y 20 instantes, por lo que en la práctica no puede aprovechar las partes iniciales. LSTM incorpora un estado de celda y tres compuertas (entrada, olvido y salida): una estructura que crea un canal separado por el que pasa la memoria. GRU reduce las compuertas a dos, por lo que tiene alrededor de 25 % menos parámetros. En la práctica, cuando los datos son de unos pocos miles de registros, es frecuente que GRU converja de forma más estable que LSTM.
La frontera con el Transformer se define por la «longitud» y los «recursos». La atención compara todos los instantes entre sí, así que su cómputo crece con el cuadrado de la longitud, mientras que la familia RNN crece de forma lineal, en proporción a la longitud. Por eso, en registros de sensores de decenas de miles de instantes o en dispositivos de borde con apenas unos MB de memoria, LSTM/GRU siguen siendo la opción realista. En cambio, en tareas como la traducción o el resumen, que exigen evaluar de una vez las relaciones anteriores y posteriores de toda la oración, el propio procesamiento secuencial se convirtió en el cuello de botella.
El error más frecuente en la práctica está en cómo se dividen los datos. Si se trata de una serie temporal y el analista, por costumbre, separa entrenamiento y validación con una mezcla aleatoria, el futuro se cuela en el aprendizaje: se aprueba un proyecto con 95% de precisión en validación, pero en producción el resultado es peor que la regla existente. También es un malentendido común pensar que «como es una técnica antigua, hay que usar siempre transformers». Con datos internos de solo unos miles de etiquetas, un modelo grande primero se sobreajusta y el costo de entrenamiento se multiplica. Lo prudente es establecer primero una línea base con LSTM y compararla después.
Sungil KimExperto global en pitching, egresado de KAIST y Samsung Electronics, que llevó a equipos ganadores del concurso de pitch IR de la OMT (ONU) y de Select USA
Hyerang ParkEspecialista en storytelling de contenidos y en contenidos de marca basados en IALSTM fue propuesta en 1997 por Hochreiter y Schmidhuber para mejorar el problema de la memoria a largo plazo de las RNN.
Veámoslo con un caso hipotético. La empresa A, fabricante de autopartes con ventas anuales de KRW 120,000,000,000 (≈ US$89,816,300) y 340 colaboradores, tenía un problema: cuatro prensas se detenían sin aviso, en promedio 3.2 veces al mes, y paraban toda la línea. Los sensores de vibración y corriente acumulaban datos cada segundo, pero por la regla «alarma al superar el umbral», saltaban más de 40 falsas alarmas al día, y en planta trabajaban con la ventana de alarmas apagada. El equipo de mantenimiento de equipos validó la predicción de fallas con LSTM en una prueba de concepto (PoC) de 3 meses.
- El subgerente Kim, del equipo de mantenimiento de equipos, extrajo de los registros de los últimos dos años 87 tramos de 30 minutos previos a fallas reales y armó los datos de entrenamiento con una proporción de 1:5 frente a tramos normales.
- Un científico de datos externo que asesoraba al proyecto señaló que «si se mezclan los datos al azar para dividirlos, el futuro enseña al pasado», así que se separó por fechas: 2023 para entrenamiento y 2024 para validación.
- Al introducir sin cambios 1,800 pasos de un segundo cada uno, cada entrenamiento tardaba tres días; al comprimirlos en 180 pasos de promedio de 10 segundos, el tiempo de entrenamiento se redujo a 4 horas.
- El director de producción fue tajante: «si hay más de 5 falsos positivos al día, nadie los revisa». Por eso subió el umbral de decisión de 0.5 a 0.8, dando prioridad a reducir los falsos positivos por encima de la exhaustividad (recall).
- Tres meses después, las paradas repentinas bajaron de 3.2 a 1.1 veces al mes y las falsas alarmas, de 40 al día a alrededor de 4, lo que permitió recuperar unas 210 horas anuales de inactividad.