Aprendizaje federado
Federated Learning
¿Qué es el aprendizaje federado?
- Sin reunir datos, solo se consolidan los resultados
- El original permanece en el dispositivo
- Aprendizaje que protege la privacidad
Al introducir el aprendizaje federado, el cuello de botella del proyecto se desplaza. Antes, se negociaban durante meses con los equipos legal y de seguridad de la información si “estos datos se pueden sacar”. Ahora, lo que importa es si cada institución y cada dispositivo tiene recursos de cómputo para ejecutar el entrenamiento, y si hay una conexión capaz de soportar los decenas o cientos de MB de parámetros del modelo que viajan en cada ronda. El objeto de la negociación pasa de los datos al modelo, que es el cambio real, y por eso a veces el calendario de meses que dependía de la revisión para sacar datos desaparece por completo.
En la práctica se distinguen dos variantes. La primera es el aprendizaje federado entre dispositivos (cross-device): hay millones de teléfonos inteligentes registrados, pero en cada ronda solo se seleccionan de cientos a miles. La otra es el aprendizaje federado entre silos institucionales (cross-silo), en el que participan de forma fija entre 2 y 20 instituciones, como hospitales o bancos. En la primera, el entrenamiento solo corre cuando el equipo está cargando y conectado a Wi-Fi, por lo que la participación fluctúa mucho. En la segunda hay pocos participantes, pero el tamaño de los datos de cada institución y las diferencias en los criterios de etiquetado determinan el rendimiento. La agregación suele hacerse con un promedio ponderado según el número de datos (FedAvg), pero en situaciones en que cada institución tiene una distribución de datos distinta (non-IID), ese promedio simple puede, en realidad, deteriorar el modelo.
El malentendido más común es pensar que «como el original no sale, no es tratamiento de datos personales». Las actualizaciones del modelo conservan rastros de los datos de entrenamiento: varios estudios reportan la reconstrucción de gran parte de imágenes o frases originales solo a partir de los gradientes. En un consorcio de solo tres instituciones, si se quita la actualización de una y se vuelve a agregar, pueden revelarse las características de los datos de esa institución. Si no se añaden agregación segura o privacidad diferencial, el aprendizaje federado no es anonimización: es tratamiento de datos personales que solo cambia la ruta de circulación. Además, si se ejecutan rondas sin alinear los criterios de etiquetado, se obtienen resultados con peor rendimiento que un modelo entrenado por separado, y a veces todo el proyecto fracasa.
Sungil KimEgresado de KAIST y exintegrante de Samsung Electronics. Experto global en pitching, creó el equipo ganador del concurso de pitch para inversionistas de Select USA y del concurso de la Organización Mundial del Turismo (ONU).
Jaryong KooDoctor en marketing y referente en IA, análisis de datos y marca personal.Enfoque propuesto por Google alrededor de 2016, que combina el entrenamiento distribuido en dispositivos sin centralizar los datos.
Veamos un caso hipotético. Una fundación médica, la empresa A, con 1,400 colaboradores, quiso crear un modelo de apoyo a la lectura de radiografías de tórax para tres hospitales generales de su red. Cada hospital tenía entre 180,000 y 260,000 imágenes acumuladas, pero le respondieron que, para reunirlas en un solo lugar, la revisión de salida de datos tomaría 5 meses. El objetivo de apertura del servicio era dentro de 6 meses.
- El jefe del área de información médica desechó el plan de reunir las imágenes. Reescribió la solicitud al comité de ética (IRB) con una estructura en la que los originales quedan en los servidores GPU de cada hospital y solo se intercambian los pesos del modelo una vez por semana.
- En las dos primeras rondas, solo el modelo del Hospital B tuvo una precisión 12 puntos porcentuales menor. Al revisarlo, se vio que usaba etiquetas de lectura de 5 niveles en lugar de 3.
- Dos jefes del departamento de radiología trabajaron juntos durante cuatro semanas para unificar la definición de las etiquetas. Además, cambiaron la regla de agregación en el servidor a un promedio ponderado según el número de imágenes de cada hospital, con lo que se eliminó el sesgo hacia el pequeño Hospital C.
- El responsable de seguridad de la información preguntó si, con solo enviar las actualizaciones, los datos de los pacientes realmente no pueden reconstruirse. Por eso se incorporaron agregación segura y adición de ruido, y el sistema se configuró para que cada ronda solo se agregue cuando participen las 3 instituciones.
- Seis meses después, la sensibilidad del modelo de apoyo a la lectura subió 8.4 puntos porcentuales frente al entrenamiento en un solo hospital. Además, el trámite de revisión de salida de datos, previsto para 5 meses, desapareció, por lo que se cumplió el objetivo de apertura con 2 semanas de adelanto.