Etiquetado de datos · Anotación de datos
Data Labeling
¿Qué es el etiquetado de datos?
- Poner etiquetas (respuestas correctas) a los datos de entrenamiento
- El combustible del aprendizaje supervisado
- Sesgo en las etiquetas = sesgo en la IA
Al empezar el etiquetado de datos, el centro de gravedad del proyecto de IA pasa del modelo a los datos. Elegir qué algoritmo usar toma un día, pero el documento de criterios que define qué se considera defecto y hasta dónde llega una «consulta positiva» requiere semanas de discusión con el área operativa. El etiquetado no es solo una tarea técnica, sino la tarea de dejar por escrito los criterios de juicio del negocio. Si se etiquetan decenas de miles de datos con un criterio difuso, solo se acumula volumen de trabajo y el rendimiento sigue igual. Al final, el tiempo que se logre obtener de expertos del área determina el cronograma real del proyecto.
El nivel de dificultad y el precio unitario varían mucho según la forma de la etiqueta. Clasificar una foto con una sola categoría toma unos segundos por imagen; marcar objetos con un cuadro delimitador toma decenas de segundos; y la segmentación, que traza el contorno a nivel de píxel, tarda varios minutos por imagen. En texto se usa el etiquetado de entidades nombradas, que marca nombres de personas y de productos, y recientemente han crecido las preferencias que eligen cuál de dos respuestas es mejor. La calidad no se mide a ojo sino con cifras. Lo básico es pasar a todos los trabajadores un conjunto de referencia de cientos de casos con respuesta confirmada y medir su grado de acuerdo. El aprendizaje activo, que selecciona primero los datos en que el modelo duda, puede lograr el mismo rendimiento con menos de la mitad de las etiquetas. Es un proceso distinto del preprocesamiento, como el tratamiento de valores faltantes o el ordenamiento de formatos.
En campo, el punto que más suele fallar es la creencia de que «si lo puso una persona, es la respuesta correcta». Sin una guía para los casos límite, distintos trabajadores juzgan los mismos datos de manera diferente, y esa inconsistencia queda fijada como el techo de rendimiento del modelo. Si la tasa de error de las etiquetas es del 5%, una precisión de 95% es en la práctica el techo, y muchos equipos pasan meses cambiando la arquitectura del modelo sin saberlo. Cuando el rendimiento se estanca, conviene revisar primero las etiquetas antes que el modelo. Si se compara solo el precio unitario y se encarga sin condiciones de revisión, la entrega será rápida, pero el costo del retrabajo supera el costo original. En datos que incluyen información personal, antes de sacarlos del entorno hay que confirmar si se aplicó la desidentificación.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría
Ara LimEspecialista en liderazgo global, IA y comunicación empresarialEs un preprocesamiento indispensable del aprendizaje supervisado y, junto con la construcción de grandes conjuntos de datos (como ImageNet), creció hasta convertirse en una industria.
Veamos un caso hipotético. A, un fabricante de autopartes de 420 colaboradores, llevaba ocho meses intentando un sistema de IA de inspección que detecta rayaduras superficiales. Entrenó el modelo con 120,000 imágenes, pero la tasa de detección se quedó en 78%, y en planta circulaba la frase «de todos modos una persona lo revisa otra vez, ¿para qué usarlo?».
- El equipo de desarrollo de IA, a cargo de este caso, revisó directamente 300 falsos positivos y encontró 41 casos en que un mismo nivel de rayadura fina se etiquetó como defecto en unas imágenes y como producto conforme en otras.
- El subgerente de Aseguramiento de Calidad, Park, reunió a tres jefes de inspección y dejó por escrito el criterio límite de que «una longitud menor a 0.3 mm y no identificable a simple vista es conforme», y adjuntó 20 fotos de casos dudosos como imágenes de referencia.
- Pasamos 500 imágenes con respuesta confirmada a 8 etiquetadores externos y el grado de acuerdo fue 0.62. Tras dos semanas de recapacitación, solo asignamos al trabajo real a quienes superaron 0.87.
- Re-etiquetamos 28,000 de las 120,000 imágenes existentes cuyo criterio no era consistente, y cambiamos el orden para etiquetar primero las fotos en las que el modelo no estaba seguro. Con ello, el volumen mensual de trabajo bajó de 40,000 a 12,000 imágenes.
- Tras el reentrenamiento, la tasa de detección subió de 78% a 93% y la tasa de falsos positivos bajó de 11% a cerca de 3%. El tiempo de personal dedicado a la reinspección pasó de 6 horas diarias a 1.5 horas, y el costo mensual del etiquetado externo bajó cerca de 40%.