Edge AI · IA en el dispositivo
Edge AI / On-Device AI
¿Qué es la Edge AI?
- Ejecutar la IA en el propio dispositivo
- Rápida y favorable para la privacidad
- Requiere técnicas de aligeramiento de modelos
Adoptar la Edge AI no significa cambiar el modelo, sino volver a trazar la frontera del sistema. En el momento en que se decide qué datos se quedan dentro del dispositivo y desde dónde se envían hacia afuera, cambian a la vez el tiempo de respuesta, el costo de comunicaciones, el alcance de la revisión de seguridad y el escenario de respuesta ante fallas. Parece una decisión técnica, pero en realidad es una decisión que requiere sentar juntos al responsable de infraestructura, a calidad y a asuntos legales.
En la práctica suele dividirse en tres capas. Está el procesamiento directo en el dispositivo, donde la NPU de un teléfono o cámara ejecuta el modelo de inmediato; el servidor de borde (edge server), donde un PC industrial o un gateway de la planta agrupa varios equipos y los procesa; y la nube, que se encarga del reentrenamiento y del análisis de grandes volúmenes de datos. Para llevar un modelo al dispositivo hay que reducirlo, por ejemplo cuantizándolo a INT8 (cuantización), o con poda o destilación. El tamaño puede bajar a una fracción, pero la precisión suele perder entre 1 y 3 puntos porcentuales. Lo que justifica asumir esa pérdida es que una decisión que tardaba de 200 a 300 ms de ida y vuelta pase a tardar apenas decenas de ms.
El error más común es pensar que, como el modelo corre dentro del dispositivo, el problema de datos personales ya está resuelto. Si el equipo se pierde o es robado, se van con él todos los datos y el modelo, e incluso hay intentos de desarmar el archivo del modelo para reconstruir los datos de entrenamiento. El segundo error es no tener en cuenta lo que pasa después del despliegue. En la nube basta con corregir un solo servidor, pero los 3,000 dispositivos instalados en campo, sin un sistema de actualización OTA y control de versiones, repiten durante meses los mismos errores de un modelo desactualizado. También es frecuente que el equipo reduzca su rendimiento por el calor, de modo que un dictamen que acierta de madrugada falla al mediodía. Antes de decidir entre borde y nube, conviene definir primero quién va a administrar este equipo y durante cuántos años, y no al revés.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Con la expansión de los dispositivos IoT y móviles y el avance de las técnicas de compresión de IA, surgió el enfoque de inferir directamente en el dispositivo.
Veamos un caso hipotético. La empresa A, fabricante de autopartes, tiene 320 colaboradores y ventas anuales de unos KRW 90,000,000,000 (≈ US$67,362,200). Para detectar defectos superficiales en el pintado, enviaba el video de la cámara de la línea a la nube para su evaluación. La ida y vuelta superaba 0.4 segundos, así que el resultado llegaba cuando la pieza ya había pasado al siguiente proceso. En tres meses, los defectos no detectados volvieron como retrabajo y generaron un costo superior a KRW 20,000,000 (≈ US$15,000) al mes.
- Al revisar los registros de la línea, el líder de equipo Kim, del área de Tecnología de Producción, encontró que el 78% del tramo con demora correspondía al viaje de ida y vuelta por la red, y concluyó: «No hay que hacer el modelo más grande, sino llevarlo junto a la cámara».
- El responsable de IA cuantizó el modelo de inspección a INT8 y redujo su tamaño a una cuarta parte. La precisión bajó de 96.4% a 95.1%. El jefe de calidad dijo: «Aceptaría que aumenten los falsos rechazos, siempre que no aumenten los defectos no detectados».
- Optamos por una estructura de servidor de borde: en 3 líneas se conectó una PC industrial a cada una, agrupando 4 cámaras. Cada equipo costó KRW 4,800,000, (≈ US$3,590) es decir, KRW 14,400,000 (≈ US$10,800) en total, y el volumen de transmisión a la nube bajó de 9 TB al mes a 0.4 TB.
- Cuando el responsable de seguridad de la información preguntó «¿y si roban el equipo?», elaboramos por escrito el procedimiento de cifrado de archivos del modelo y de actualización OTA trimestral, e incluimos en el reglamento interno una norma de borrado de datos para los equipos que salen de la empresa.
- Ocho semanas después, la demora del dictamen bajó de 420 ms a 35 ms, y la tasa de defectos no detectados que escapaban bajó de 1.8% a 0.6%. El costo de retrabajo pasó de alrededor de KRW 20,000,000 (≈ US$15,000) al mes a alrededor de KRW 7,000,000, (≈ US$5,240) y la inversión se recuperó en 4 meses.