IA privada · LLM on-premise
Private AI / On-premise Large Language Model
¿Qué es la IA privada?
- Operación de IA sin enviar datos al exterior
- Bloqueo de fugas con on-premise y nube privada
- Uso de tus datos combinado con RAG; el costo es el precio a pagar
Al adoptar la IA privada, lo primero que cambia no es el rendimiento del modelo sino el contenido de las conversaciones entre el equipo de seguridad y las áreas operativas. Antes, la discusión se cerraba con un memorando de «prohibido el uso de servicios externos de IA»; ahora se convierte en una negociación práctica sobre hasta dónde puede llegar cada nivel de datos. Más que una decisión técnica, es una decisión que trae hacia dentro de la empresa la autorización para sacar datos.
En la práctica, «privada» se divide en tres niveles. Está la on-premise total, con GPU instaladas directamente en el propio rack; la nube privada, con la instancia del modelo en una VPC dedicada del proveedor de nube; y el uso de API comerciales con un contrato de no uso para entrenamiento y de retención cero (Zero Retention). Cuanto más se avanza hacia el primer nivel, mayor es el costo y el control; cuanto más se avanza hacia el último, menor es el costo y el control. Conviene verificar primero el nivel que realmente exigen los documentos regulatorios para evitar una sobreinversión. Para atender a 30 a 50 usuarios simultáneos con un modelo de 20B cuantizado mediante cuantización, suelen hacer falta de una a dos GPU de 80 GB, pero en muchos casos el costo de personal para operar y actualizar durante tres años supera el precio de compra del equipo.
Además, hay dos límites que suelen confundirse. Uno es usar «IA privada» y ajuste fino como si fueran lo mismo: alojar el modelo en nuestro servidor y volver a entrenarlo con nuestros datos son cosas distintas, y en la mayoría de los casos el uso del conocimiento interno se resuelve solo con RAG, sin ajuste fino. El otro se relaciona con la separación de redes: si se instala en un entorno completamente cerrado, se evita la fuga hacia el exterior, pero los parches y el reemplazo del modelo pasan a hacerse a mano, y eso implica el riesgo de quedar por detrás del promedio del mercado en medio año.
El error más común es creer que «si está dentro del perímetro, está seguro». Se bloquea la fuga externa, pero se omite el diseño de permisos internos, y en la práctica ocurre que documentos de evaluación del personal o actas de reuniones ejecutivas se mezclan en el índice y todos los colaboradores los encuentran con una sola búsqueda. También hay que tener en cuenta que el centro de gravedad del riesgo solo se traslada de lo externo a lo interno, y que es frecuente instalar un modelo pequeño y esperar respuestas de nivel de servicio comercial, para que los usuarios de las áreas de negocio dejen de usarlo a los dos meses.
Sungil KimExalumno de KAIST y de Samsung Electronics; experto global en pitching, que formó equipos ganadores en los concursos de pitching de la Organización Mundial del Turismo (ONU) y Select USA IR
Ara LimExperta en liderazgo global, IA y comunicación empresarial| Diferencias | Servicios de IA públicos | IA privada |
|---|---|---|
| Ubicación de los datos | Envío a servidores externos | Mantener en un entorno interno o dedicado |
| Seguridad y regulación | Riesgo de fuga e incumplimiento | Minimizar riesgos con control de perímetro |
| Costos y operación | Bajo · Uso inmediato | Alto · Requiere gestión de infraestructura |
El término IA privada surgió a medida que la IA generativa se expandía rápidamente en las empresas. Estas, preocupadas por la fuga de datos sensibles a través de APIs públicas, exigieron una «operación de IA en un entorno controlado». La mejora del rendimiento de los LLM de código abierto y el avance de las herramientas de despliegue on-premise respaldaron esta tendencia.
Veamos un caso hipotético. La empresa A es un fabricante de autopartes con 620 colaboradores y ventas anuales de KRW 410,000,000,000 (≈ US$306,872,400). En una revisión de seguridad se detectaron 3 casos en los que ingenieros del centro de investigación pegaron especificaciones de planos y datos de análisis de defectos en un chatbot público, y el equipo de seguridad de la información bloqueó el acceso a la IA en toda la empresa. Tres meses después, el director del centro de investigación planteó en la reunión de dirección que «si seguimos así, solo los competidores se acelerarán».
- El responsable de seguridad de la información clasificó 120,000 documentos internos en 3 niveles. Colocó los planos y los costos en el nivel 1, y las normas internas y los materiales de capacitación en el nivel 3, y trazó la línea de «solo lo del nivel 1 se procesa dentro de nuestro entorno».
- El CIO descartó el on-premise completo y optó por una VPC dedicada en una nube nacional. Alquilando 2 GPU y montando un modelo de código abierto, redujo el presupuesto de implementación de una cotización de KRW 400,000,000 (≈ US$299,400) a KRW 120,000,000 (≈ US$89,800).
- Al incorporar 30,000 manuales de planos al índice, el responsable de documentos del centro de investigación separó las actas de reuniones ejecutivas y los archivos de personal en un grupo de permisos aparte. Su primera frase fue: «Lo primero que quitamos fueron las carpetas que no deben aparecer en las búsquedas».
- Un equipo de calidad de 30 personas hizo un piloto de cuatro semanas. Al principio, la mitad se quejaba de que «las respuestas eran vagas». Recién cuando cada respuesta incluyó el enlace al documento de referencia y se ajustó el tamaño de los fragmentos, llegó la reacción «con esto ya se puede usar».
- Seis meses después, los usuarios aumentaron a 420 y el tiempo promedio de consulta de causas de defectos bajó de 40 minutos a 8. Los casos detectados de pegado en chatbots externos bajaron de 3 por semestre a 0.