Conocimiento · Fundamentos de IA

Equipo rojo · Red teaming de IA

Red Teaming

📂Fundamentos de IA⏱Lectura de 2 min📊Práctico🔗Relacionados 2

¿Qué es el red team?

Definición en una línea
Actividad que busca de forma deliberada y ofensiva las debilidades y riesgos de la IA para mejorarla. Imita a un « usuario malintencionado » para prevenir problemas de antemano.
Llevar este tema a una capacitación interna📚 Curso relacionado💬 Consulta sobre capacitación
⚡ Resumen en 3 líneas
  • Descubrir debilidades y riesgos atacándolos a propósito
  • Imitar a un « usuario malintencionado »
  • Procedimiento indispensable para un despliegue seguro

Con el equipo rojo cambia la pregunta de la verificación. Si QA comprueba « si funciona como se pidió », el equipo rojo pregunta « ¿cómo se puede romper? ». Por eso el criterio para aprobar el despliegue ya no es qué porcentaje de precisión tiene, sino cuántos casos logran vulnerarlo y qué tan graves son. Aquí también está la razón para separar a quien construye de quien ataca. Como es difícil que quien diseñó algo cuestione por sí mismo sus supuestos, conviene asignar personal dedicado exclusivamente al rol de atacante y reconocer como logro el número de vulnerabilidades encontradas.

En la práctica suele dividirse en tres enfoques. El red teaming manual, en el que personas diseñan conversaciones y ponen a prueba el sistema directamente; el automático, que genera prompts de ataque y lanza miles de casos de una sola vez; y el red teaming de dominio, en el que hacen falta especialistas en medicina, derecho, finanzas o protección infantil para determinar si un riesgo lo es realmente. Su objetivo es distinto al de la prueba de penetración: esta vulnera el servidor y los permisos, mientras que el red teaming vulnera lo que el modelo dice. También se distingue de la evaluación por benchmark. Si el benchmark consiste en repetir problemas conocidos para obtener una puntuación, el red teaming consiste en crear problemas que todavía no se han planteado. Por eso el entregable no debe ser una tabla de puntuaciones, sino una lista de vulnerabilidades con los pasos para reproducirlas.

En la práctica, el error más frecuente es tratar el red teaming como un trámite que se cumple una sola vez justo antes del lanzamiento. Al cambiar la versión del modelo, ajustar el prompt de sistema o conectar documentos internos nuevos, la superficie de ataque cambia; por eso hay que volver a ejecutarlo cada vez que haya un cambio. El segundo error es intentar cerrar las vulnerabilidades encontradas solo añadiendo palabras prohibidas. Cuanto más se endurecen los filtros, más consultas legítimas quedan bloqueadas, y el chatbot termina repitiendo 'Lamentamos no poder responder' hasta que, en un par de meses, el equipo de negocio deja de usarlo. Hay que medir a la vez la fuerza del bloqueo y la precisión con que bloquea. Por último, si el informe no incluye las conversaciones que reproducen el problema, el equipo de desarrollo no puede corregirlo. La impresión de que «parecía peligroso» no se convierte en un ticket de corrección.

Capacitaciones en las que aparece este término · IA·DX
Cursos recomendados · Instructores recomendados · Mini cotización
🧮 Mini cotización · Criterio de honorarios
Aprox. KRW 1,200,000 (≈ US$900)Charla especial de 2 horas · hasta 20 personas · en coreano
Solicitar cotización formal con estas condiciones →
💡 Dicho de forma sencilla
Antes del despliegue, actuar como un « usuario malintencionado » para detectar de antemano los puntos débiles: así se evita el incidente antes de que ocurra.
Por qué es importante en la práctica
Es mejor detectar los problemas antes del despliegue que lidiar con incidentes después. El red teaming saca a la luz de antemano los riesgos ocultos de la IA.
Origen y fuentes

Surgió del concepto militar y de ciberseguridad del « equipo rojo » (red team), o fuerza enemiga simulada, y se ha extendido como procedimiento estándar para verificar la seguridad de la IA.

Entender con un caso

Veamos un caso hipotético. La aseguradora de daños A, con unos 900 colaboradores, desarrolló durante cuatro meses un chatbot para orientar sobre las solicitudes de indemnización y estaba a dos semanas de su lanzamiento. La precisión en las pruebas internas era del 91%, pero el área de cumplimiento normativo suspendió la aprobación preguntando: « ¿quién asume la responsabilidad si promete una cobertura que no figura en las condiciones? ». Al final, retrasó el lanzamiento seis semanas y primero formó un equipo rojo.

  1. El gerente Park, del equipo de innovación digital, formó un equipo rojo con cuatro agentes del centro de atención al cliente y dos responsables de cumplimiento normativo, y dejó fuera a propósito a los desarrolladores del chatbot. La razón: « quien lo construyó ataca con suavidad ».
  2. Durante dos semanas se redactaron 420 escenarios de ataque. Las frases extraídas por los agentes de transcripciones reales de quejas, como « Haga que me paguen aunque no tenga certificado médico », superaron la mitad del total.
  3. En la primera prueba se vulneraron 37 casos. En particular, el patrón de cambiar solo el inicio con « Es para un amigo que tiene curiosidad » para que el sistema saltara la cláusula de exención y respondiera que el pago era posible se repitió 11 veces.
  4. El gerente Park exigió que cada hallazgo se registrara con la transcripción completa de la conversación que lo reproduce y una captura de pantalla, clasificó la gravedad en alta, media y baja, y fijó como corrección obligatoria antes del lanzamiento los 9 casos de gravedad alta.
  5. En la repetición de pruebas tras tres semanas, los casos de evasión exitosa bajaron de 37 a 4. La tasa de rechazo de consultas legítimas, que había subido hasta 12% al endurecer los filtros, bajó a 5% al volver a definir el alcance de las respuestas.
Términos relacionados
Capacitaciones relacionadas con este término
📚Capacitación para formar consultores de AXCapacitación corporativa de Nanum Consultoría · presencial/en líneaVer curso →
¿Necesita capacitación interna sobre este tema?
Reciba de inmediato un currículo y una cotización personalizados para su equipo.
Consultar sobre capacitación
Última modificación 2026-09-13 · Revisado por John Kim

Preguntas frecuentes

El método es parecido, pero el propósito es distinto. No es un abuso: es una prueba de ataque autorizada « para corregir de antemano ».
Porque la IA puede ser usada indebidamente o fallar de maneras que los desarrolladores no previeron, y conviene detectarlas y prevenirlas de antemano.
El método es parecido, pero el propósito es distinto. No es un abuso: es una prueba de ataque autorizada « para corregir de antemano ».
Para encontrar y prevenir, antes del despliegue, los usos indebidos y los fallos que los desarrolladores no previeron.