Generación de imágenes por IA: la carrera entre seguridad y vulnerabilidad

En mayo de 2026, la startup de seguridad en inteligencia artificial White Circle publicó los resultados del proyecto RISE (Red-Teaming via Iterative Strategy Evolution), un estudio que reveló una falla crítica en los sistemas de generación de imágenes más utilizados del mundo: DALL-E 3 (OpenAI) y Nano Banana 2 (Google). El problema es simple e inquietante: usando solo un poema como prompt, los investigadores lograron eludir los filtros de seguridad y generar imágenes explícitamente prohibidas por ambas plataformas. En algunos casos, la tasa de éxito superó el 13%, un número que puede parecer pequeño, pero que representa una cantidad alarmante de intentos cuando se pondera por el volumen de solicitudes que estos modelos reciben diariamente.

Qué descubrió el RISE

El RISE no utiliza técnicas complejas ni sofisticadas. En cambio, se apoya en un concepto bien documentado en la literatura de ciberseguridad: el jailbreak por reformulación poética. En lugar de pedir directamente a la IA que genere una imagen prohibida, el prompt se estructura como una narrativa simbólica — un relato con lenguaje figurativo, metáforas y diálogos entre personajes ficticios. La idea, basada en investigaciones anteriores, es que los filtros de seguridad están entrenados para reconocer patrones de lenguaje directo y explícito, pero son menos eficaces ante textos con estructura literaria.

Según White Circle, al aplicar este método en los modelos DALL-E 3 y Nano Banana 2, los resultados fueron sorprendentemente efectivos. El DALL-E 3 falló en bloquear el contenido prohibido en el 13% de los intentos, mientras que el Nano Banana 2 tuvo una tasa de éxito aún más elevada. El estudio comparó estos números con las versiones anteriores de los mismos modelos —ambas empresas habrían introducido mejoras, pero, irónicamente, la investigación de White Circle indica que los modelos más recientes, a pesar de ser visualmente más sofisticados, son más vulnerables a este tipo de ataque.

El mecanismo detrás de la falla

Para entender por qué esta vulnerabilidad existe, es necesario observar el diseño de los sistemas de moderación. Los generadores de imágenes por IA operan en dos capas principales: un filtro de entrada, que analiza el prompt antes de enviarlo al modelo de generación, y un filtro de salida, que verifica la imagen generada antes de mostrarla al usuario. Ambos utilizan modelos de clasificación entrenados para identificar lenguaje o imágenes que violen las políticas de uso aceptable.

El problema es que estos clasificadores no son perfectos. Cuando el prompt se formula como una narrativa poética — con metáforas, personajes ficticios y lenguaje simbólico — puede escapar del filtro de entrada porque no contiene palabras o frases explícitamente prohibidas. La narrativa actúa como un cáncer de disimulo, permitiendo que la intención subyacente permanezca oculta hasta que el modelo de generación ya haya procesado el comando y creado la imagen.

Una vez que la imagen se genera, el filtro de salida debería intervenir. Sin embargo, como demostró previamente la investigación de la Johns Hopkins University —que mostró que modelos como DALL-E 2 podían ser manipulados con comandos adversariales aparentemente sin sentido—, el filtro de salida también puede ser eludido, especialmente cuando la imagen generada no contiene elementos obvios de desnudez o violencia, sino referencias sutiles o simbólicas.

El contexto: una carrera armamentista

La vulnerabilidad descubierta por White Circle no surge del vacío. Se inscribe en un ecosistema de ciberseguridad cada vez más complejo. En los últimos dos años, investigadores de diversas instituciones —incluyendo la Johns Hopkins University, el MIT y universidades europeas— han publicado estudios demostrando que los generadores de imagen por IA pueden ser manipulados de maneras cada vez más elaboradas. El método SneakyPrompt, por ejemplo, utilizó cadenas adversariales generadas por algoritmos para engañar al DALL-E 2. El método Chain-of-Jailbreak (CoJ) descompone consultas maliciosas en sub-prompts aparentemente inofensivos, explotando la capacidad de edición iterativa de los modelos modernos.

Lo que hace al RISE diferente no es la sofisticación técnica —es la simplicidad. No requiere código, ni algoritmos complejos. Cualquier persona con acceso a un generador de imagen por IA puede, en teoría, usar un poema para eludir las barreras de seguridad. Y, lo más importante, el mismo método funciona tanto para DALL-E como para Nano Banana —lo que indica una vulnerabilidad sistémica en los paradigmas actuales de moderación de contenido generado por IA.

La respuesta de las empresas

Tanto OpenAI como Google han afirmado que son conscientes de estas vulnerabilidades y están trabajando en soluciones. OpenAI publicó un system card para ChatGPT Images 2.0, detallando su enfoque de seguridad en tres capas: filtros upstream de rechazo, bloqueo downstream por un modelo de seguridad multimodal, y clasificadores de imagen y texto continuamente mejorados. Google no ha revelado detalles específicos sobre el Nano Banana 2, pero el modelo ha pasado por múltiples actualizaciones de seguridad desde su lanzamiento.

Sin embargo, White Circle alerta que la mejora visual de los modelos —mayor resolución, realismo y fidelidad de colores— puede estar ocurriendo a costa de la robustez de la seguridad. Un modelo visualmente superior no es necesariamente un modelo más seguro. De hecho, a medida que los modelos de IA se vuelven más capaces de interpretar matices lingüísticos y generar imágenes más fieles, también se vuelven más susceptibles a manipulaciones sofisticadas.

Qué significa esto para la seguridad digital

El caso de los generadores de imagen por IA plantea preguntas que van más allá de la generación de contenido prohibido. Si un filtro de seguridad puede ser eludido por un poema, ¿qué otros mecanismos de seguridad basados en IA pueden ser vulnerables de la misma manera? La misma técnica de reformulación poética ya ha sido demostrada como efectiva contra modelos de lenguaje (LLMs), con tasas de éxito de hasta el 90% en algunos sistemas, según investigación del arXiv (arxiv.org/abs/2511.15304).

La implicación es clara: a medida que la IA se integra más profundamente en flujos de trabajo empresariales, servicios públicos y plataformas de comunicación, la seguridad de estos sistemas debe evolucionar de enfoques basados en palabras clave y patrones estáticos a mecanismos dinámicos y adaptativos. Pero la evolución tecnológica no ocurre sin costos —y la carrera entre la creación de nuevas capacidades y la identificación de sus vulnerabilidades parece apenas estar comenzando.

Fuentes: White Circle, AIDailyPost, Johns Hopkins University

✓ Fuentes independientes cruzadas y verificadas antes de la publicación