IA generativa de imagens: a corrida entre segurança e vulnerabilidade

Em maio de 2026, a startup de segurança em inteligência artificial White Circle publicou os resultados do projeto RISE (Red-Teaming via Iterative Strategy Evolution), um estudo que revelou uma falha crítica nos sistemas de geração de imagens mais utilizados do mundo: DALL-E 3 (OpenAI) e Nano Banana 2 (Google). O problema é simples e inquietante — usando apenas um poema em forma de prompt, pesquisadores conseguiram contornar os filtros de segurança e gerar imagens explicitamente proibidas por ambas as plataformas. Em alguns casos, a taxa de sucesso foi superior a 13%, um número que pode parecer pequeno, mas que representa uma quantidade alarmante de tentativas quando ponderada pelo volume de solicitações que esses modelos recebem diariamente.

O que o RISE descobriu

O RISE não utiliza técnicas complexas ou sofisticadas. Em vez disso, ele se apoia em um conceito bem documentado na literatura de segurança cibernética: o jailbreak por reformulação poética. Em vez de pedir diretamente à IA que gere uma imagem proibida, o prompt é estruturado como uma narrativa simbólica — um conto com linguagem figurativa, metáforas e diálogos entre personagens fictícios. A ideia, baseada em pesquisas anteriores, é que os filtros de segurança são treinados para reconhecer padrões de linguagem direta e explícita, mas se mostram menos eficazes diante de textos com estrutura literária.

Segundo a White Circle, ao aplicar esse método nos modelos DALL-E 3 e Nano Banana 2, os resultados foram surpreendentemente eficazes. O DALL-E 3 falhou em bloquear o conteúdo proibido em 13% das tentativas, enquanto o Nano Banana 2 teve uma taxa de sucesso ainda mais elevada. O estudo comparou esses números com as versões anteriores dos mesmos modelos — ambas as empresas teriam introduzido melhorias, mas, ironicamente, a pesquisa da White Circle indica que os modelos mais recentes, apesar de visualmente mais sofisticados, são mais vulneráveis a esse tipo de ataque.

O mecanismo por trás da falha

Para entender por que essa vulnerabilidade existe, é preciso olhar para o design dos sistemas de moderação. Os geradores de imagem de IA operam em duas camadas principais: um filtro de entrada, que analisa o prompt antes de enviá-lo ao modelo de geração, e um filtro de saída, que verifica a imagem gerada antes de exibi-la ao usuário. Ambos utilizam modelos de classificação treinados para identificar linguagem ou imagens que violem as políticas de uso aceitável.

O problema é que esses classificadores não são perfeitos. Quando o prompt é formulado como uma narrativa poética — com metáforas, personagens fictícios e linguagem simbólica — ele pode escapar do filtro de entrada porque não contém palavras ou frases explicitamente proibidas. A narrativa age como um câncer de disfarce, permitindo que a intenção subjacente permaneça oculta até que o modelo de geração já tenha processado o comando e criado a imagem.

Uma vez que a imagem é gerada, o filtro de saída deveria intervir. No entanto, como observou a Johns Hopkins University em pesquisa anterior — que demonstrou que modelos como DALL-E 2 podiam ser manipulados com comandos adversariais aparentemente sem sentido —, o filtro de saída também pode ser contornado, especialmente quando a imagem gerada não contém elementos óbvios de nudez ou violência, mas sim referências sutis ou simbólicas.

O contexto: uma corrida armamentetilizada

A vulnerabilidade descoberta pela White Circle não surge no vácuo. Ela se inscreve em um ecossistema de segurança cibernética cada vez mais complexo. Nos últimos dois anos, pesquisadores de diversas instituições — incluindo a Johns Hopkins University, o MIT e universidades europeias — publicaram estudos demonstrando que os geradores de imagem de IA podem ser manipulados de maneiras cada vez mais elaboradas. O método SneakyPrompt, por exemplo, usava strings adversariais geradas por algoritmos para enganar o DALL-E 2. O método Chain-of-Jailbreak (CoJ) decompõe consultas maliciosas em sub-prompts aparentemente inofensivos, explorando a capacidade de edição iterativa dos modelos modernos.

O que torna o RISE diferente não é a sofisticação técnica — é a simplicidade. Não requer código, nem algoritmos complexos. Qualquer pessoa com acesso a um gerador de imagem de IA pode, em teoria, usar um poema para contornar as barreiras de segurança. E, o mais importante, o mesmo método funciona tanto para o DALL-E quanto para o Nano Banana — o que indica uma vulnerabilidade sistêmica nos paradigmas atuais de moderação de conteúdo gerado por IA.

A resposta das empresas

Tanto a OpenAI quanto o Google afirmaram que estão cientes dessas vulnerabilidades e estão trabalhando em soluções. A OpenAI publicou um system card para o ChatGPT Images 2.0, detalhando sua abordagem de segurança em três camadas: filtros upstream de recusa, bloqueio downstream por um modelo de segurança multimodal, e classificadores de imagem e texto continuamente melhorados. O Google não divulgou detalhes específicos sobre o Nano Banana 2, mas o modelo já passou por várias atualizações de segurança desde seu lançamento.

No entanto, a White Circle alerta que a melhoria visual dos modelos — maior resolução, realismo e fidelidade de cores — pode estar ocorrendo à custa da robustez da segurança. Um modelo visualmente superior não é necessariamente um modelo mais seguro. Na verdade, à medida que os modelos de IA se tornam mais capazes de interpretar nuances linguísticas e gerar imagens mais fidedignas, eles também se tornam mais suscetíveis a manipulações sofisticadas.

O que isso significa para a segurança digital

O caso dos geradores de imagem de IA levanta questões que vão além da geração de conteúdo proibido. Se um filtro de segurança pode ser contornado por um poema, que outros mecanismos de segurança baseados em IA podem ser vulneráveis da mesma maneira? A mesma técnica de reformulação poética já foi demonstrada como eficaz contra modelos de linguagem (LLMs), com taxas de sucesso de até 90% em alguns sistemas, segundo pesquisa do arXiv (arxiv.org/abs/2511.15304).

A implicação é clara: à medida que a IA se integra mais profundamente em workflows empresariais, serviços públicos e plataformas de comunicação, a segurança desses sistemas precisa evoluir de abordagens baseadas em palavras-chave e padrões estáticos para mecanismos dinâmicos e adaptativos. Mas a evolução tecnológica não acontece sem custos — e a corrida entre a criação de novas capacidades e a identificação de suas vulnerabilidades parece estar apenas começando.

Fontes: White Circle, AIDailyPost, Johns Hopkins University

✓ Fontes independentes cruzadas e verificadas antes da publicação