O fato
A prefeita de São Francisco, juntamente com promotores da cidade, emitiu uma ordem judicial obrigando Apple e Google a removerem 8 aplicativos de "nudificação" não consensual da App Store e Google Play. Os apps usam IA generativa para remover digitalmente a roupa de fotos de pessoas sem seu consentimento — uma prática que especialistas classificam como violência digital e criação de CSAM. A ordem afeta Apple, Google e também a OpenAI (cujo modelo é usado por alguns desses apps via API). A notícia foi amplamente coberta por Wired, Ars Technica, 9to5Mac e Engadget.
Contexto
Apps de "nudificação" por IA existem há pelo menos dois anos, mas proliferaram com a popularização de modelos de imagem de código aberto. Plataformas como Apple e Google tinham políticas que proibiam esse conteúdo, mas a moderação era reativa — apps eram removidos só após denúncias. Em março de 2026, a xAI foi processada por um caso em que o Grok foi usado para criar CSAM. Agora, São Francisco está exigindo ação proativa das plataformas, não apenas remoção reativa.
Análise
O risco que ninguém está discutindo é o precedente legal. Se São Francisco conseguir obrigar Apple e Google a pré-moderar apps de IA generativa, outras cidades e estados vão seguir — e a responsabilidade das plataformas vai além de conteúdo explícito para qualquer output de IA que cause dano. Para a Apple, que está promovendo o Apple Intelligence como diferencial do iOS 27, essa decisão cria um conflito direto: como vender IA "segura e privada" no iPhone enquanto sua loja distribui apps que usam IA para violar privacidade?
O que observar
Apple e Google podem recorrer, mas o dano reputacional já está feito. O cumprimento da ordem (remoção imediata vs. recurso judicial) vai sinalizar o quanto as big techs estão dispostas a cooperar com regulação local de IA. Para startups de IA generativa de imagem, o recado é claro: construir aplicativos cujo caso de uso primário é remover roupas de fotos não é apenas eticamente questionável — está se tornando ilegal.
