Un réseau de plus de 400 domaines et applications a été découvert, proposant des contenus sexuels générés par IA, selon nos confrères de Journal du Geek. L'une de ces applications, Viefur, proposait à première vue de transformer les photos d'animaux en portraits générés par IA, mais cachait en réalité des fonctions moins présentables, permettant de produire des images et des vidéos sexuelles à partir de photos importées.

Certaines de ces applications, disponibles sur l'App Store et Google Play, affichaient une interface permettant de créer des contenus sexuels, y compris des violences sexuelles, selon WIRED. Les critères précis pour accéder à ces contenus sont inconnus, mais il semblerait que télécharger l'application après avoir cliqué sur une publicité Facebook ou Instagram puisse être un déclencheur possible, comme l'a identifié Paul Bouchaud, chercheur chez AI Forensics.

Ce qu'il faut retenir

  • Un réseau de plus de 400 domaines et applications a été découvert, proposant des contenus sexuels générés par IA.
  • L'application Viefur proposait à première vue de transformer les photos d'animaux en portraits générés par IA, mais cachait en réalité des fonctions moins présentables.
  • Certaines de ces applications affichaient une interface permettant de créer des contenus sexuels, y compris des violences sexuelles.

Les applications en question

Les applications en question annonçaient des fonctions ordinaires, telles que des cours de langue ou des portraits d'animaux, pour se présenter sur les boutiques d'applications. Cependant, une fois téléchargées, elles envoyaient à un serveur plusieurs informations, dont la langue, la provenance de l'utilisateur et un identifiant unique, qui déterminaient ensuite le contenu à afficher.

Apple a expliqué que les applications respectaient ses règles lors de leur examen, mais que leurs développeurs auraient ensuite modifié les sites dont elles affichaient le contenu. Les chercheurs ont découvert une liste des autres services du réseau dans le code, avec notamment des clés de chiffrement et des outils de suivi publicitaire.

Les réactions des plateformes

En septembre, 27 applications étaient présentes sur Google Play, cumulant plus de 350 000 téléchargements, et plusieurs étaient même classées comme adaptées à tous les âges. Pour trouver des utilisateurs, le réseau s'appuyait sur des dizaines de milliers de publicités diffusées chez Meta, certaines montrant des contenus pédocriminels générés par IA.

Apple a retiré 19 applications, dont Viefur, et Google avait déjà supprimé la majorité des applications concernées avant les questions du site. Meta affirme avoir pris des mesures contre 11 600 comptes publicitaires et bloqué la promotion de 209 applications liées aux domaines signalés.

Les conséquences

Les suppressions sont nombreuses, mais des applications et publicités similaires continuaient d'être publiées. Les chercheurs ont souligné l'importance de la vigilance et de la régulation pour lutter contre la prolifération de ces contenus.

Et maintenant ?

Les prochaines étapes pour lutter contre la prolifération de ces contenus incluront probablement une surveillance accrue des plateformes et des développeurs d'applications, ainsi que des réglementations plus strictes pour protéger les utilisateurs. Il reste à voir comment les plateformes réagiront à cette affaire et quelles mesures elles prendront pour prévenir de telles situations à l'avenir.

En attendant, il est essentiel de rester vigilant et de signaler tout contenu inapproprié ou suspect. Les utilisateurs doivent également être conscients des risques potentiels liés à la téléchargement d'applications et à la navigation sur Internet.