Début septembre 2023 Gary Gensler, président de la Securities and Exchange Commission des États-Unis, a déclaré que les deepfakes représentent un «risque réel» pour les marchés. Les deepfakes, des vidéos ou des images truquées générées par l'intelligence artificielle (IA) mais semblant authentiques au premier abord, peuvent être utilisés pour représenter des investisseurs de haut niveau et même des régulateurs comme Gensler, donnant l'impression que ces personnalités influentes disent des choses susceptibles d'influencer les éléments des marchés financiers. Les créateurs des deepfakes dans ces cas-là ont tout à gagner lorsqu'ils parviennent à manipuler le marché avec cette tromperie.

Alors que le potentiel de troubles sur les marchés est important, la menace des deepfakes va bien au-delà de cela. Le cabinet comptable mondial KPMG a signalé une forte augmentation des escroqueries ciblant toutes sortes d'entreprises avec des contenus deepfake. Ces risques, ainsi que d'autres, ont poussé les chercheurs en cybersécurité à une recherche frénétique de moyens de les arrêter—ou du moins de ralentir—les acteurs malveillants armés de ces outils puissants. Les deepfakers ont créé des vidéos falsifiées de célébrités, de politiciens et de bien d'autres—souvent pour s'amuser, mais aussi fréquemment pour propager des désinformations et pire encore.

Peut-être que l'impact négatif le plus important des deepfakes au début du développement naissant de cette technologie a été sur les individus ciblés par cette technologie. Les escroqueries d'extorsion se multiplient dans de nombreux domaines différents et avec diverses stratégies. Une proportion importante de ces escroqueries implique l'utilisation de la technologie deepfake pour créer des images ou des vidéos à caractère sexuel explicite de personnes non consentantes. Les escrocs peuvent ensuite exiger un paiement de la part de la personne réelle ciblée, avec la menace de diffuser le contenu faux en cas de non-conformité. Mais les menaces associées aux deepfakes et au contenu explicite vont bien au-delà.

Pour de nombreux acteurs dans les domaines de la cybersécurité, de la justice sociale, du droit de la vie privée et d'autres domaines, la pornographie deepfake est l'une des plus grandes menaces à émerger de l'ère de l'IA. En 2019, 96% de tous les deepfakes en ligne étaient de la pornographie. Ci-dessous, nous examinons de plus près.

Une histoire de manipulation d'images

Deepfake n'est pas la première technologie permettant de manipuler des images d'autres personnes sans leur consentement. Photoshop est depuis longtemps une technologie omniprésente, et la pratique de falsification d'images remonte à plusieurs décennies avant l'invention de ce logiciel. La technologie Deepfake elle-même remonte à plus de 25 ans, bien qu'il n'y ait que ces dernières années que l'IA en plein développement ait considérablement réduit le temps nécessaire pour créer un deepfake tout en se rapprochant beaucoup de l'indétectable pour l'observateur moyen.

La facilité de mauvaise utilisation de la technologie deepfake pour créer du contenu pornographique - un nombre croissant d'outils utilisés pour créer des deepfakes sont disponibles gratuitement en ligne - a contribué à aggraver considérablement le problème. Une recherche en ligne révèle de nombreuses histoires d'individus qui ont été ciblés de cette manière. Beaucoup des personnes ciblées par les pornographes deepfake sont des personnalités féminines de streaming qui ne créent pas ou ne partagent pas de contenu explicite.

Plus tôt cette année, la célèbre streameuse QTCinderella a découvert que son image avait été utilisée dans du contenu explicite généré par une IA sans son consentement ni sa connaissance. Un autre streameur bien connu, Atrioc, a admis avoir visionné le contenu et partagé des informations sur le site web où il était publié. Depuis lors, QTCinderella a travaillé avec un avocat de renom dans le domaine des sports électroniques pour faire supprimer le site web, et Atrioc a publié plusieurs déclarations indiquant son intention de travailler à la suppression de ce type de contenu de manière plus générale.

Problèmes de consentement

Beaucoup ont soutenu que la pornographie deepfake est la dernière forme de sexualisation non consensuelle, s'inscrivant dans une longue tendance mais mieux positionnée pour une diffusion généralisée en raison à la fois de la puissance de la technologie deepfake et de sa facilité d'utilisation. En conséquence, quelqu'un qui crée des images explicites deepfake de quelqu'un d'autre sans le consentement de cette personne commet un acte de violence sexuelle contre cette personne.

Les témoignages de survivantes de ces attaques - presque exclusivement des femmes - soutiennent cette classification. Il est déjà bien documenté que les victimes de deepfake pornographique éprouvent régulièrement des sentiments d'humiliation, de déshumanisation, de peur, d'anxiété, et plus encore. Les conséquences peuvent être physiques également, avec de nombreux récits de visites à l'hôpital, de réactions traumatiques, voire d'idées suicidaires suscitées par les deepfakes. Les victimes ont perdu leur emploi, leurs moyens de subsistance, leurs amis, leur famille, et plus encore, tout simplement parce qu'un deepfake qui semblait réel a été partagé.

Pour beaucoup, les problèmes de deepfake pornographique représentent peut-être le pire d'un problème beaucoup plus vaste avec l'IA en général : parce que l'IA générative est entraînée à l'aide de données qui contiennent une multitude de biais, de préjugés et de généralisations, le contenu produit par ces systèmes d'IA partage également ces traits négatifs. Il est depuis longtemps reconnu, par exemple, que les outils d'IA ont souvent tendance à créer du contenu raciste. De même, l'IA générative, même seule, est susceptible de créer du contenu hautement sexualisé. Lorsqu'elle est combinée à des acteurs malveillants cherchant à nuire à autrui ou simplement à satisfaire leur propre plaisir au détriment de la vie privée et du bien-être d'autrui, la situation devient très dangereuse.

Avec certains contenus deepfake, il y a une double violation du consentement. Une façon de créer du contenu explicite deepfake est d'utiliser du matériel pornographique préexistant et de superposer le visage ou d'autres éléments de la ressemblance d'une victime involontaire dans ce matériel. En plus de nuire à cette personne, le deepfake viole également la vie privée de l'interprète adulte original, car il ne cherche pas le consentement de cette personne non plus. Le travail de cet interprète est également dupliqué et distribué sans compensation, reconnaissance ou attribution. On a souvent soutenu que les interprètes adultes dans ces contextes sont exploités - littéralement décapités numériquement - et encore plus objectifiés dans une industrie où de telles pratiques sont déjà répandues.

Cependant, certains ont exprimé leur opinion selon laquelle le consentement est sans importance lorsqu'il s'agit de deepfakes de toutes sortes, y compris du contenu pornographique. Ceux qui avancent cet argument suggèrent fréquemment que les individus ne possèdent pas réellement leur propre image. «Je peux prendre une photo de vous et en faire ce que je veux, alors pourquoi ne pourrais-je pas utiliser cette nouvelle technologie pour faire la même chose de manière efficace ?» est un argument courant.

Lois et réglementations

Comme c'est le cas pour une grande partie de l'intelligence artificielle, la technologie dans l'industrie des deepfakes se développe beaucoup plus rapidement que les lois qui régissent ces outils. En février 2023, seuls trois États américains avaient des lois spécifiquement axées sur le contenu pornographique deepfake. Les entreprises développant ces technologies ont peu fait pour limiter l'utilisation des outils deepfake pour générer du contenu explicite. Cela ne veut pas dire que c'est le cas pour tous ces outils. Dall-E, le populaire système d'intelligence artificielle de génération d'images, est doté de plusieurs protections, par exemple : OpenAI, l'entreprise qui a développé Dall-E, a limité l'utilisation d'images nues dans le processus d'apprentissage de l'outil ; les utilisateurs sont interdits de faire certaines demandes ; les sorties sont scannées avant d'être révélées à l'utilisateur. Mais les opposants aux deepfakes pornographiques affirment que ces protections ne sont pas suffisantes et que les mauvais acteurs déterminés peuvent facilement contourner ces mesures.

Le Royaume-Uni est un exemple de pays qui a rapidement travaillé pour criminaliser certains aspects de l'industrie en plein essor de la pornographie deepfake. Ces derniers mois, le pays a pris des mesures pour rendre illégal le partage d'images intimes deepfake. À ce jour, le gouvernement fédéral américain n'a pas adopté de législation similaire. Cela signifie que, pour l'instant, la plupart des victimes de la pornographie deepfake n'ont pas de recours pour résoudre le problème ou obtenir des dommages et intérêts.

Outre les problèmes évidents de consentement et de violence sexuelle, l'attaque perpétrée contre un artiste adulte dont l'apparence est utilisée dans la création de contenus explicites deepfake pourrait offrir une autre voie pour aborder ce problème d'un point de vue juridique. Après tout, si un créateur de deepfake utilise l'image d'un artiste adulte sans consentement, attribution ou compensation, on pourrait soutenir que le créateur vole le travail de l'artiste et exploite sa main-d'œuvre.

La pornographie deepfake présente des similitudes avec un autre phénomène récent impliquant du contenu explicite non consensuel : la pornographie de vengeance. Les mesures prises par les législateurs et les entreprises pour lutter contre ce phénomène pourraient également indiquer une voie à suivre dans la lutte contre la pornographie deepfake. En 2020, 48 États et Washington, D.C. ont criminalisé la pornographie de vengeance. Les grandes entreprises technologiques, dont Meta Platforms et Google, ont mis en place des politiques pour réprimer la diffusion ou l'hébergement de contenu pornographique de vengeance. Il est certain que la pornographie de vengeance reste un problème important aux États-Unis et à l'étranger. Mais les efforts déployés pour ralentir sa propagation pourraient indiquer que des efforts similaires seront déployés pour réduire le problème des deepfakes.

Un outil prometteur dans la lutte contre la pornographie générée par l'IA est l'IA elle-même. La technologie existe pour détecter les images qui ont été manipulées numériquement avec une précision de 96%. Si, selon la réflexion, cette technologie pouvait être utilisée pour analyser, identifier et finalement aider à supprimer le contenu explicite basé sur l'IA, elle pourrait contribuer à réduire considérablement la diffusion de ce matériel.