Auteur : Dr Anis Trabelsi

Exemple d’un deepfake où le visage de Tom Cruise (à droite) est superposé artificiellement sur le visage de l’acteur Miles Fisher (à gauche). Extrait d’une vidéo de Chris Ume.

Le domaine de l’intelligence artificielle générative (IAG) a connu un progrès considérable ces deux dernières années, qui s’est traduit par l’amélioration de nombreuses technologies telles que ChatGPT pour générer du texte, Midjourney pour générer des images, ou encore ElevenLabs pour générer des discours audios. Depuis février 2024, avec l’apparition de Sora, l’IAG est également capable de générer des extraits vidéos convaincants à partir d’une simple description textuelle. Toutes ces innovations permettent un énorme bond en avant dans la production de contenu numérique, offrant de nouvelles possibilités de créativité et d’efficacité. 

Cependant, l’évolution rapide de ces technologies apporte aussi des améliorations dans la création de contenus numériques malveillants. L’exemple le plus parlant est celui des deepfakes qui se répandent désormais sous toutes les formes sur internet.

Qu’est-ce qu’un deepfake ?

Le terme deepfakes provient de la combinaison des mots « deep learning » et « fakes ». Il désigne des contrefaçons numériques ultra-réalistes créées grâce à des techniques d’intelligence artificielle. Ces méthodes s’appuient sur des réseaux de neurones artificiels pour générer des contenus audiovisuels qui sont souvent indiscernables d’un contenu authentique. Cette technologie n’est pas récente, elle a émergé fin 2017 sur le réseau social Reddit et s’est rapidement popularisée. Le créateur des premières vidéos deepfakes s’est inspiré d’un article de recherche qui proposait une méthode pour modifier l’environnement d’une vidéo [1]. Il a adapté cette méthode pour remplacer le visage d’une personne par un autre dans une vidéo.

Il existe principalement deux catégories de génération de vidéos deepfakes :

• L’échange de visage (face swapping) : cette technique consiste à superposer le visage d’une personne sur celui d’une autre dans une vidéo, tout en préservant les expressions faciales originales.
• Le rejeu de visage (face reenactment) : cette méthode vise à animer le visage d’une personne dans une vidéo en synchronisant ses expressions faciales avec celles d’une autre personne.

Bien que le terme deepfake puisse désigner dans le langage courant une falsification d’un audio, d’une image ou d’une vidéo, nous limiterons notre analyse, dans ce qui suit, exclusivement aux vidéos deepfake.

Comment les deepfakes sont-ils fabriqués ?

La première génération d’algorithmes permettant de créer des vidéos deepfakes utilisait des auto-encodeurs variationnels (VAE). Il s’agit d’une architecture spécifique de réseau de neurones artificiels permettant de générer des contenus numériques à partir d’une version compressée. Un auto-encodeur est constitué de deux parties :

• Un encodeur, dont le rôle est de générer une version compressée d’une image
• Un décodeur, qui va être chargé de reconstruire l’image d’origine à partir de la version compressée générée par l’encodeur.

Imaginez l’encodeur et le décodeur comme des artistes peintres. L’encodeur est un artiste chargé de représenter une esquisse de La Joconde. Il va d’abord examiner la peinture originale pour comprendre ce qui en fait son essence. Ensuite, il va pouvoir esquisser l’œuvre en ne gardant que les traits et les détails importants. Le décodeur va tenter de reproduire la peinture originale à partir de l’esquisse préalablement réalisée par l’encodeur.

Figure 1 – Illustration de la création d’un deepfake basée sur un VAE. 

Crédit : Alan Zucconi

Pour créer un deepfake, il est nécessaire d’utiliser deux auto-encodeurs (cf. figure 1). L’un des auto-encodeurs apprend à générer le visage d’une personne A et le deuxième auto-encodeur le visage d’une personne B. Une fois que les deux auto-encodeurs sont capable de générer correctement les visages des deux personnes, il est nécessaire de permuter les décodeurs, ce qui a pour effet de reconstruire le visage de la personne B à la place du visage de la personne A, et inversement. Cette technique présentait d’importantes limites. Elle nécessitait de très nombreuses images des visages A et B, capturées dans des conditions variées, afin de pouvoir reconstituer toutes les situations possibles.

Une autre méthode de création de vidéos deepfakes est basée sur l’utilisation des Generative Adversarial Networks (GAN). Similaires aux auto-encodeurs, les GANs sont composés de deux réseaux de neurones qui fonctionnent de manière concurrente. Le premier réseau est appelé un générateur et le deuxième, un discriminateur. 

Le générateur est entraîné à fabriquer des images qui imitent au mieux des exemples présents dans une base de données, sans jamais les avoir vues. Le contenu généré est ensuite soumis au discriminateur, qui joue le rôle de juge pour déterminer si le contenu est authentique ou non. Le cycle d’entraînement continue jusqu’à ce que le générateur soit capable de produire une image qui peut tromper le discriminateur. Dans ce cas, l’image générée est indiscernable par rapport à un exemple authentique (cf. figure 2).

En reprenant l’analogie avec les artistes peintres, le générateur essaie de créer une copie parfaite d’une œuvre originale sans jamais l’avoir vue au préalable. Le discriminateur va juger l’authenticité des peintures (qu’elles soient des originales ou des copies réalisées par le générateur). Dans le cas où une copie est détectée par le discriminateur, il produira un rapport expliquant toutes les erreurs commises qui lui ont permis de prendre sa décision. Le générateur va s’appuyer sur ce rapport pour s’améliorer, jusqu’à ce que le discriminateur ne soit plus capable de détecter que les peintures du générateur sont des copies.

Figure 2 – Illustration de la création d’un deepfake basée sur un GAN. 

Crédit : Science Focus

La première génération de vidéos deepfakes nécessitait d’importantes ressources de calcul pour produire des résultats convaincants. Une fois entraînés, les réseaux de neurones ne sont capables de produire un deepfake que pour les deux personnes choisies en amont. Pour créer des deepfakes de différents individus, de nouveaux modèles doivent être formés à partir de zéro avec un nouvel ensemble de données, ce qui est très coûteux à la fois en termes de temps de calcul et en temps nécessaire pour construire cet ensemble de données. 

Au fil du temps, de nouveaux modèles et de nouvelles méthodes ont été développés pour pallier ces limites. Les nouveaux modèles de génération de deepfakes sont aujourd’hui capables de générer du contenu d’individus qui ne figurent pas dans l’ensemble de données initial, sans qu’il soit nécessaire de réentraîner entièrement le modèle.

La nouvelle vague de deepfakes

Les progrès de l’intelligence artificielle générative ont fait évoluer de manière spectaculaire la création et l’édition des contenus numériques. En février 2024, OpenAI a présenté un modèle d’IA génératif, appelé SORA, capable de générer des contenus vidéo complexes à partir de descriptions textuelles. 

Actuellement, SORA est capable de produire des vidéos d’une durée maximale de 61 secondes, allant jusqu’à une résolution de 1920 x 1080 pixels. Le modèle peut gérer des mouvements de caméra sophistiqués et mettre en scène plusieurs personnages aux émotions diverses dans le même plan. 

Bien que l’intelligence artificielle générative et son potentiel de création de contenu soient accueillis avec enthousiasme, ces innovations ont également déclenché une nouvelle vague de deepfakes. La facilité d’accès à ces outils pour le grand public contribue à la diffusion de désinformation en ligne et à l’usurpation d’identités par la création de deepfakes encore plus sophistiqués.

Les dangers des deepfakes

Les deepfakes, bien que pouvant être exploité à des fins de divertissement et d’expression artistique, présente de nombreux dangers, en particulier dans les environnements d’entreprise. Voici trois applications malveillantes des deepfakes.

L’usurpation d’identité

Les deepfakes constituent une menace directe pour la sécurité et la fiabilité des systèmes de vérification d’identité basés sur la reconnaissance faciale ou la reconnaissance vocale. En reproduisant les données biométriques telles que les traits du visage et les empreintes vocales, des personnes malveillantes peuvent tromper les mesures de sécurité des systèmes et ainsi usurper l’identité d’une personne. Ce risque est particulièrement élevé lorsque le système de vérification d’identité se fait à distance, sans supervision humaine.

Le phishing 

En clonant la voix ou le visage d’un supérieur hiérarchique, les attaquants peuvent passer des appels téléphoniques ou participer à des visioconférences sous une fausse identité. Ils manipulent ainsi des individus pour les inciter à réaliser des actions qui permettent l’accès à des ressources sécurisées et confidentielles. En février 2024, un employé d’une entreprise hongkongaise a suivi les instructions d’un supérieur hiérarchique par visioconférence pour transférer l’équivalent de 25 millions de dollars sur différents comptes bancaires. Il s’est avéré que l’interlocuteur était en fait un deepfake généré en temps réel, reproduisant parfaitement le visage et la voix du collègue en question.

La diffusion de fausses informations

En diffusant des vidéos deepfakes sur Internet, des acteurs malveillants peuvent intentionnellement propager des informations erronées sur une entreprise dans le but de lui nuire. La diffusion de ces fausses informations peut induire en erreur les investisseurs et le public, entraînant ainsi des pertes financières significatives et une atteinte à la réputation sur le long terme.

Comment détecter les deepfakes ?

Pour détecter la première génération de deepfakes, une analyse du clignement des yeux, qui n’était pas naturel, suffisait à détecter efficacement les deepfakes [2]. Toutefois, au fur et à mesure que la technologie de génération des deepfakes a évolué, ces méthodes n’étaient plus efficaces, ce qui a nécessité des méthodes de détection plus sophistiquées. 

En réaction à la diffusion croissante des deepfakes et aux différentes menaces qu’ils représentent, de grandes entreprises se sont mobilisées et ont collaboré pour organiser des projets dont le but est d’accélérer la création d’outils pour aider à détecter ces contenus falsifiés. Le plus important d’entre eux est le Deepfake Detection Challenge (DFDC) [3]. Le Deepfake Detection Challenge est une compétition internationale, lancée en décembre 2019, qui a invité les chercheurs du monde entier à travailler sur le développement d’algorithmes de détection des vidéos générées et manipulées par l’IA.

Cette compétition a été initialement lancée par Facebook et développée en collaboration avec Microsoft, Amazon Web Services (AWS), Partnership on AI et des académiciens. Une base de données de plus de 100 000 vidéos a été mise à disposition des participants pour les aider à entraîner leur modèle. De nombreuses méthodes de détection ont été proposées. Les plus efficaces d’entre elles sont basées sur l’apprentissage profond, une branche de l’intelligence artificielle. 

Plutôt que de détecter les deepfakes après leur création et leur diffusion, des stratégies existent pour empêcher la création de deepfakes. Une approche innovante consiste à utiliser des techniques de tatouage numérique. Un code est intégré dans le contenu numérique afin de pouvoir vérifier si ce contenu a subi des falsifications et ainsi s’assurer de l’authenticité de la vidéo. En combinant des méthodes de détection basées sur l’IA avec des stratégies de défense, il est possible d’atténuer les risques posés par ces contrefaçons numériques.

Conclusion

L’avènement de l’IA générative a introduit une nouvelle ère de créativité et de productivité. La possibilité d’éditer des images et des vidéos, autrefois réservée à des spécialistes, est désormais à la portée de tous. Cependant, le revers de la médaille est que des personnes mal intentionnées peuvent utiliser ces technologies pour créer ou modifier des contenus à des fins malveillantes, notamment en propageant des deepfakes.

Ces fausses vidéos sont capables de tromper à la fois des humains, en propageant de fausses informations ou en réalisant des attaques de phishing, et les machines, en trompant les systèmes d’authentification d’identité basés sur la reconnaissance biométrique. 

L’évolution rapide des méthodes de génération des deepfakes nécessite un cycle continu d’innovation pour pouvoir développer des techniques de détection ou des contre-mesures toujours plus sophistiquées. Le défi auquel nous sommes confrontés n’est pas seulement technologique, mais aussi sociétal. 

Tout comme nous avons appris à être prudents avec les emails que nous recevons et à distinguer les expéditeurs fiables des fraudeurs potentiels, nous devons aussi être particulièrement vigilants face au contenu numérique. Notre première défense contre l’exposition aux deepfakes consiste à s’interroger systématiquement sur la véracité et l’authenticité de ces contenus.

Références

[1] Liu MY, Breuel T, Kautz J (2017) Unsupervised image-to-image translation networks. In: NIPS

[2] Dolhansky B, Bitton J, Pflaum B, Lu J, Howes R, Wang M, Canton Ferrer C (2020) The deepfake detection challenge dataset. arXiv:2006.07397

[3] Li Y, Chang MC, Lyu S (2018) In ictu oculi: exposing ai created fake videos by detecting eye blinking. In: 2018 IEEE international workshop on information forensics and security (WIFS). IEEE, pp 1–7