It's getting harder, isn't it, to spot real from fake, AI-generated from human-generated. With generative AI, along with other advances in deep fakery, it doesn't take many seconds of your voice, many images of your face, to fake you, and the realism keeps increasing.
N'est-il pas plus en plus difficile, de distinguer le vrai du faux, des données générées par l'IA de celles générées par l'homme. Avec l'IA générative et à d'autres avancées en matière de deepfakes, il suffit de quelques secondes de votre voix et de votre visage, pour créer une contrefaçon de vous, et le réalisme ne cesse de croître.
I first started working on deepfakes in 2017, when the threat to our trust in information was overhyped, and the big harm, in reality, was falsified sexual images. Now that problem keeps growing, harming women and girls worldwide. But also, with advances in generative AI, we're now also approaching a world where it's broadly easier to make fake reality, but also to dismiss reality as possibly faked.
J'ai commencé à travailler sur les deepfakes en 2017, lorsque la menace sur notre confiance dans l'information était montée en épingle et que le plus gros préjudice, en fait, était la falsification d'images sexuelles. Certes, ce problème ne cesse de s'aggraver et de nuire aux femmes et aux filles dans le monde. Mais avec les progrès de l'IA générative, nous nous dirigeons vers un monde où il est globalement non seulement plus facile de créer un deepfake, mais aussi de rejeter la réalité comme étant peut-être fausse.
Now, deceptive and malicious audiovisual AI is not the root of our societal problems, but it's likely to contribute to them. Audio clones are proliferating in a range of electoral contexts. "Is it, isn't it" claims cloud human-rights evidence from war zones, sexual deepfakes target women in public and in private, and synthetic avatars impersonate news anchors.
L'IA audio-visuelle trompeuse et malveillante n'est pas à l'origine de nos problèmes sociétaux, mais elle est susceptible d'y contribuer. Les clones audio prolifèrent dans divers contextes électoraux. Des affirmations sur ce qui serait, obscurcissent les preuves relatives aux droits humains dans les zones de guerre, les deepfakes sexuels ciblent les femmes en public et en privé, et les avatars artificiels se font passer pour des journalistes.
I lead WITNESS. We're a human-rights group that helps people use video and technology to protect and defend their rights. And for the last five years, we've coordinated a global effort, "Prepare, Don't Panic," around these new ways to manipulate and synthesize reality, and on how to fortify the truth of critical frontline journalists and human-rights defenders.
Je dirige WITNESS, un groupe de défense des droits humains qui aide à protéger et défendre nos droits avec la technologie. Depuis cinq ans, nous coordonnons un effort mondial : « Prepare, Don't Panic », autour de ces nouvelles manières de manipuler et de synthétiser la réalité, et sur la manière de renforcer la vérité pour les journalistes et les défenseurs des droits humains.
Now, one element in that is a deepfakes rapid-response task force, made up of media-forensics experts and companies who donate their time and skills to debunk deepfakes and claims of deepfakes. The task force recently received three audio clips, from Sudan, West Africa and India. People were claiming that the clips were deepfaked, not real. In the Sudan case, experts used a machine-learning algorithm trained on over a million examples of synthetic speech to prove, almost without a shadow of a doubt, that it was authentic. In the West Africa case, they couldn't reach a definitive conclusion because of the challenges of analyzing audio from Twitter, and with background noise.
L'un des éléments de ce processus est la mise en place d'un groupe de travail d'intervention rapide sur les deepfakes, des experts des médias et des entreprises qui donnent leurs temps et compétences pour démystifier les deepfakes et les allégations de deepfakes. Le groupe de travail a récemment reçu trois clips audio provenant du Soudan, d'Afrique de l'Ouest et d'Inde. Les gens prétendaient que les clips étaient des deepfakes et non réels. Pour le Soudan, un algorithme d'apprentissage automatique entraîné sur plus d'un million d'exemples de discours synthétiques pour prouver, presque sans l'ombre d'un doute, que ce discours était authentique. Dans le cas de l'Afrique de l'Ouest, une conclusion définitive ne fut possible en raison des difficultés de l'analyse du son de Twitter avec du bruit de fond.
The third clip was leaked audio of a politician from India. Nilesh Christopher of “Rest of World” brought the case to the task force. The experts used almost an hour of samples to develop a personalized model of the politician's authentic voice. Despite his loud and fast claims that it was all falsified with AI, experts concluded that it at least was partially real, not AI. As you can see, even experts cannot rapidly and conclusively separate true from false, and the ease of calling "that's deepfaked" on something real is increasing.
Le troisième clip provient d'une fuite audio d'un politicien indien. Nilesh Christopher de « Rest of World » nous a apporté l'affaire. Les experts ont utilisé près d'une heure d'échantillons pour développer un modèle personnalisé de la voix authentique du politicien. Bien qu'il ait affirmé haut et fort que tout avait été falsifié par l'IA, on a conclu que tout cela était au moins partiellement réel, et non pas de l'IA. Comme vous le constatez, même des experts ne peuvent pas séparer le vrai du faux, rapidement et définitivement, et il est de plus en plus facile de dire que « c'est un deepfake » pour quelque chose de réel.
The future is full of profound challenges, both in protecting the real and detecting the fake. We're already seeing the warning signs of this challenge of discerning fact from fiction. Audio and video deepfakes have targeted politicians, major political leaders in the EU, Turkey and Mexico, and US mayoral candidates. Political ads are incorporating footage of events that never happened, and people are sharing AI-generated imagery from crisis zones, claiming it to be real.
L'avenir est plein de défis de taille, à la fois en ce qui concerne la protection du réel et la détection du faux. Nous voyons déjà les signes avant-coureurs de la difficulté à distinguer les faits de la fiction. Des deepfakes audio et vidéo ont ciblé des politiciens, de grands dirigeants politiques de l'UE, de la Turquie et du Mexique, et des candidats à la mairie aux États-Unis. Des pubs politiques intègrent des images d'événements qui ne se sont jamais produits, et l'on partage des images générées par l'IA provenant de zones de crise, en prétendant qu'elles sont réelles.
Now, again, this problem is not entirely new. The human-rights defenders and journalists I work with are used to having their stories dismissed, and they're used to widespread, deceptive, shallow fakes, videos and images taken from one context or time or place and claimed as if they're in another, used to share confusion and spread disinformation. And of course, we live in a world that is full of partisanship and plentiful confirmation bias.
Encore une fois, ce problème n'est pas totalement nouveau. Les défenseurs des droits humains et les journalistes ont l'habitude de voir leurs articles rejetés, et ils sont habitués à la diffusion de fausses vidéos, de vidéos et d'images provenant d'un contexte, d'une époque ou d'un lieu, et présentées comme si elles appartenaient à un autre, utilisées pour semer la confusion et diffuser de la désinformation. Et bien entendu, nous vivons dans un monde empreint de partisanerie et de nombreux biais de confirmation.
Given all that, the last thing we need is a diminishing baseline of the shared, trustworthy information upon which democracies thrive, where the specter of AI is used to plausibly believe things you want to believe, and plausibly deny things you want to ignore.
Compte tenu de tout cela, la dernière chose dont nous avons besoin est de réduire le nombre d'informations partagées et fiables sur lesquelles les démocraties prospèrent, où le spectre de l'IA est utilisé pour croire de manière plausible ce que vous voulez croire et nier de manière plausible ce que vous voulez ignorer.
But I think there's a way we can prevent that future, if we act now; that if we "Prepare, Don't Panic," we'll kind of make our way through this somehow. Panic won't serve us well. [It] plays into the hands of governments and corporations who will abuse our fears, and into the hands of people who want a fog of confusion and will use AI as an excuse.
Mais il existe un moyen d'empêcher cela si nous agissons dès maintenant, si nous « préparons, ne paniquons pas », nous parviendrons à nous en sortir d'une manière ou d'une autre. Paniquer ne nous rend pas de bons services. Cela fait le jeu des gouvernements et des entreprises qui abusent de nos peurs, et cela fait le jeu de ceux qui veulent semer la confusion et qui prendront l'IA comme bonne excuse.
How many people were taken in, just for a minute, by the Pope in his dripped-out puffer jacket? You can admit it.
Combien furent dupés, même une seule minute, par le Pape dans son imposante doudoune ? On peut l'avouer.
(Laughter)
(Rires)
More seriously, how many of you know someone who's been scammed by an audio that sounds like their kid? And for those of you who are thinking "I wasn't taken in, I know how to spot a deepfake," any tip you know now is already outdated. Deepfakes didn't blink, they do now. Six-fingered hands were more common in deepfake land than real life -- not so much. Technical advances erase those visible and audible clues that we so desperately want to hang on to as proof we can discern real from fake.
Plus sérieusement, combien connaissent une personne victime d'arnaque où l'on imite la voix de leur enfant ? Et si vous pensez pouvoir ne pas être dupé car vous savez repérer un deepfake, tous les conseils que vous connaissez aujourd'hui sont déjà dépassés. Les deepfakes ne clignaient pas des yeux, mais ils le font désormais. Il y a plus de mains à six doigts au Deepfakekistan que dans la vraie vie, mais pas tant que ça. Les progrès techniques effacent ces indices visibles et audibles auxquels nous nous raccrochions désespérément pour prouver que nous pouvons distinguer le vrai du faux.
But it also really shouldn’t be on us to make that guess without any help. Between real deepfakes and claimed deepfakes, we need big-picture, structural solutions. We need robust foundations that enable us to discern authentic from simulated, tools to fortify the credibility of critical voices and images, and powerful detection technology that doesn't raise more doubts than it fixes.
Mais cette responsabilité ne peut pas nous incomber sans être épaulés. Entre les vrais deepfakes et les deepfakes revendiqués, nous avons besoin de solutions structurelles globales. Nous avons besoin de bases solides qui permettent de distinguer l'authentique de la simulation, des outils pour renforcer la crédibilité des voix et des images critiques, et de technologies de détection puissante qui ne soulèvent pas plus de doutes qu'elles n'en corrigent.
There are three steps we need to take to get to that future. Step one is to ensure that the detection skills and tools are in the hands of the people who need them. I've talked to hundreds of journalists, community leaders and human-rights defenders, and they're in the same boat as you and me and us. They're listening to the audio, trying to think, "Can I spot a glitch?" Looking at the image, saying, "Oh, does that look right or not?" Or maybe they're going online to find a detector. And the detector they find, they don't know whether they're getting a false positive, a false negative, or a reliable result.
Il y a trois étapes à suivre pour atteindre ce futur. La première consiste à s'assurer que les compétences et les outils de détection sont entre les mains de ceux qui en ont besoin. J'ai parlé à des centaines de journalistes, de leaders communautaires et de défenseurs des droits humains, et ils sont dans le même bateau que nous tous. Ils écoutent les audios en se demandant : « Puis-je détecter un bug ? » En regardant des vidéos, ils se demandent si cela semble normal ou pas. Ou peut-être qu'ils vont sur Internet pour trouver un détecteur. Et ce détecteur ne leur permet pas de savoir si le résultat est un faux positif, un faux négatif ou un résultat fiable.
Here's an example. I used a detector, which got the Pope in the puffer jacket right. But then, when I put in the Easter bunny image that I made for my kids, it said that it was human-generated. This is because of some big challenges in deepfake detection. Detection tools often only work on one single way to make a deepfake, so you need multiple tools, and they don't work well on low-quality social media content. Confidence score, 0.76-0.87, how do you know whether that's reliable, if you don't know if the underlying technology is reliable, or whether it works on the manipulation that is being used? And tools to spot an AI manipulation don't spot a manual edit.
Voici un exemple. J'ai utilisé un détecteur qui a évalué le Pape dans sa doudoune correctement. Mais ensuite, quand j'ai testé la photo du lapin de Pâques de mes enfants, il a évalué la photo comme étant générée par l'homme. Cela est lié aux grands défis de la détection des deepfakes. La détection fonctionne sur un facteur dans la création de deepfakes. Il faut donc plusieurs outils. De plus, ils ne fonctionnent pas bien sur les contenus de basse qualité des réseaux sociaux. Taux de confiance : 0,76 à 0,87. Comment savoir si c'est fiable, sans savoir si la technologie sous-jacente l'est, ou si elle fonctionne sur la manipulation utilisée ? Par ailleurs, les outils de détection de manipulation par IA ne détectent pas une modification manuelle.
These tools also won't be available to everyone. There's a trade-off between security and access, which means if we make them available to anyone, they become useless to everybody, because the people designing the new deception techniques will test them on the publicly available detectors and evade them. But we do need to make sure these are available to the journalists, the community leaders, the election officials, globally, who are our first line of defense, thought through with attention to real-world accessibility and use. Though at the best circumstances, detection tools will be 85 to 95 percent effective, they have to be in the hands of that first line of defense, and they're not, right now.
Ces outils ne sont pas non plus accessibles à tous. Il existe un compromis entre sécurité et accès, ce qui signifie que mis à la disposition de tous, ils deviennent inutiles pour tout le monde, car ceux qui conçoivent les nouvelles techniques de truquage les testeront sur les détecteurs accessibles au public pour les contourner. Mais nous devons nous assurer qu'ils sont mis à la disposition des journalistes, des leaders communautaires et des agents électoraux dans le monde - notre première ligne de défense - en tenant compte de leur accessibilité et de leur utilisation dans le monde réel. Même si, dans le meilleur des cas, les outils de détection seront efficaces de 85 à 95 %, ils doivent être entre les mains de ces personnes-là, ce qui n'est pas le cas pour le moment.
So for step one, I've been talking about detection after the fact. Step two -- AI is going to be everywhere in our communication, creating, changing, editing. It's not going to be a simple binary of "yes, it's AI" or "phew, it's not." AI is part of all of our communication, so we need to better understand the recipe of what we're consuming.
Donc, première étape, la détection après coup. Deuxième étape : l'IA sera omniprésente dans la communication, la création, la réécriture et dans l'édition. Ce ne sera pas binaire entre : « Oui, c'est de l'IA », ou : « Ouf, pas d'IA ». L'IA fait partie intégrante de toutes nos communications. Nous devons donc mieux comprendre la recette de ce que nous consommons.
Some people call this content provenance and disclosure. Technologists have been building ways to add invisible watermarking to AI-generated media. They've also been designing ways -- and I've been part of these efforts -- within a standard called the C2PA, to add cryptographically signed metadata to files. This means data that provides details about the content, cryptographically signed in a way that reinforces our trust in that information. It's an updating record of how AI was used to create or edit it, where humans and other technologies were involved, and how it was distributed. It's basically a recipe and serving instructions for the mix of AI and human that's in what you're seeing and hearing. And it's a critical part of a new AI-infused media literacy.
Certaines personnes appellent cela : provenance et divulgation du contenu. Les technologues ont mis au point des moyens d'ajouter un filigrane invisible aux médias générés par l'IA. Ils ont également conçu des moyens - et j'ai participé à ces efforts - dans le cadre d'une norme appelée C2PA, pour ajouter aux fichiers des métadonnées signées cryptographiquement. Cela signifie des données qui fournissent des détails sur le contenu, signées cryptographiquement afin de renforcer notre confiance dans ces informations. Il s'agit d'un enregistrement actualisé de la manière dont l'IA a été utilisée pour les créer ou modifier, de l'implication de l'Homme et d'autres technologies, et de la manière dont elles ont été distribuées. C'est fondamentalement une recette et un mode d'emploi pour le mélange d'IA et d'humain dans ce que vous voyez et entendez. C'est un élément essentiel d'une nouvelle éducation aux médias basée sur l'IA.
And this actually shouldn't sound that crazy. Our communication is moving in this direction already. If you're like me -- you can admit it -- you browse your TikTok “For You” page, and you're used to seeing videos that have an audio source, an AI filter, a green screen, a background, a stitch with another edit. This, in some sense, is the alpha version of this transparency in some of the major platforms we use today. It's just that it does not yet travel across the internet, it’s not reliable, updatable, and it’s not secure.
Et cela ne devrait pas paraître si fou en fait. Notre communication s'oriente déjà dans cette direction. Si vous êtes comme moi, vous pouvez l'avouer, vous parcourez votre page TikTok « For You » et vous avez l'habitude de voir des vidéos dotées d'une source audio, d'un filtre AI, d'un écran vert, d'un arrière-plan, de Stich pour rogner les vidéos. Il s'agit en quelque sorte de la version alpha de cette transparence sur certaines des principales plateformes. C'est juste que ça ne circule pas encore sur Internet, que ce n'est pas fiable, modifiable, ni sécurisé.
Now, there are also big challenges in this type of infrastructure for authenticity. As we create these durable signs of how AI and human were mixed, that carry across the trajectory of how media is made, we need to ensure they don't compromise privacy or backfire globally. We have to get this right.
Ce type d'infrastructure présente par ailleurs de grands défis en matière d'authenticité. Quand nous créons ces signes durables sur l'intrication entre l'IA et l'humain, qui se répercutent sur la trajectoire de création des médias, nous devons nous assurer qu'ils ne compromettent pas la vie privée et n'ont pas l'effet inverse.
We can't oblige a citizen journalist filming in a repressive context
Nous devons faire les choses correctement.
or a satirical maker using novel gen-AI tools to parody the powerful ... to have to disclose their identity or personally identifiable information in order to use their camera or ChatGPT. Because it's important they be able to retain their ability to have anonymity, at the same time as the tool to create is transparent. This needs to be about the how of AI-human media making, not the who.
On ne peut pas obliger un journaliste citoyen qui filme dans un contexte répressif ou un auteur de satires qui utilise de nouveaux outils d'IA générative pour parodier les puissants... à devoir divulguer leur identité ou des informations personnelles identifiables afin de pouvoir utiliser leur appareil photo ou ChatGPT. Parce qu'il est important qu'ils puissent conserver leur anonymat, tout en garantissant la transparence de l'outil de création. Cela doit porter sur la manière dont l'IA crée du contenu, et non sur qui l'utilise.
This brings me to the final step. None of this works without a pipeline of responsibility that runs from the foundation models and the open-source projects through to the way that is deployed into systems, APIs and apps, to the platforms where we consume media and communicate.
Cela m'amène à la dernière étape. Rien de tout cela ne fonctionne sans une chaîne de responsabilités depuis les modèles de base et les projets open source, en passant par le déploiement dans les systèmes, les API et les applications, jusqu'aux plateformes où nous consommons des médias et communiquons.
I've spent much of the last 15 years fighting, essentially, a rearguard action, like so many of my colleagues in the human rights world, against the failures of social media. We can't make those mistakes again in this next generation of technology. What this means is that governments need to ensure that within this pipeline of responsibility for AI, there is transparency, accountability and liability.
J'ai passé les 15 dernières années à me battre, un combat d'arrière-garde, comme beaucoup de mes collègues du monde des droits humains, contre les manquements des réseaux sociaux. Nous ne pouvons pas refaire ces erreurs dans cette nouvelle génération de technologies. Cela signifie que les gouvernements doivent garantir, dans la chaîne de responsabilité de l'IA, la transparence, la reddition de comptes et la prise de responsabilité.
Without these three steps -- detection for the people who need it most, provenance that is rights-respecting and that pipeline of responsibility, we're going to get stuck looking in vain for the six-fingered hand, or the eyes that don't blink. We need to take these steps. Otherwise, we risk a world where it gets easier and easier to both fake reality and dismiss reality as potentially faked.
Sans ces trois étapes, à savoir la détection pour ceux qui en ont le plus besoin, la mention d'origine respectueuse des droits et la responsabilité, nous allons nous retrouver à chercher en vain la main à six doigts ou les yeux qui ne clignent pas. Nous devons prendre ces mesures. Autrement, nous risquons de créer un monde où il est de plus en plus aisé de simuler la réalité et de rejeter la réalité comme éventuellement falsifiée.
And that is a world that the political philosopher Hannah Arendt described in these terms: "A people that no longer can believe anything cannot make up its own mind. It is deprived not only of its capacity to act but also of its capacity to think and to judge. And with such a people you can then do what you please." That's a world I know none of us want, that I think we can prevent.
Et c'est un monde que la philosophe politique Hannah Arendt a décrit en ces termes : « Un peuple qui n'arrive plus à croire à rien ne peut pas se forger sa propre opinion. Il est privé non seulement de sa capacité d'agir mais aussi de sa capacité de penser et de juger. Et avec de telles personnes, on peut faire ce que l'on veut. » C'est un monde que personne ne souhaite, et que, je pense, nous pouvons empêcher.
Thanks.
Merci.
(Cheers and applause)
(Applaudissements) (Acclamations)