It's getting harder, isn't it, to spot real from fake, AI-generated from human-generated. With generative AI, along with other advances in deep fakery, it doesn't take many seconds of your voice, many images of your face, to fake you, and the realism keeps increasing.
Cada vez es más difícil diferenciar lo real de lo falso, lo generado por IA o por humanos. Con la IA generativa, junto con otros avances en deepfake, no se necesitan muchos segundos de voz ni muchas imágenes de su rostro para falsearlo, y el realismo no deja de aumentar.
I first started working on deepfakes in 2017, when the threat to our trust in information was overhyped, and the big harm, in reality, was falsified sexual images. Now that problem keeps growing, harming women and girls worldwide. But also, with advances in generative AI, we're now also approaching a world where it's broadly easier to make fake reality, but also to dismiss reality as possibly faked.
Empecé a trabajar en deepfakes en 2017, cuando se exagera la amenaza a nuestra confianza en la información y el gran daño eran las imágenes sexuales falsificadas. Ese problema sigue creciendo, perjudicando a mujeres y niñas del mundo. Pero con los avances de la IA generativa, ahora nos acercamos a un mundo en el que es más fácil falsificar la realidad, pero también descartar la realidad por ser una posible falsificación.
Now, deceptive and malicious audiovisual AI is not the root of our societal problems, but it's likely to contribute to them. Audio clones are proliferating in a range of electoral contexts. "Is it, isn't it" claims cloud human-rights evidence from war zones, sexual deepfakes target women in public and in private, and synthetic avatars impersonate news anchors.
Ahora bien, la IA audiovisual engañosa y malintencionada no es la raíz de nuestros problemas sociales, pero es probable que contribuya a ellos. Los clones de audio están proliferando en diversos contextos electorales. Las afirmaciones «son o no son» enturbian los derechos humanos en zonas de guerra, los deepfakes sexuales tienen por objetivo las mujeres en público y en privado, y los avatares sintéticos se hacen pasar por presentadores de noticias.
I lead WITNESS. We're a human-rights group that helps people use video and technology to protect and defend their rights. And for the last five years, we've coordinated a global effort, "Prepare, Don't Panic," around these new ways to manipulate and synthesize reality, and on how to fortify the truth of critical frontline journalists and human-rights defenders.
Dirijo WITNESS. Somos un grupo de derechos humanos que ayuda a usar vídeos y tecnología para proteger y defender sus derechos. «Prepárate, no te asustes», es la iniciativa mundial que coordinamos en estos 5 años sobre estas formas de manipular y sintetizar la realidad de los periodistas de primera línea y defensores de derechos humanos.
Now, one element in that is a deepfakes rapid-response task force, made up of media-forensics experts and companies who donate their time and skills to debunk deepfakes and claims of deepfakes. The task force recently received three audio clips, from Sudan, West Africa and India. People were claiming that the clips were deepfaked, not real. In the Sudan case, experts used a machine-learning algorithm trained on over a million examples of synthetic speech to prove, almost without a shadow of a doubt, that it was authentic. In the West Africa case, they couldn't reach a definitive conclusion because of the challenges of analyzing audio from Twitter, and with background noise.
Ahora, uno de los elementos es respuesta rápida sobre deepfakes, compuesto por expertos en medios forenses y compañías que donan su tiempo y habilidades para desacreditar los deepfakes y las afirmaciones sobre estos. El grupo de trabajo recibió recientemente tres clips de audio desde Sudán, el oeste de África e India. La gente afirmaba que los clips eran falsos, no reales. En el caso de Sudán, expertos usaron un algoritmo basado en más de un millón de ejemplos de lenguaje sintético para demostrar, casi sin lugar a dudas, que era auténtico. En el caso del oeste de África, no pudieron llegar a una conclusión definitiva debido a las dificultades que suponía analizar con ruido de fondo.
The third clip was leaked audio of a politician from India. Nilesh Christopher of “Rest of World” brought the case to the task force. The experts used almost an hour of samples to develop a personalized model of the politician's authentic voice. Despite his loud and fast claims that it was all falsified with AI, experts concluded that it at least was partially real, not AI. As you can see, even experts cannot rapidly and conclusively separate true from false, and the ease of calling "that's deepfaked" on something real is increasing.
El tercer clip fue un audio filtrado de un político de la India. Nilesh Christopher, de «Rest of World», presentó el caso al grupo de trabajo. Expertos usaron casi una hora de muestras para desarrollar un modelo personalizado de la voz auténtica del político. Pese de sus fuertes y rápidas demandas de que todo había sido falsificado con IA, los expertos concluyeron que, al menos, era parcialmente real, no IA. Como puede ver, aún los expertos no separan rápida y concluyentemente lo verdadero de lo falso, y cada vez es más fácil llamar «falso» a algo real. va en aumento.
The future is full of profound challenges, both in protecting the real and detecting the fake. We're already seeing the warning signs of this challenge of discerning fact from fiction. Audio and video deepfakes have targeted politicians, major political leaders in the EU, Turkey and Mexico, and US mayoral candidates. Political ads are incorporating footage of events that never happened, and people are sharing AI-generated imagery from crisis zones, claiming it to be real.
El futuro está lleno de retos profundos, tanto para proteger lo real como para detectar lo falso. Estamos viendo los signos del desafío de discernir la realidad de la ficción Los deepfakes de audio y vídeo han sido dirigidos a líderes políticos de la UE, Turquía y México y candidatos a alcaldes de EE. UU. Los anuncios políticos usan imágenes de eventos que no han ocurrido; y la gente comparte imágenes generadas por la IA desde zonas en crisis, afirmando que son reales.
Now, again, this problem is not entirely new. The human-rights defenders and journalists I work with are used to having their stories dismissed, and they're used to widespread, deceptive, shallow fakes, videos and images taken from one context or time or place and claimed as if they're in another, used to share confusion and spread disinformation. And of course, we live in a world that is full of partisanship and plentiful confirmation bias.
Ahora, una vez más, este problema no es del todo nuevo. Los defensores de derechos humanos y los periodistas se acostumbraron a difundir ampliamente falsificaciones superficiales y falsas, vídeos e imágenes sacados de contexto, momento o lugar y asegurando que están en otro, para compartir confusión y difundir desinformación. Además, vivimos en un mundo lleno de parcialidad .y abundantes sesgos de confirmación
Given all that, the last thing we need is a diminishing baseline of the shared, trustworthy information upon which democracies thrive, where the specter of AI is used to plausibly believe things you want to believe, and plausibly deny things you want to ignore.
En vista de todo esto, lo que menos necesitamos es una base cada vez menor, de información creíble compartida sobre la que prosperen las democracias, donde se usa el espectro de IA para creer en cosas que se quieren cree y negar, así mismo, lo que se quiere ignorar.
But I think there's a way we can prevent that future, if we act now; that if we "Prepare, Don't Panic," we'll kind of make our way through this somehow. Panic won't serve us well. [It] plays into the hands of governments and corporations who will abuse our fears, and into the hands of people who want a fog of confusion and will use AI as an excuse.
Pero creo que hay una manera de prevenir ese futuro, si actuamos ahora; o sea, "Prepárate, no te asustes", de alguna manera nos las arreglaremos para salir adelante. El pánico no nos servirá de nada. Le hace el favor a los gobiernos y las empresas, que abusarán de nuestros miedos, y a las personas que quieren crear confusión y usarán la IA como excusa.
How many people were taken in, just for a minute, by the Pope in his dripped-out puffer jacket? You can admit it.
¿Cuántas personas fueron engañadas por el Papa, con su chaqueta acolchada que goteaba? Puede admitirlo.
(Laughter)
(Risas)
More seriously, how many of you know someone who's been scammed by an audio that sounds like their kid? And for those of you who are thinking "I wasn't taken in, I know how to spot a deepfake," any tip you know now is already outdated. Deepfakes didn't blink, they do now. Six-fingered hands were more common in deepfake land than real life -- not so much. Technical advances erase those visible and audible clues that we so desperately want to hang on to as proof we can discern real from fake.
En serio, ¿cuántos de ustedes conocen a alguien que ha sido estafado por un audio que suena como su hijo? Y para los que están pensando: «No me engañaron, sé cómo detectar un deepfake», cualquier consejo que conozcan ya es viejo Los Deepfakes no parpadeaban, ahora sí. En tierra de deepfakes son más comunes manos de seis dedos, aunque no tanto. Los avances técnicos borran esas pistas visibles y audibles, a lo que con desespero queremos aferrarnos mostrando que distinguimos real y falso.
But it also really shouldn’t be on us to make that guess without any help. Between real deepfakes and claimed deepfakes, we need big-picture, structural solutions. We need robust foundations that enable us to discern authentic from simulated, tools to fortify the credibility of critical voices and images, and powerful detection technology that doesn't raise more doubts than it fixes.
Pero no debe ser nuestra responsabilidad hacer esa conjetura sin ayuda alguna. Entre los deepfakes reales y los pretendidos, se necesita soluciones estructurales con un panorama general. Necesitamos bases sólidas que nos permitan distinguir lo auténtico de lo simulado y herramientas que refuercen la credibilidad de las voces e imágenes críticas y una tecnología de detección potente que no suscite más dudas de las que solucione.
There are three steps we need to take to get to that future. Step one is to ensure that the detection skills and tools are in the hands of the people who need them. I've talked to hundreds of journalists, community leaders and human-rights defenders, and they're in the same boat as you and me and us. They're listening to the audio, trying to think, "Can I spot a glitch?" Looking at the image, saying, "Oh, does that look right or not?" Or maybe they're going online to find a detector. And the detector they find, they don't know whether they're getting a false positive, a false negative, or a reliable result.
Hay tres pasos que debemos tomar para llegar a ese futuro. El primer paso es garantizar que los mecanismos y herramientas de detección estén en manos de quien los necesita.1 He hablado con cientos de periodistas, líderes comunitarios y defensores de derechos humanos que están en las mismas que tú, yo y nosotros. Al escuchar el audio pensarán: «¿Puedo hallar una falla técnica?» Mirando la imagen, diciendo: «Oh, ¿se ve bien o no?» O tal vez estén buscando un detector en Internet. Y el que encuentran, no saben si están obteniendo un falso positivo, falso negativo o un resultado fiable.
Here's an example. I used a detector, which got the Pope in the puffer jacket right. But then, when I put in the Easter bunny image that I made for my kids, it said that it was human-generated. This is because of some big challenges in deepfake detection. Detection tools often only work on one single way to make a deepfake, so you need multiple tools, and they don't work well on low-quality social media content. Confidence score, 0.76-0.87, how do you know whether that's reliable, if you don't know if the underlying technology is reliable, or whether it works on the manipulation that is being used? And tools to spot an AI manipulation don't spot a manual edit.
He aquí un ejemplo. Usé un detector, se hizo que el Papa llevara la chaqueta acolchada. Luego, puse la imagen del conejo de Pascua que hice para mis hijos, decía que era generada por humanos. Esto se debe a desafíos importantes en la detección de deepfake. Las herramientas solo funcionan en una dirección para crear deepfakes, así que se necesitan varias y no funcionan bien con contenido de redes sociales de baja calidad. Nivel de confianza, 0,76-0,87, ¿cómo sabe si es fiable, si no sabe si la tecnología subyacente es fiable o si funciona en la manipulación que se está utilizando? Las herramientas que detectan manipulación de IA no detectan una edición manual.
These tools also won't be available to everyone. There's a trade-off between security and access, which means if we make them available to anyone, they become useless to everybody, because the people designing the new deception techniques will test them on the publicly available detectors and evade them. But we do need to make sure these are available to the journalists, the community leaders, the election officials, globally, who are our first line of defense, thought through with attention to real-world accessibility and use. Though at the best circumstances, detection tools will be 85 to 95 percent effective, they have to be in the hands of that first line of defense, and they're not, right now.
Estas herramientas no serán disponibles para todo el mundo. Hay un equilibrio entre seguridad y acceso, si los ponemos a disposición de cualquier persona, serán inútiles para todos, porque quienes diseñen las nuevas técnicas de engaño las pondrán a prueba en los detectores disponibles al público y las evadirán. Sin embargo, debemos asegurarnos de que estén disponibles para periodistas, líderes comunitarios, funcionarios electorales del mundo, que son nuestra primera línea de defensa, pensada con atención en su accesibilidad y uso en el mundo real. Si bien, en el mejor de los casos, las herramientas serán eficaces del 85 al 95 %, tienen que estar en manos de la primera línea de defensa, y no lo están ahora.
So for step one, I've been talking about detection after the fact. Step two -- AI is going to be everywhere in our communication, creating, changing, editing. It's not going to be a simple binary of "yes, it's AI" or "phew, it's not." AI is part of all of our communication, so we need to better understand the recipe of what we're consuming.
Para el primer paso, he hablado de la detección después de los hechos. Paso dos: la IA estará presente en todas partes en nuestra comunicación, creando, cambiando, editando. No será una simple combinación binaria de «sí, es IA» o «siquiera, no es». la comunicación tiene como parte la IA, por lo que necesitamos entender mejor la receta de lo que consumimos.
Some people call this content provenance and disclosure. Technologists have been building ways to add invisible watermarking to AI-generated media. They've also been designing ways -- and I've been part of these efforts -- within a standard called the C2PA, to add cryptographically signed metadata to files. This means data that provides details about the content, cryptographically signed in a way that reinforces our trust in that information. It's an updating record of how AI was used to create or edit it, where humans and other technologies were involved, and how it was distributed. It's basically a recipe and serving instructions for the mix of AI and human that's in what you're seeing and hearing. And it's a critical part of a new AI-infused media literacy.
Algunas personas llaman a este contenido procedencia y divulgación. Los tecnólogos han creado formas de añadir marcas de agua a los medios con IA. También han estado diseñando formas, y yo he sido parte de estos esfuerzos, que con de estándar C2PA, añade criptogramas con metadatos. Esto significa datos que proporcionan detalles sobre el contenido, firmados criptográficamente para reforzar nuestra confianza en esa información. Es un registro actualizado de cómo se usó la IA para crearlo o editarlo, dónde participaron los humanos y otras tecnologías y cómo se distribuyó. Básicamente, se trata de una receta con instrucciones para la mezcla de inteligencia artificial y el humano que hay en lo que ves y oyes. Y es una parte fundamental de una nueva alfabetización mediática basada en la IA.
And this actually shouldn't sound that crazy. Our communication is moving in this direction already. If you're like me -- you can admit it -- you browse your TikTok “For You” page, and you're used to seeing videos that have an audio source, an AI filter, a green screen, a background, a stitch with another edit. This, in some sense, is the alpha version of this transparency in some of the major platforms we use today. It's just that it does not yet travel across the internet, it’s not reliable, updatable, and it’s not secure.
Y esto, no debería sonar tan descabellado. La comunicación avanza en esta dirección. Si es como yo, puede admitirlo, navega por la página «Para ti» de TikTok y está acostumbrado a ver vídeos con una fuente de audio, un filtro de IA, una pantalla verde, un fondo, una puntada con otra edición. En cierto sentido, esta es la versión alfa de esta transparencia en una de las plataformas que se usan. Es solo que todavía no viaja por Internet, no es confiable, actualizable y no es segura
Now, there are also big challenges in this type of infrastructure for authenticity. As we create these durable signs of how AI and human were mixed, that carry across the trajectory of how media is made, we need to ensure they don't compromise privacy or backfire globally. We have to get this right.
Además, se presenta grandes desafíos en cuanto a la autenticidad. Mientras creamos estas señales duraderas de la mezcla entre la IA y los humanos, que sigan la trayectoria de la creación de los medios y asegurarnos que no comprometan la privacidad ni hagan daño a nivel mundial. Tenemos que hacerlo bien.
We can't oblige a citizen journalist filming in a repressive context or a satirical maker using novel gen-AI tools to parody the powerful ... to have to disclose their identity or personally identifiable information in order to use their camera or ChatGPT. Because it's important they be able to retain their ability to have anonymity, at the same time as the tool to create is transparent. This needs to be about the how of AI-human media making, not the who.
No podemos obligar a un periodista que filma en un contexto represivo o a un creador satírico que usa las nuevas herramientas hechas con IA y parodia los poderosos... para revelar su identidad o información personal y así usar su cámara o ChatGPT. Porque es importante que puedan conservar su anonimato y, al mismo tiempo, que la herramienta de creación sea transparente. Esto tiene que ver con el cómo se crean los medios entre la IA y los humanos, no con el quién.
This brings me to the final step. None of this works without a pipeline of responsibility that runs from the foundation models and the open-source projects through to the way that is deployed into systems, APIs and apps, to the platforms where we consume media and communicate.
Esto me lleva al último paso. Nada de esto funciona sin una cartera de responsabilidades que va desde los modelos básicos y los proyectos de código abierto hasta la forma en que se implementan en sistemas, API y aplicaciones, hasta las plataformas en las que consumimos medios y nos comunicamos.
I've spent much of the last 15 years fighting, essentially, a rearguard action, like so many of my colleagues in the human rights world, against the failures of social media. We can't make those mistakes again in this next generation of technology. What this means is that governments need to ensure that within this pipeline of responsibility for AI, there is transparency, accountability and liability.
He pasado de los últimos 15 años luchando, como acción de retaguardia, como muchos de mis colegas del mundo de los derechos humanos, contra los fracasos de las redes sociales. No podemos volver a cometer esos errores en la próxima generación de tecnología. Lo que esto significa que los gobiernos deben garantizar que dentro de la responsabilidad para la IA, haya transparencia, rendición de cuentas y responsabilidad.
Without these three steps -- detection for the people who need it most, provenance that is rights-respecting and that pipeline of responsibility, we're going to get stuck looking in vain for the six-fingered hand, or the eyes that don't blink. We need to take these steps. Otherwise, we risk a world where it gets easier and easier to both fake reality and dismiss reality as potentially faked.
Sin estos tres pasos: detectar las personas que lo necesitan, procedencia que respete los derechos y canalizar la responsabilidad, nos vamos a quedar atrapados buscando en vano la mano de seis dedos o los ojos que no parpadean. Tenemos que tomar estas medidas. Podemos correr el riesgo de un mundo en el que sea más fácil fingir la realidad y descartarla por ser posiblemente falsa.
And that is a world that the political philosopher Hannah Arendt described in these terms: "A people that no longer can believe anything cannot make up its own mind. It is deprived not only of its capacity to act but also of its capacity to think and to judge. And with such a people you can then do what you please." That's a world I know none of us want, that I think we can prevent.
Y ese es un mundo que la filósofa política Hannah Arendt describió en estos términos: «Un pueblo que ya no puede creer en nada no puede tomar una decisión propia. Está privado no solo de su capacidad de actuar sino también de su capacidad de pensar y juzgar. Y con una gente así, puedes hacer lo que quieras». Sé que ese es un mundo que no queremos y creo que podemos evitarlo.
Thanks.
Gracias.
(Cheers and applause)
(Vítores y aplausos)