It's getting harder, isn't it, to spot real from fake, AI-generated from human-generated. With generative AI, along with other advances in deep fakery, it doesn't take many seconds of your voice, many images of your face, to fake you, and the realism keeps increasing.
Становится труднее, не правда ли, отличать настоящее от подделки, созданное искусственным интеллектом от созданного человеком. С помощью генерирующего ИИ и успеха в создании дипфейков, скрытых подделок, требуется всего несколько секунд вашего голоса и несколько изображений лица, чтобы создать вашу подделку, и реалистичность результата продолжает расти.
I first started working on deepfakes in 2017, when the threat to our trust in information was overhyped, and the big harm, in reality, was falsified sexual images. Now that problem keeps growing, harming women and girls worldwide. But also, with advances in generative AI, we're now also approaching a world where it's broadly easier to make fake reality, but also to dismiss reality as possibly faked.
Впервые я начал работать над такими подделками в 2017 году, когда угроза нашему доверию к информации была преувеличена, а большим вредом на самом деле были поддельные сексуальные изображения. Эта проблема продолжает расти, нанося вред женщинам и девушкам во всём мире. Но вместе с прогрессом в области генерирующего ИИ мы вступаем в мир, в котором гораздо проще создавать фальшивую реальность, а также отвергать реальность как возможно подделанную.
Now, deceptive and malicious audiovisual AI is not the root of our societal problems, but it's likely to contribute to them. Audio clones are proliferating in a range of electoral contexts. "Is it, isn't it" claims cloud human-rights evidence from war zones, sexual deepfakes target women in public and in private, and synthetic avatars impersonate news anchors.
Сегодня обманчивый и злонамеренный аудиовизуальный ИИ не является причиной наших социальных проблем, но, очень вероятно, их усугубляет. В различных избирательных контекстах растёт число аудиоклонов. Реальные правонарушения затемняются данными «так это или нет» из военных зон. Сексуальные дипфейки преследуют женщин в обществе и дома. А синтетические аватары выдают себя за ведущих новостей.
I lead WITNESS. We're a human-rights group that helps people use video and technology to protect and defend their rights. And for the last five years, we've coordinated a global effort, "Prepare, Don't Panic," around these new ways to manipulate and synthesize reality, and on how to fortify the truth of critical frontline journalists and human-rights defenders.
Я возглавляю WITNESS. Это правозащитная группа, помогающая людям использовать видео и технологии для защиты своих прав. Последние пять лет мы координировали международный проект «Готовься, не паникуй», по вопросам этих новых способов манипулирования и синтеза реальности и методов поддержки истинных данных ведущих передовых журналистов и защитников прав человека.
Now, one element in that is a deepfakes rapid-response task force, made up of media-forensics experts and companies who donate their time and skills to debunk deepfakes and claims of deepfakes. The task force recently received three audio clips, from Sudan, West Africa and India. People were claiming that the clips were deepfaked, not real. In the Sudan case, experts used a machine-learning algorithm trained on over a million examples of synthetic speech to prove, almost without a shadow of a doubt, that it was authentic. In the West Africa case, they couldn't reach a definitive conclusion because of the challenges of analyzing audio from Twitter, and with background noise.
Одним из элементов является группа быстрого реагирования на дипфейки, состоящая из медиа-судебных зкспертов и компаний, посвящающих своё время и навыки разоблачению дипфейков и заявлений о дипфейках. Недавно эта группа получила три аудиоклипа из Судана, Западной Африки и Индии. Люди утверждали, что эти клипы были фальшивые, не настоящие. В случае с Суданом эксперты использовали алгоритм машинного обучения, обработавший более миллиона примеров синтетической речи, чтобы доказать, почти без тени сомнения, что она была подлинной. В случае с Западной Африкой к однозначому заключению им прийти не удалось из-за проблем с анализом аудиозаписей из Твиттера и с фоновым шумом.
The third clip was leaked audio of a politician from India. Nilesh Christopher of “Rest of World” brought the case to the task force. The experts used almost an hour of samples to develop a personalized model of the politician's authentic voice. Despite his loud and fast claims that it was all falsified with AI, experts concluded that it at least was partially real, not AI. As you can see, even experts cannot rapidly and conclusively separate true from false, and the ease of calling "that's deepfaked" on something real is increasing.
Третьим клипом была просочившаяся в прессу аудиозапись политика из Индии. Нилеш Кристофер из «Остального мира» передал клип на рассмотрение нашей группе. Эксперты использовали почти час аудио выборок для разработки персонализированной модели подлинного голоса политика. Несмотря на его громкие заявления, что всё аудио было подделкой с ИИ, эксперты заключили, что оно реальное, по крайней мере частично, а не ИИ. Как видите, даже эксперты не могут быстро и однозначно отделить правду от лжи, и лёгкость, с которой мы называем что-то реальное фальшивым, возрастает.
The future is full of profound challenges, both in protecting the real and detecting the fake. We're already seeing the warning signs of this challenge of discerning fact from fiction. Audio and video deepfakes have targeted politicians, major political leaders in the EU, Turkey and Mexico, and US mayoral candidates. Political ads are incorporating footage of events that never happened, and people are sharing AI-generated imagery from crisis zones, claiming it to be real.
Будущее полно серьёзных проблем, связанных как с защитой правды, так и с выявлением подделок. Мы уже видим тревожные сигналы этой проблемы как же различать правду от вымысла. Дипфейки аудио- и видеозаписей преследуют политиков, крупных политических лидеров ЕС, Турции и Мексики, а также кандидатов в мэры США. В политическую рекламу вставляют кадры событий, которых никогда и не было, и люди делятся созданными ИИ снимками из кризисных зон, считая их реальными.
Now, again, this problem is not entirely new. The human-rights defenders and journalists I work with are used to having their stories dismissed, and they're used to widespread, deceptive, shallow fakes, videos and images taken from one context or time or place and claimed as if they're in another, used to share confusion and spread disinformation. And of course, we live in a world that is full of partisanship and plentiful confirmation bias.
Конечно, эта проблема не нова. Правозащитники и журналисты, с которыми я работаю, привыкли к тому, что их статьи отвергают, привыкли к повсеместным, пустым фальшивкам, вводящим в заблуждение, к видео и фото, снятым в одном контексте, моменте или месте, а представленные, как будто они сделаны в другом, чтобы распространять путаницу и дезинформацию. И, конечно же, мы живём в мире, где царят всякие приверженности и изобилует предвзятое предубеждение.
Given all that, the last thing we need is a diminishing baseline of the shared, trustworthy information upon which democracies thrive, where the specter of AI is used to plausibly believe things you want to believe, and plausibly deny things you want to ignore.
Учитывая всё это, последним, что нам нужно, будет снижать уровень достоверности передаваемой информации, на основе которой процветает демократия, где ассортимент ИИ используется для правдоподобия, чтобы верить в то, во что хочется верить, и отрицать то, что хочется игнорировать.
But I think there's a way we can prevent that future, if we act now; that if we "Prepare, Don't Panic," we'll kind of make our way through this somehow. Panic won't serve us well. [It] plays into the hands of governments and corporations who will abuse our fears, and into the hands of people who want a fog of confusion and will use AI as an excuse.
Но я думаю, что есть способ предотвратить такое будущее, если действовать сейчас. Если мы будем «готовиться, не паниковать», то каким-либо образом сможем преодолеть эту проблему. Паника не пойдёт нам на пользу. Она на руку только правительствам и корпорациям, злоупотребляющим нашими страхами, а также людям, желающим затуманить факты путаницей и использующим ИИ как оправдание.
How many people were taken in, just for a minute, by the Pope in his dripped-out puffer jacket? You can admit it.
Сколько людей были обмануты, пусть и на мгновение, фото Папы Римского в пуховике с капюшоном? Признавайтесь.
(Laughter)
(Смех)
More seriously, how many of you know someone who's been scammed by an audio that sounds like their kid? And for those of you who are thinking "I wasn't taken in, I know how to spot a deepfake," any tip you know now is already outdated. Deepfakes didn't blink, they do now. Six-fingered hands were more common in deepfake land than real life -- not so much. Technical advances erase those visible and audible clues that we so desperately want to hang on to as proof we can discern real from fake.
Или более серьёзно, сколько из вас знают людей, обманутых аудио с голосом, похожим на голос их ребёнка? А для тех из вас, кто думает: «Меня не обманули, я знаю, как распознать дипфейк», любой хак, который вы знаете, сейчас уже устарел. Дипфейки не моргали раньше, а теперь моргают. Руки с шестью пальцами встречались чаще в мире дипфейков, чем реально, сегодня это уже не так. Технические достижения стирают все эти видимые и слышимые улики, за которые мы так отчаянно цепляемся, в доказательство того, что можем отличить реальное от подделки.
But it also really shouldn’t be on us to make that guess without any help. Between real deepfakes and claimed deepfakes, we need big-picture, structural solutions. We need robust foundations that enable us to discern authentic from simulated, tools to fortify the credibility of critical voices and images, and powerful detection technology that doesn't raise more doubts than it fixes.
Но ведь реально мы и не должны строить эти догадки без всякой помощи. В мире реальных дипфейков и заявленных дипфейков нам нужны масштабные структурные решения. Нам нужны надёжные основы, которые позволят нам отличать подлинное от смоделированного, инструменты, укрепляющие достоверность критических голосов и изображений, и мощная технология обнаружения, которая не вызывает больше сомнений, чем она устраняет.
There are three steps we need to take to get to that future. Step one is to ensure that the detection skills and tools are in the hands of the people who need them. I've talked to hundreds of journalists, community leaders and human-rights defenders, and they're in the same boat as you and me and us. They're listening to the audio, trying to think, "Can I spot a glitch?" Looking at the image, saying, "Oh, does that look right or not?" Or maybe they're going online to find a detector. And the detector they find, they don't know whether they're getting a false positive, a false negative, or a reliable result.
Для достижения этого будущего нам нужно сделать три шага. Первый шаг: обеспечить, чтобы навыки и инструменты обнаружения находились в руках тех, кто в них нуждается. Я говорил с сотнями журналистов, общественных деятелей и правозащитников, и они в той же лодке, что и вы, я, все мы. Они слушают аудиозапись и думают: «Могу ли я заметить глюк?» Глядят на фото и спрашивают: «Выглядит ли это реальным или нет?» Или, например, ищут детектор в интернете. А с детектором, который нашли, они не знают, получат ли они ложно-позитивный, ложно-негативный или надёжный результат.
Here's an example. I used a detector, which got the Pope in the puffer jacket right. But then, when I put in the Easter bunny image that I made for my kids, it said that it was human-generated. This is because of some big challenges in deepfake detection. Detection tools often only work on one single way to make a deepfake, so you need multiple tools, and they don't work well on low-quality social media content. Confidence score, 0.76-0.87, how do you know whether that's reliable, if you don't know if the underlying technology is reliable, or whether it works on the manipulation that is being used? And tools to spot an AI manipulation don't spot a manual edit.
Вот пример. Детектор, определивший фото с Папой Римским в пуховике как подделку, проверил изображение пасхального кролика, которое я сделал для детей, и определил его, как созданное человеком. Это связано с некоторыми серьёзными проблемами при обнаружении дипфейков. Детекторы часто работают только с одним способом создания дипфейка, поэтому нужны разные детекторы, а они плохо работают с контентом социальных сетей низкого качества, оценка достоверности от 0,76 до 0,87. Как определить, надёжен ли результат, если нам неизвестно, надёжна ли сама технология, или же она работает на основе используемой манипуляции? А инструменты выявления ИИ манипуляций не выявляют ручное редактирование.
These tools also won't be available to everyone. There's a trade-off between security and access, which means if we make them available to anyone, they become useless to everybody, because the people designing the new deception techniques will test them on the publicly available detectors and evade them. But we do need to make sure these are available to the journalists, the community leaders, the election officials, globally, who are our first line of defense, thought through with attention to real-world accessibility and use. Though at the best circumstances, detection tools will be 85 to 95 percent effective, they have to be in the hands of that first line of defense, and they're not, right now.
Они также не доступны всем. Существует компромисс между безопасностью и доступностью, и он в том, что, если сделать их доступными для всех, они станут бесполезными, потому что разработчики новых методов фальсификации будут тестировать их на общедоступных детекторах и смогут их скрывать. Но точно необходимо обеспечить к ним доступ журналистам, общественным деятелям, избирательным комиссиям во всём мире, нашей этакой первой линией защиты, продуманной с точки зрения доступности и использования в реальных условиях. Пусть даже при лучших условиях эффективность средств обнаружения составит от 85 до 95 процентов, они должны быть в руках людей из этой первой линии защиты, что сейчас не так.
So for step one, I've been talking about detection after the fact. Step two -- AI is going to be everywhere in our communication, creating, changing, editing. It's not going to be a simple binary of "yes, it's AI" or "phew, it's not." AI is part of all of our communication, so we need to better understand the recipe of what we're consuming.
В первом шаге я говорил об обнаружении фейка постфактум. Шаг второй: ИИ хотят применять во всех видах коммуникации, создании, изменении, редактировании. Это не будет просто двоичное «да, это ИИ» или «нет, не ИИ». Искусственный интеллект уже неотъемлемая часть нашего общения, поэтому нам нужно лучше понимать рецептуру того, что мы потребляем.
Some people call this content provenance and disclosure. Technologists have been building ways to add invisible watermarking to AI-generated media. They've also been designing ways -- and I've been part of these efforts -- within a standard called the C2PA, to add cryptographically signed metadata to files. This means data that provides details about the content, cryptographically signed in a way that reinforces our trust in that information. It's an updating record of how AI was used to create or edit it, where humans and other technologies were involved, and how it was distributed. It's basically a recipe and serving instructions for the mix of AI and human that's in what you're seeing and hearing. And it's a critical part of a new AI-infused media literacy.
Некоторые называют это источником и раскрытием контента. Технологи разрабатывают способы добавления невидимых водяных знаков к медиа файлам, созданным ИИ. Они также разрабатывают методы, и в этом я лично участвовал, в рамках стандарта C2PA добавления криптографически подписанных метаданных в файлы. То есть, данных, содержащих подробную информацию о контенте, подписанных криптографически так, что это укрепляет наше доверие к данной информации. Это обновляемая запись того, как ИИ применялся при создании и редактировании, где были задействованы люди и другие технологии и в какой мере. По сути, это рецепт и инструкция для смеси участия ИИ и человека в том, что мы видим и слышим. И это важнейшая часть новой, пропитанной ИИ медиаграмотности.
And this actually shouldn't sound that crazy. Our communication is moving in this direction already. If you're like me -- you can admit it -- you browse your TikTok “For You” page, and you're used to seeing videos that have an audio source, an AI filter, a green screen, a background, a stitch with another edit. This, in some sense, is the alpha version of this transparency in some of the major platforms we use today. It's just that it does not yet travel across the internet, it’s not reliable, updatable, and it’s not secure.
На самом деле это не так уж и безумно. Коммуникации уже движутся в этом направлении. Если вы вроде меня, можете признаться, то, просматривая страницу Тик-Тока «Для вас», вы уже привыкли видеть, что у видео указан источник звука, есть фильтр ИИ, зелёный экран, фон, соединение с другой правкой. В каком-то смысле это альфа-версия такой вот прозрачности некоторых основных платформ, которыми мы пользуемся. Просто она не распространена пока по всему интернету. Она ненадёжна, не обновляется и не защищена.
Now, there are also big challenges in this type of infrastructure for authenticity. As we create these durable signs of how AI and human were mixed, that carry across the trajectory of how media is made, we need to ensure they don't compromise privacy or backfire globally. We have to get this right.
Существуют также серьёзные проблемы с аутентичностью в инфраструктуре этого типа. Создавая эти прочные знаки того, как смешаны действия ИИ и человека, влияющие на траекторию развития медиа, мы должны убедиться, что они не угрожают конфиденциальности и не «выходят боком» на мировом уровне. Мы должны всё сделать правильно.
We can't oblige a citizen journalist filming in a repressive context or a satirical maker using novel gen-AI tools to parody the powerful ... to have to disclose their identity or personally identifiable information in order to use their camera or ChatGPT. Because it's important they be able to retain their ability to have anonymity, at the same time as the tool to create is transparent. This needs to be about the how of AI-human media making, not the who.
Нельзя обязать гражданского журналиста, снимающего видео в напряжённой обстановке, или создателя-сатирика, использующего новые ИИ инструменты для пародии на влиятельных людей, раскрывать свою личность или давать личную информацию, когда они пользуются камерой или чатом GPT. Потому что важно, чтобы они могли сохранять анонимность, в то время как сам инструмент оставался бы прозрачным. Фокус должен быть на том, как ИИ и люди создают медиа, а не на том, кто это делает.
This brings me to the final step. None of this works without a pipeline of responsibility that runs from the foundation models and the open-source projects through to the way that is deployed into systems, APIs and apps, to the platforms where we consume media and communicate.
Это подводит меня к финальному шагу. Всё это невозможно без распределения ответственности, которая простирается от базовых моделей и проектов с открытым исходным кодом до способов их внедрения в системы, API и приложения, а также платформы, на которых мы используем мультимедийные материалы и общаемся.
I've spent much of the last 15 years fighting, essentially, a rearguard action, like so many of my colleagues in the human rights world, against the failures of social media. We can't make those mistakes again in this next generation of technology. What this means is that governments need to ensure that within this pipeline of responsibility for AI, there is transparency, accountability and liability.
Большую часть последних 15 лет я провёл, по сути, в арьергардных боях, как и многие мои коллеги из мира прав человека, против недочётов социальных сетей. Мы не можем повторять те же ошибки снова в технологиях нового поколения. Это означает, что правительства в рамках этой системы ответственности за искусственный интеллект должны обеспечить прозрачность, подотчётность и ответ перед законом.
Without these three steps -- detection for the people who need it most, provenance that is rights-respecting and that pipeline of responsibility, we're going to get stuck looking in vain for the six-fingered hand, or the eyes that don't blink. We need to take these steps. Otherwise, we risk a world where it gets easier and easier to both fake reality and dismiss reality as potentially faked.
Без этих трёх шагов: выявления тех, кто больше всего нуждается в ИИ, источника с защитой прав и распределения ответственности, мы будем тщетно искать шестипалые руки или неморгающие глаза. Мы должны предпринять эти шаги. В противном случае мы рискуем жить в мире, где будет всё легче и легче и искажать реальность, и отвергать её как возможную подделку.
And that is a world that the political philosopher Hannah Arendt described in these terms: "A people that no longer can believe anything cannot make up its own mind. It is deprived not only of its capacity to act but also of its capacity to think and to judge. And with such a people you can then do what you please." That's a world I know none of us want, that I think we can prevent.
Политический философ Ханна Арендт описала этот мир следующим образом: «Народ, который больше ничему не может верить, не может определиться. Он лишён не только своей способности действовать, но и способности мыслить и судить. И с таким народом можно делать всё, что заблагорассудится». Я знаю, что никому из нас не нужен такой мир, и что мы можем его предотвратить.
Thanks.
Спасибо.
(Cheers and applause)
(Аплодисменты)