My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
Мои отношения с интернетом напоминают мне засаду из полного клише фильма ужасов. Знаете, когда ничего не ведающая счастливая семья въезжает в прекрасный новый дом в предвкушении прекрасного будущего. За окном солнечно, щебечут птички... А затем наступает тьма. С чердака доносятся звуки. И мы понимаем, что прекрасный новый дом не так прекрасен.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
Когда я начала работать в Google в 2006 году, Facebook было всего два года, а Twitter ещё не появился. Я была абсолютно восхищена интернетом и его перспективами сделать нас ближе, умнее и свободнее. Но пока мы вдохновенно занимались созданием поисковых систем, сайтов обмена видео и социальных сетей, преступники, диктаторы и террористы придумывали, как использовать эти же платформы против нас. И нам не хватило дальновидности остановить их. За последние несколько лет геополитические силы пришли в сеть и принесли хаос. В ответ Google помог нам с коллегами объединиться в группу под названием Jigsaw, чтобы уберечь людей от угроз вроде экстремизма, цензуры, преследования — угроз, которые я воспринимаю очень лично, потому что родилась в Иране, который покинула вскоре после жестокой революции. Но я поняла, что даже если бы у нас были все возможные ресурсы, все технологии компаний мира, мы бы всё равно проиграли, если бы упустили ключевой ингредиент: человеческий опыт жертв и тех, кто им угрожал.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
Я могла бы сегодня говорить о многих угрозах, но хочу сосредоточиться только на двух. Первая — это терроризм. Чтобы понять процесс радикализации, мы встретились с десятками бывших членов экстремистских группировок. Одной из них была британская школьница, которую сняли с самолёта в лондонском аэропорту Хитроу, когда она попыталась добраться до Сирии, чтобы вступить в ИГИЛ. Ей было 13 лет. Я встретилась с ней и её отцом и спросила: «Почему?» И она ответила: «Я смотрела на фотографии сирийской жизни и решила, что буду жить в исламском Диснейленде». Вот каким она представляла себе ИГИЛ. Она думала, что встретит и станет женой джихадистского Брэда Питта, целыми днями будет ходить по магазинам и жить долго и счастливо.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
В ИГИЛ знают, что мотивирует людей, и они тщательно работают над сообщениями для каждой конкретной аудитории. Только посмотрите, на сколько языков они переводят свои рекламные материалы. Они делают листовки, радиопередачи и видео не только на английском и арабском, но и на немецком, русском, французском, турецком, курдском языках, иврите и китайском. Я даже видела их видео на языке жестов. Только задумайтесь: В ИГИЛ потратили время и силы, чтобы их сообщение дошло до глухих и слабослышащих. Дело не во владении технологиями, не поэтому ИГИЛ завоёвывает умы и сердца людей. Дело в их понимании предрассудков, слабостей и желаний людей, к которым они обращаются, вот в чём. Вот почему онлайн-платформам недостаточно сосредоточиться на удалении вербовочных материалов. Если мы хотим получить шанс на создание значимых технологий, которые одолеют радикализацию, нам нужно начать с человеческого путешествия к её истокам.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
Поэтому мы отправились в Ирак поговорить с молодыми людьми, которые купились на обещания ИГИЛ о героизме и правоте, взяли в руки оружие, но дезертировали, когда увидели жестокость режима ИГИЛ. И вот я сижу в этой временной тюрьме на севере Ирака с 23-летним парнем, которого обучали подорвать себя, пока он не сбежал. Он сказал: «Я прибыл в Сирию полным надежд, но у меня тут же отобрали две самые ценные вещи: паспорт и телефон». Символы физической и цифровой свободы отняли сразу по прибытии. И вот как он описал мне этот момент потери. Он сказал: «Знаете, в "Том и Джерри", когда Джерри пытается убежать, а Том закрывает дверь и проглатывает ключ и видно, как ключ спускается по горлу?» Конечно, я могла представить себе то, что он описывал, и я прочувствовала то, что он пытался передать, чувство обречённости, когда знаешь, что выхода нет.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
И мне стало интересно, что, если бы что-то заставило его передумать в день, когда он ушёл из дома? И я его спросила: «Если бы ты знал всё, что знаешь сегодня о страданиях, коррупции, жестокости, в день, когда ушёл из дома, ты бы всё равно ушёл?» И он ответил: «Да». Я подумала: «Чёрт, он сказал "да"». А затем он добавил: «В тот момент мне уже так промыли мозги, что я ничего другого не воспринимал. Меня было не переубедить».
"Well, what if you knew everything that you know now six months before the day that you left?"
«Тогда что, если бы ты знал всё, что знаешь сегодня, за шесть месяцев до того, как ушёл из дома?»
"At that point, I think it probably would have changed my mind."
«На тот момент, думаю, это могло бы изменить моё мнение».
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
Радикализация это не выбор из двух вариантов. Это процесс, во время которого у людей возникают вопросы об идеологии, религии, условиях жизни. И они ищут ответы онлайн, и это возможность достучаться до них. В сети есть видео от тех, у кого есть ответы, например, видео дезертиров, рассказывающих свои истории о том, как они сбежали от насилия, истории, как у мужчины, которого я встретила в иракской тюрьме. В сеть выложены кадры, на которых местные жители засняли, какова жизнь в халифате под управлением ИГИЛ. Есть церковники, которые делятся мирным толкованием ислама. Но знаете что? У этих людей, как правило, нет рекламного мастерства ИГИЛ. Они рискуют своей жизнью, чтобы не молчать и противостоять террористической пропаганде, но трагедия в том, что они могут не достучаться до людей, которым нужнее всего это услышать. Мы хотели проверить, могут ли технологии это изменить.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
Поэтому в 2016 мы вместе с Moonshot CVE применили новаторский подход к борьбе с радикализацией, названный «Методом переадресации». Он использовал мощь онлайн-рекламы, чтобы соединить подверженных призывам ИГИЛ с теми достойными доверия людьми, которые изобличают ложь таких призывов. Вот как это работает: когда, кто-то ищет экстремистский материал, например, ищет «Как вступить в ИГИЛ?», увидит всплывающую рекламу приглашающую посмотреть на YouTube видео с духовным лицом или с дезертиром — с кем-то, у кого есть личный опыт. Таргетированная реклама основана не на профиле пользователя, а напрямую зависит от поискового запроса.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
За восемь недель пробного периода на английском и арабском мы смогли обратиться к 300 000 человек, которые проявили интерес или сочувствие джихадистским группировкам. Эти люди теперь посмотрели видео, которые могли уберечь их от ужасных последствий необдуманного выбора. И поскольку крайний экстремизм не ограничен каким-то одним языком, религией или идеологией, «Метод переадресации» сейчас применяется по всему миру, чтобы защитить людей от заигрывания с экстремистскими идеологиями, хоть исламисткими, хоть расистскими — любым экстремизмом, и цель — дать людям шанс услышать кого-то, кто прошёл этот путь и получил другой опыт; дать им шанс выбрать другой путь.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
Часто оказывается, что плохие парни хорошо умеют пользоваться интернетом, не потому что они гении в технологиях, а потому что понимают, что «цепляет» людей. Хочу привести вам второй пример: угрозы в сети. Угрозы в сети тоже зависят от отклика, который найдёт сообщение. Но цель — не вербовать в ИГИЛ, а причинять другому боль. Представьте: вы женщина, замужем, у вас ребёнок. Вы что-то выкладываете в соцсетях, а в ответ вам пишут, что вас изнасилуют на глазах у сына, подробно описывают где и когда. Ваш адрес выкладывают на всеобщее обозрение. Это похоже на реальную угрозу. Вы бы вернулись домой? Стали бы продолжать заниматься тем, чем занимались до этого? Будете и дальше делать то, что разозлило вашего обидчика?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
Угрозы онлайн — это такой извращённый акт, когда выясняют, что злит других людей, что их пугает, из-за чего они теряют покой, а затем используют эти больные места, чтобы заставить замолчать. Когда запугивание в сети остаётся безнаказанным, свободу слова душат. И даже люди, на чьей площадке всё происходит, поднимают руки и белый флаг: полностью закрывают раздел комментариев и свои форумы. Это означает, что мы теряем свои площадки в сети, где могли обмениваться идеями. А там, где площадки сохраняются, мы оказываемся заперты с теми, кто уже с нами согласен. Но это способствует распространению дезинформации, обостряет противоречия. Что, если бы технологии способствовали эмпатии?
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
Этот вопрос вдохновлял нашу совместную работу с командой Google по борьбе с агрессией онлайн, Википедией и такими газетами, как New York Times. Мы хотели попробовать создать модели самообучения машин, которые будут понимать эмоциональное воздействие слов. Сможем ли мы предугадывать, какие комментарии заставят собеседника выйти из онлайн-дискуссии. И это настоящий подвиг. Для искусственного интеллекта подобное — настоящее достижение. Только посмотрите на эти два примера сообщений, которые могли бы прийти мне на прошлой неделе. «Зажги на TED!» и «Я тебя сожгу на TED».
(Laughter)
(Смех)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
Вы — люди, и вам разница очевидна, хотя слова очень похожи. Но ИИ нужно обучать моделям, чтобы он мог распознать разницу. Прелесть ИИ, который видит разницу, в том, что ИИ может вырасти до масштабов токсичной агрессии онлайн. Такой была наша цель при создании технологии под названием «Перспектива». С помощью «Перспективы» портал New York Times, например, расширил площадку для общения онлайн. До нашего сотрудничества комментарии были возможны только под 10% публикаций. С помощью машинного обучения эта цифра выросла до 30%. Она утроилась, и это только самое начало.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
Но это намного больше, чем помощь модераторам. Сейчас я вас вижу и могу оценивать вашу реакцию на мои слова. Онлайн у вас нет такой возможности. Представьте, что машинное обучение дало бы комментаторам, по мере того как они печатают, фидбек в реальном времени о возможной оценке их слов, что при разговоре обычно видно по выражению лица. Машинное обучение не совершенно, ИИ всё ещё часто ошибается. Но если нам удастся создать технологию, понимающую эмоциональное воздействие слов, мы сможем создать эмпатию. Значит, мы сможем налаживать диалог между людьми с разными политическими убеждениями, разными мировоззрениями, разными ценностями. И мы сможем оживить онлайн-площадки, которые считались утерянными.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
Когда люди используют технологии, чтобы эксплуатировать и обижать других, они играют на человеческих страхах и слабостях. Если мы раньше думали, что сможем создать интернет, защищённый от тёмной стороны человеческой природы, — мы ошибались. Если мы сегодня захотим создать технологии, которые помогут справиться с нашими проблемами, нужно посвятить всех себя пониманию стоящих перед нами вопросов и созданию решений, таких же человеческих по своей природе, как и проблемы, которые они должны решить. Давайте сделаем, чтобы так и случилось.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)