Моята връзка с интернет напомня на филмов декор към клиширан филм на ужасите. Сещате се, блажено щастливото семейство се нанася в своя перфектен нов дом, вълнувайки се за своето перфектно бъдеще, а навън е слънчево и птичките пеят... И тогава се стъмва. И от тавана се чуват звуци. И тогава осъзнаваме, че тази перфектна нова къща не e толкова перфектна.
My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
Когато започнах да работя в Гугъл през 2006-та, Фейсбук беше на едва две години, а Туитър дори не беше роден. А аз бях абсолютно изумена от интернет и целия му потенциал да ни направи по-близки, и по-умни, и по-свободни. Но докато ние се занимавахме с вдъхновяващата работа да създаваме търсачки, и сайтове за видео споделяне, и социални мрежи; престъпниците, диктаторите и терористите разбираха как да използват същите тези платформи против нас. А ние не бяхме достатъчно предвидливи, за да ги спрем. През последните години геополитическите сили дойдоха в интернет, за да опустошат безпорядъка. И в отговор, Гугъл подкрепи мен и няколко мои колеги в изграждането на нова група, наречена Джигсоу, с целта да направи хората по-защитени от заплахи като насилствения екстремизъм, цензурата, тормоза - заплахи, които приемам за много лични, защото съм родена в Иран и заминах по време на последиците от една кървава революция. Но с времето осъзнах, че дори да имахме всичките ресурси на всички технологични компании на света, ние пак бихме се провалили, ако подценим една критична съставка: човешките преживявания на жертвите и виновниците за тези заплахи.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
Има много предизвикателства, за които мога да ви говоря днес. Но ще се фокусирам само на две от тях. Първото е тероризмът. За да разберем процеса на радикализация, ние се срещнахме с дузина бивши членове на групировки за насилнически екстремизъм. Една от тях беше британска ученичка, която е била свалена от самолет в Лондон Хийтроу, докато се е опитвала да стигне до Сирия, за да се присъедини към Ислямска държава. И тя беше на 13 години. И така, седнах с нея и баща ѝ, и попитах - "Защо?". А тя отговори - "Гледах снимки за това какъв е животът в Сирия, и си помислих, че отивам да живея в ислямския Дисниленд." Това видяла тя в Ислямска държава. Тя си е помислила, че ще срещне и ще се омъжи за джихадския Брат Пит, и че ще пазарува по цял ден в мола, и че ще заживее щастливо.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
Ислямска държава разбира какво мотивира хората и избира внимателно как да сглоби послание за всяка аудитотия. Само погледнете на колко много езици те превеждат своите маркетинг материали. Те правят памфлети, радио предавания и видеа, и те не са само на английски и арабски, но също на немски, руски, френски, турски, кюрдски, хибру, китайски мандарин. Виждала съм дори видео, продуцирано от Ислямска дръжава, на езика на глухонемите. Само си помислете за това за секунда: Ислямска държава е отделила време и е положила усилия да бъде сигурна, че посланието им достига до глухите и трудно чуващите. Всъщност, технологическа напредничевост не е причината, поради която Ислямска държава печели сърца и умове. Техните познания за предразсъдъците, слабостите, желанията на хората, до които се опитват да достигнат, са това, което ги движи. Ето защо не е достатъчно за онлайн платформите да се фокусират върху премахването на материалите за наемане на хора. Ако искаме да притежаваме шанса да създадем смислена технология, която да се противопоставя на радикализацията, трябва да започнем с човешкия път в неговата сърцевина.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
И така, ние отидохме до Ирак, за да говорим с млади мъже, които се бяха подвели от обещанието на Ислямска държава за героичност и правда, които бяха вдигнали сами ръка, за да се бият за тях, и които бяха дезертирали, след като бяха видяли бруталността на режима на Ислямска държава. И аз седя в този импровизиран затвор в северната част на Ирак с този 23-годишен, който всъщност беше обучен за атентатор самоубиец преди да дезертира. И той казва - "Дойдох в Сирия пълен с надежда, и незабавно две от моите най-ценни притежания бяха конфискувани: моят паспорт и мобилният ми телефон." Символите на неговата физическа и дигитална свобода са били отнети от него при пристигането му. И после, това е начинът, по който той описа този момент на загуба пред мен. Той каза - "Сещаш ли се как в "Том и Джери", когато Джери иска да избяга, и после Том заключи вратата, и глътнe ключа, виждаш издутината в гърлото му, докато слиза надолу?" Разбира се, аз наистина можех да видя картината, която той описваше, и наистина разбрах чувството, което той се опитваше да пресъздаде, което беше чувството на обреченост, когато знаеш, че няма изход.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
И се зачудих - "Какво, ако въобще има нещо, би могло да промени решението му в деня, в който е напуснал дома си?" И така, аз попитах - "Ако знаеше всичко, което знаеш сега, за страданието, корупцията, бруталността, в деня, когато напусна дома си, би ли го напуснал пак?" А той каза - "Да". И аз си помислих - "Божичко, той каза "Да". " И тогава той отвърна - "В този момент мозъкът ми беше толкова промит, че не възприемах никаква противоречаща информация. Не можех да бъда разколебан."
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
"Добре, а ако знаеше всичко, което знаеш сега, шест месеца преди деня, в който замина?"
"Well, what if you knew everything that you know now six months before the day that you left?"
"В онзи момент, мисля, че най-вероятно щях да променя решението си."
"At that point, I think it probably would have changed my mind."
Радикализацията не е този категоричен избор. Тя е процес, през който хората имат въпроси - за идеологията, религията, условията за живот. И идват онлайн за отговорите, което е възможност да бъдат достигнати. И онлайн има видеа от хора, които имат отговорите - дезертьори, например, които разказват историята на своя път към и извън насилието; истории като на онзи мъж, с който се срещнах в иракския затвор. Там има местни, които качват онлайн материали от мобилните си телефони, показвайки какъв наистина е животът в калифата под управлението на Ислямска държава. Има духовни лица, които споделят мирни интерпретации на исляма. Но знаете ли какво? Тези хора обикновено нямат маркетинг нюха на Ислямска държава. Те рискуват живота си, за да проговорят и да се противопоставят на терористическата пропаганда, и след това те трагично не достигат до хората, които имат най-голяма нужда да ги чуят. Поискахме да видим дали технологиите могат да променят това.
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
И така, през 2016-та започнахме да си партнираме с организацията Мууншот, за да изпробваме нов подход за противопоставяне на радикализацията, наречен "Метод за пренасочване". Той използва силата на онлайн рекламата, за да преодолее разликата между тези, поддаващи се на посланията на Ислямска държава, и тези с гласове, заслужаващи доверие, които развенчават въпросните послания. И работи ето така: някой търси екстремистки материали - да речем, търсят: "Как да се присъединя към Ислямска държава?", и ще видят как се повявява реклама, която им предлага да гледат Ютуб видео на духовник, на дезертьор - някой, който има автентичен отговор. Този таргетинг не е основан на профила, който показва кои са, а детерминирайки нещо, което директно съвпада с тяхното търсене или въпрос.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
През пилотните ни осем седмици, ползвайки английски и арабски, достигнахме до повече от 300 000 души, които бяха изявили интерес или симпатия към джихадистка група. Същите хора сега гледат нашите видеа, които могат да ги предпазят от правенето на деструктивни избори. И защото насилственият екстремизъм не е обвързан само с един език, религия или идеалология, Методът за пренасочване сега се използва глобално, за да предпази хората от това да бъдат ухажвани онлайн от насилствени идеалогии, било то ислямисти, бели супремасисти или други агресивни екстремисти, с целта да дадем шанс да чуем гласа на някого от другата страна на това пътешествие; да им дадем шанс да изберат различен път.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
Оказва се, че най-често лошите хора са добри в експлоатацията на интернет, не защото те са някакъв вид технологични гении, а защото разбират какво мотивира хората. Искам да ви дам втори пример: онлайн тормозът. Онлайн тормозителите също полагат усилия, за да разберат какво ще резонира с друго човешко същество. Но не за да ги привлекат, както Ислямска държава прави, а за да им причинят болка. Представете си това: Вие сте жена, омъжена сте, имате дете. Публикувате нещо в социалните медии, а в отговор Ви се казва, че ще бъдете изнасилена, че Вашият син ще гледа, с детайли къде и кога. Всъщност, адресът Ви е онлайн и всеки може да го види. Това изглежда като доста реалистична заплаха. Мислите ли, че бихте се прибрала вкъщи? Мислите ли, че ще продължите да правите това, което сте правила до момента? Ще продължите ли да вършите нещото, което дразни Вашия заплашител?
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
Онлайн тормозът се е превърнал в това перверзно изкуство да откриеш какво кара хората да се ядосват, какво ги кара да се страхуват, какво ги кара да се чувстват несигурни, и после да натискаш тези точки на напрежение, докато не замлъкнат. Когато онлайн тормозът остане непроврен, свободата на словото се схваща. И дори хората, поддържащи комуникацията вдигат ръце във въздуха и се отказват, затварят своите секции за коментари и техните форуми като цяло. Това означава, че ние губим нашите онлайн пространства за досег и обмен на идеи. А там, където онлайн пространствата останат, ние ги превръщаме в ехо камари, пълни с хора, които мислят точно като нас. Но това позволява разпространяването на дезинформация, което улеснява поляризацията. Какво ще стане, ако технологията, вместо това, успее да предизвика мащабна емпатия?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
Това беше въпросът, който мотивира нашето партньорство с отдела против тормоз на Гугъл, с Уикипедия и с вестници като Ню Йорк Таймс. Искахме да видим дали можем да построим модели за машинно самообучение, които да разбират емоционалното влияние на езика. Можем ли да предвидим кои коментари имат потенциала да накарат някой друг да напусне онлайн разговора. И това е сериозен успех. Това не е тривиално постижение за изкуствения интелект да направи подобно нещо. Имам предвид, помислете си само за тези два примера за съобщения, които можеха да ми бъдат пратени миналата седмица. "Успех на ТЕД!" (буквален превод: "Счупи крак на ТЕД!") ..и "Ще ти счупя краката на ТЕД."
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
(Смях)
(Laughter)
Вие сте хора, затова има очевидна разлика за вас, дори думите да са горе-долу еднакви. Но за изкуствения интелект се изисква подготовка, за бъдат научени моделите, чрез които се разпознава тази разлика. Красотата на това да създадеш изкуствен интелект, който може да прави тази разлика, е в това, че изкуственият интелект после става съизмерим с мащабността на онлайн токсичността, и това беше нашата цел при създаването на технология, наречена "Перспектива". С помощта на Перпектива, Ню Йорк Таймс, например, увеличиха техните пространства за онлайн разговори. Преди колаборацията ни те позволяваха коментирането на едва 10 процента от техните статии. С помощта на автоматизираното машинно обучение, те увеличиха числото до 30 процента. Тоест, те са го утроили, а ние все още едва започваме.
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
Но има много повече от това да направим модераторите по-ефикасни. Сега мога да ви погледна и да преценя как това, което казвам, се приема от вас. Няма подобна възможност онлайн. Представете си, ако машиното обучение, можеше да дава на коментиращите, докато пишат, обратна връзка в реално време за това как техните думи могат да бъдат възприети, също както лицевите изражения правят в разговор лице в лице. Машинното самообучение не е перфектно и все още прави доста грешки. Но ако можем да създадем технология, която разбира емоционалния заряд на езика, ние ще можем да изградим емпатия. Това означава, че можем да улесним диалога между хора с различни политически убеждения, с различни перспективи за света, с различни ценности. И можем да дадем нов живот на онлайн пространствата, от които повечето от нас са се отказали.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
Когато хората използват технологиите, за да експлоатират или наранят другите, те грабят от нашите човешки страхове и слабости. Ако някога сме си мислели, че можем да изградим интернет, изолиран от тъмната страна на човечеството, сме били в грешка. Ако днес искаме да създадем технология, която може да преодолее предизвикателствата, които срещаме, ние трябва да дадем всичко от себе си, за да разберем проблемите и да изградим решения, които са толкова човешки, колкото и проблемите, които целят да разрешат. Нека направим така, че това да се случи.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
Благодаря.
Thank you.
(Аплодисменти)
(Applause)