My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
Mijn relatie met het internet doet me denken aan het scenario van een clichématige horrorfilm. Je weet wel, dat zielsgelukkig gezin dat naar hun perfecte nieuwe huis verhuist, enthousiast over hun perfecte toekomst; de zon schijnt en de vogeltjes fluiten ... En dan wordt het donker. Er komen geluiden van de zolder. En dan beseffen we dat dat perfecte nieuwe huis niet zo perfect is.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
Toen ik in 2006 begon te werken bij Google, bestond Facebook nog maar twee jaar en Twitter was nog niet eens geboren. Ik was weg van internet en al zijn beloftes om ons dichter bij elkaar te brengen, om ons slimmer en veel vrijer te maken. Maar terwijl we bezig waren met het inspirerende werk van het bouwen van zoekmachines, video-sharing sites en sociale netwerken, waren criminelen, dictators en terroristen aan het uitzoeken hoe ze diezelfde platforms tegen ons konden gebruiken. We zagen het niet aankomen. In de afgelopen jaren zijn geopolitieke krachten online gekomen om grote schade aan te richten. Als antwoord ondersteunde Google een paar collega's en mij bij het opzetten van een nieuwe groep, ‘Jigsaw’, met de opdracht om mensen te beveiligen tegen bedreigingen als gewelddadig extremisme, censuur, vervolging -- bedreigingen die me heel persoonlijk aanspreken, want ik ben geboren in Iran, waar ik wegging in de nasleep van een gewelddadige revolutie. Maar ik ben tot het besef gekomen dat zelfs als we alle middelen hadden van alle van technologische bedrijven in de wereld, we nog steeds zouden falen als we één kritische ingrediënt over het hoofd zagen: de ervaringen van de mensen die deze bedreigingen uiten en ondergaan.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
Er zijn vele problemen waar ik vandaag over zou kunnen praten. Ik beperk me tot twee. De eerste is het terrorisme. Om het radicaliseringsproces te begrijpen, zochten we tientallen voormalige leden van gewelddadige extremistische groepen op. Een daarvan was een Brits schoolmeisje dat op London Heathrow van een vliegtuig was geplukt toen ze in Syrië probeerde te geraken om zich bij ISIS aan te sluiten. Ze was 13 jaar. Ik sprak haar en haar vader, en vroeg: "Waarom?" Ze zei: "Ik zocht naar foto’s over hoe het leven was in Syrië en ik dacht dat ik terecht zou komen in een islamitische Disney World." Zo zag ze ISIS. Ze dacht dat ze een jihadi Brad Pitt zou ontmoeten, trouwen, de hele dag winkelen in winkelcentra en lang en gelukkig leven.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
ISIS begrijpt wat mensen drijft en ze kiezen zorgvuldig aangepaste teksten voor elke doelgroep. Kijk maar in hoeveel talen ze hun marketingmateriaal vertalen. Ze maken pamfletten, radioprogramma's en video's, niet alleen in het Engels en het Arabisch, maar in het Duits, Russisch, Frans, Turks, Koerdisch, Hebreeuws, Mandarijn. Ik zag zelfs een door ISIS geproduceerde video in gebarentaal. Denk daar eens even aan: ISIS nam de tijd en deed de inspanning om ervoor te zorgen dat hun boodschap doven en slechthorenden bereikte. Het is eigenlijk niet hun technisch kunnen waarmee ISIS harten en geesten voor zich wint, maar hun inzicht in de vooroordelen, de kwetsbaarheden en de verlangens van de mensen die ze proberen te bereiken. Daarom is het niet voldoende voor de online-platforms om zich te concentreren op het verwijderen van het wervingsmateriaal. Als we een zinvolle technologie willen bouwen om radicalisering tegen te gaan, moeten we de menselijke reis naar de kern ervan aanvatten.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
Dus gingen we naar Irak om te spreken met jonge mannen die waren gevallen voor ISIS' belofte van heldendom en gerechtigheid, die de wapens hadden opgenomen om voor hen te vechten en die dan waren overgelopen toen ze getuige waren van de wreedheden van ISIS. Ik praatte in een geïmproviseerde gevangenis in het noorden van Irak met een 23-jarige die opgeleid was tot zelfmoordterrorist voordat hij overliep. Hij zei: "Vol hoop kwam ik naar Syrië, en meteen werden twee van mijn kostbaarste bezittingen in beslag genomen: mijn paspoort en mijn mobiele telefoon." De symbolen van zijn fysieke en digitale vrijheid werden bij aankomst van hem afgepakt. Zo beschreef hij mij dat moment van verlies. Hij zei: "Ken je die scène bij 'Tom en Jerry' waar Jerry wil ontsnappen, Tom de deur op slot doet en de sleutel inslikt, en je zijn keel ziet uitpuilen als die naar beneden zakt?" Natuurlijk kon ik echt het beeld zien dat hij beschreef, en begreep ik het gevoel dat hij probeerde over te brengen: een van verdoemenis, als je weet dat er geen uitweg meer is.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
Ik vroeg me af of er iets was waardoor hij van gedachten veranderd kon zijn de dag dat hij thuis wegging? Dus vroeg ik: "Als je alles wist wat je nu weet over het lijden, de corruptie, de wreedheid -- die dag dat je thuis wegging, zou je dan nog zijn gegaan?" En hij zei: "Ja." En ik dacht: krijg nou wat, hij zei: "Ja." Toen zei hij: "Op dat moment was ik zo gehersenspoeld dat ik geen enkele tegenspraak toeliet. Ik kon toen niet worden omgepraat."
"Well, what if you knew everything that you know now six months before the day that you left?"
"Wel, wat als je alles wist wat je nu weet zes maanden voor de dag dat je wegging?"
"At that point, I think it probably would have changed my mind."
"Dan denk ik dat het waarschijnlijk mijn denken zou hebben veranderd."
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
Radicalisering is geen ja-of-nee-keuze. Het is een proces waarbij mensen vragen hebben -- over ideologie, religie, de leefomstandigheden. Ze zoeken online naar antwoorden, wat een kans biedt om ze te bereiken. Er zijn online video's van mensen die antwoorden -- overlopers vertellen bijvoorbeeld het verhaal van hun reis naar en terug van het geweld. Verhalen zoals die van de man die ik ontmoette in de Iraakse gevangenis. Mensen van ginder hebben beelden van hun mobiele telefoon geüpload van hoe het er echt aan toegaat in het kalifaat onder het bewind van ISIS. Er zijn geestelijken die vreedzame interpretaties van de islam delen. Maar deze mensen beschikken meestal niet over het marketinglef van ISIS. Zij riskeren hun leven als ze spreken en de terroristische propaganda tegengaan. Ze bereiken tragisch genoeg niet de mensen die het het meest nodig hebben. Wij wilden zien of technologie dat zou kunnen veranderen.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
In 2016 werkten we samen met Moonshot CVE om een nieuwe aanpak van het tegengaan van radicalisering op te starten, de ‘Redirect Method’ genaamd. Ze maakt gebruik van de kracht van online adverteren om de kloof te dichten tussen degenen die gevoelig zijn voor berichten van ISIS en de geloofwaardige stemmen die die berichten ontmaskeren. Het werkt als volgt: iemand zoekt extremistisch materiaal -- bijvoorbeeld ‘Hoe word ik lid van ISIS?’ -- en ziet een advertentie verschijnen. Ze nodigt uit om een YouTube-video van een geestelijke of een overloper te bekijken -- iemand met een authentiek antwoord. Het doel is niet gebaseerd op een profiel van wie ze zijn, maar op het bepalen van iets dat direct relevant is voor hun vraag of vragen.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
Onze acht weken durende proef in het Engels en het Arabisch bereikte meer dan 300.000 mensen die belangstelling of sympathie voor een jihadi-groep hadden geuit. Deze mensen keken nu naar video's die hen konden verhinderen om verwoestende keuzes te maken. Omdat gewelddadig extremisme zich niet beperkt tot één taal, religie of ideologie, wordt de Redirect Method nu wereldwijd ingezet om mensen online te beschermen tegen manipulatie door gewelddadige ideologen, of het nu islamisten, blanke racisten of andere gewelddadige extremisten zijn, met als doel hen de kans te geven om iemand te horen die het heeft meegemaakt; hen de kans te geven om een ander pad te kiezen.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
Het blijkt dat de slechteriken vaak goed zijn in het benutten van het internet, niet omdat ze technologische genieën zijn, maar omdat ze begrijpen wat mensen drijft. Ik geef jullie een tweede voorbeeld: online pesten. Online-pesters zoeken ook uit wat andere mensen aanspreekt. Niet om ze te rekruteren, zoals ISIS doet, maar om ze leed te berokkenen. Stel je voor: je bent vrouw, je bent getrouwd, je hebt een kind. Je plaatst iets op sociale media en als antwoord vertellen ze je dat je zult verkracht worden terwijl je zoon toekijkt met details over wanneer en waar. Ze zetten je huisadres online te kijk voor iedereen. Dat voelt serieus bedreigend aan. Denk je dat je nog naar huis zou durven? Denk je dat je zou bezig blijven met wat je aan het doen was? Zou je bezig blijven met wat je aanvaller irriteerde?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
Online pesten is de perverse kunst van het uitvissen wat mensen boos, wat mensen bang, wat mensen onzeker maakt, en dan op die knoppen blijven drukken tot ze zwijgen. Als er tegen online pesten niets wordt ondernomen, wordt de vrijheid van meningsuiting verstikt. Zelfs de mensen die de conversatie hosten, steken hun armen in de lucht, houden het voor bekeken en sluiten hun commentaren en forums af. Dat betekent dat we online ruimten kwijtraken waar we kunnen ontmoeten en ideeën uitwisselen. En waar online ruimten overblijven, dalen we af naar echokamers met mensen die net denken als wij. Maar dat leidt tot verspreiding van desinformatie, vergemakkelijkt polarisatie. Wat als technologie echter empathie op grote schaal mogelijk zou maken?
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
Die vraag motiveerde ons partnerschap met Google’s Counter Abuse team, alsook met Wikipedia en kranten als de New York Times. We wilden zien of we modellen voor machinaal leren konden bouwen die de emotionele impact van taal konden begrijpen. Konden we voorspellen welke commentaren iemand konden doen weglopen van de online conversatie? Dat is geen sinecure. Het is geen peulschil voor KI om zoiets aan te kunnen. Ik bedoel, kijk gewoon eens naar deze twee voorbeelden van berichten die iemand me vorige week had kunnen sturen. "Breek een been bij TED!" en ... "Ik zal je benen breken bij TED."
(Laughter)
(Gelach)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
Je bent mens, daarom is dat voor jou een duidelijk verschil, hoewel de woorden vrijwel dezelfde zijn. Maar voor KI neemt dat enige training om de modellen te leren dat verschil te herkennen. Het knappe aan het bouwen van een KI die dat onderscheid kan maken, is dat KI dan kan opschalen tot de omvang van dat giftige online fenomeen. Dat was ons doel bij het bouwen van onze Perspective-technologie. Met de hulp van Perspective heeft de New York Times bijvoorbeeld de online ruimtes voor conversatie doen toenemen. Vóór onze samenwerking lieten ze slechts commentaren toe op maar 10% van hun artikelen. Met de hulp van machinaal leren is dat aantal verhoogd tot 30%. Ze hebben het dus verdrievoudigd en we zijn nog maar net begonnen.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
Maar dit gaat over veel meer dan beheerders alleen maar efficiënter maken. Op dit moment kan ik jullie zien en beoordelen hoe wat ik zeg bij jullie overkomt. Die mogelijkheid heb je niet online. Stel je voor dat machinaal leren aan commentators, terwijl ze typen, real-time feedback kon geven over hoe hun woorden overkomen. Net zoals gezichtsuitdrukkingen bij een oog-in-oog gesprek. Machinaal leren is niet perfect en het maakt nog steeds veel fouten. Maar als we technologie kunnen bouwen die de emotionele impact van de taal begrijpt, kunnen we empathie opbouwen. Dan krijgen we dialoog tussen mensen met verschillende politieke meningen, verschillende wereldbeelden, verschillende waarden. Dan kunnen we online ruimtes nieuwe impulsen geven nu de meesten daar begonnen af te haken.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
Wanneer mensen technologie gebruiken om anderen uit te buiten en schade toe te brengen, azen ze op onze menselijke angsten en kwetsbaarheden. Als we ooit dachten dat we een internet konden bouwen geïsoleerd van de donkere kant van de mensheid, dan hadden we het mis. Als we vandaag de dag technologie willen die de uitdagingen kan overwinnen waarmee we worden geconfronteerd, moeten we ons helemaal toeleggen op het begrijpen van de problemen en zoeken naar oplossingen die even menselijk zijn als de problemen die ze beogen op te lossen. Laten we zorgen dat dat gebeurt.
Thank you.
Dank je.
(Applause)
(Applaus)