My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
Ma relation avec internet me rappelle le début stéréotypé d'un film d'horreur. La famille parfaitement heureuse emménage dans sa parfaite nouvelle maison, enthousiaste au sujet de son parfait avenir, il fait beau dehors et les oiseaux pépient... Puis la nuit tombe. Il y a des bruits dans le grenier. Nous réalisons que cette parfaite nouvelle maison n'est pas si parfaite.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
Quand j'ai commencé à travailler chez Google en 2006, Facebook n'avait que deux ans et Twitter n'était pas encore né. J'étais totalement émerveillée par internet et sa promesse de nous rapprocher, de nous rendre plus intelligents et plus libres. Alors que nous créions des moteurs de recherche, des sites de partage de vidéos et des réseaux sociaux, les criminels, les dictateurs et les terroristes comprenaient comment utiliser ces mêmes plateformes contre nous. Nous n'avons pas eu la clairvoyance de les en empêcher. Ces dernières années, des forces géopolitiques ont causé des ravages en ligne. En réponse à cela, Google a soutenu quelques collègues et moi dans la création d'un groupe, Jigsaw, ayant pour mandat de protéger les gens des menaces comme l'extrémisme violent, la censure, la persécution... Des menaces qui me semblent très personnelles car je suis née en Iran et je suis partie au lendemain d'une révolution violente. Mais j'ai réalisé que, même si nous avions toutes les ressources de toutes les entreprises de technologie du monde, nous échouerions si nous négligions un ingrédient crucial : les expériences humaines des victimes et des auteurs de ces menaces.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
Je pourrais vous parler de nombreux défis aujourd'hui. Je vais me concentrer sur deux. Le premier est le terrorisme. Afin de comprendre le processus de radicalisation, nous avons rencontré des dizaines d'anciens membres de groupes extrémistes violents. Parmi eux, il y avait une écolière britannique qui avait été sortie d'un avion à l'aéroport de Londres alors qu'elle essayait d'aller en Syrie pour rejoindre Daech. Elle avait 13 ans. Nous avons discuté avec elle et son père et j'ai demandé : « Pourquoi ? » Elle a dit : « Je regardais des photos de ce à quoi la vie ressemblait en Syrie et je pensais que j'allais vivre dans un Disneyland islamique. » Voilà ce qu'elle a vu en Daech. Elle pensait qu'elle allait rencontrer et épouser un Brad Pitt djihadiste, aller faire du shopping toute la journée et vivre heureuse.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
Daech comprend ce qui motive les gens et ils élaborent soigneusement un message pour chaque public. Regardez en combien de langues leur matériel promotionnel est traduit. Ils créent des brochures, des émissions de radio, des vidéos, pas seulement en anglais et en arabe mais en allemand, en russe, en français, en turc, en kurde, en hébreu, en mandarin. J'ai même vu une vidéo produite par Daech en langue des signes. Réfléchissez-y un instant : Daech a pris le temps et a fait l'effot de s'assurer que son message touche les sourds et malentendants. Ce n'est pas leur savoir-faire technologique qui permet de conquérir les cœurs et les esprits. C'est leur connaissance des préjugés, des vulnérabilités, des désirs des gens qu'ils tentent d'atteindre qui le leur permet. Il ne suffit donc pas que les plateformes en ligne se concentrent sur le retrait des contenus de recrutement. Si nous voulons avoir une chance de développer une technologie utile pour lutter contre la radicalisation, nous devons commencer par le voyage humain qui est en son cœur.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
Nous sommes allés en Irak pour parler à des jeunes hommes convaincus par la promesse de Daech d'héroïsme et de vertu, qui avaient pris les armes pour eux et qui s'étaient enfuis après avoir été témoins de la brutalité du règne de Daech. Je me suis retrouvée dans cette prison de fortune dans le nord de l'Irak avec ce jeune de 23 ans qui avait été formé pour être un kamikaze avant de s'enfuir. Il disait : « Je suis arrivé en Syrie plein d'espoir et immédiatement, deux de mes biens les plus précieux ont été confisqués : mon passeport et mon téléphone portable. » Les symboles de sa liberté physique et numérique lui ont été ôtés à son arrivée. Voici comment il m'a décrit ce moment de perte. Il a dit : « Vous savez, dans « Tom et Jerry », quand Jerry veut s'échapper et que Tom ferme la porte à clé et avale la clé et vous la voyez passer dans sa gorge ? » Bien sûr, je pouvais voir l'image qu'il décrivait et l'associer au sentiment qu'il essayait de communiquer, le sentiment d'être condamné, quand vous savez qu'il n'y a pas d'issue.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
Je me suis demandé : qu'est-ce qui aurait pu lui faire changer d'avis le jour où il est parti ? J'ai demandé : « Si vous saviez tout ce que vous savez maintenant sur la souffrance, la corruption, la brutalité, le jour où vous êtes parti, seriez-vous parti ? » Il a dit : « Oui. » Et j'ai pensé : « Merde, il a dit « oui ». » Puis il a dit : « À ce moment-là, j'avais subi un tel lavage de cerveau, je n'assimilais plus aucune information contradictoire. Je n'aurais pas pu être influencé.
"Well, what if you knew everything that you know now six months before the day that you left?"
- Et si vous aviez su tout ce que vous savez maintenant six mois avant le jour où vous êtes parti ?
"At that point, I think it probably would have changed my mind."
- A ce moment-là, je pense que j'aurais probablement changé d'avis. »
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
La radicalisation n'est pas un choix simple entre oui et non. C'est un processus, durant lequel les gens ont des questions au sujet de l'idéologie, la religion, les conditions de vie. Et ils cherchent les réponses en ligne, ce qui offre une opportunité de les atteindre. Il y a des vidéos en ligne venant de gens ayant des réponses : des transfuges, par exemple, racontant l'histoire de leur voyage vers la violence et leur retour ; des histoires comme celle d'un homme rencontré dans une prison irakienne. Ce sont des locaux qui ont publié des vidéos de ce qu'est vraiment la vie dans le califat sous le règne de Daech. Il y a des religieux qui partagent des interprétations pacifiques de l'islam. Mais vous savez quoi ? Ces gens n'ont en général pas le talent que Daech a pour le marketing. Ils risquent leur vie pour s'exprimer et s'opposer à la propagande terroriste et, tragiquement, ils ne touchent pas les gens qui ont le plus besoin de les entendre. Nous voulions voir si la technologie pouvait changer cela.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
En 2016, nous avons établi un partenariat avec Moonshot CVE afin d'expérimenter une approche pour lutter contre la radicalisation appelée « Méthode de Redirection ». Elle utilise le pouvoir de la publicité en ligne pour rapprocher ceux qui sont réceptifs au message de Daech et ces voix crédibles qui réfutent ce message. Cela fonctionne ainsi : quelqu'un cherchant du contenu extrémiste, cherchant, disons, « Comment rejoindre Daech ? », verra apparaître une publicité qui l'invite à regarder une vidéo YouTube d'un religieux, d'un transfuge ; quelqu'un qui a une réponse authentique. Ce ciblage est basé, non pas sur un profil de leur identité, mais sur la détermination d'une chose pertinente pour leur interrogation ou question.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
Durant notre pilote de huit semaines en anglais et en arabe, nous avons touché plus de 300 000 personnes ayant exprimé de l'intérêt ou de la sympathie pour un groupe djihadiste. Ces gens regardent maintenant des vidéos qui pourraient les empêcher de prendre des décisions dévastatrices. Puisque l'extrémisme violent n'est pas limité à une langue en particulier, une religion ou une idéologie, la méthode de redirection est en cours de déploiement à l'échelle mondiale afin de protéger les gens courtisés en ligne par des idéologues violents, que ce soient des islamistes, des suprémacistes blancs ou d'autres extrémistes violents, avec l'objectif de leur donner une chance d'entendre quelqu'un ayant suivi ce chemin ; leur donner une chance de choisir un autre chemin.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
Il s'avère que souvent les méchants savent bien exploiter internet, pas parce qu'ils sont des génies de la technologie, mais parce qu'ils comprennent ce qui fait réagir les gens. Je veux vous donner un second exemple : le cyber-harcèlement. Les cyber-harceleurs cherchent aussi ce qui va faire écho pour un autre être humain. Pas pour les recruter comme le fait Daech, mais pour les blesser. Imaginez : vous êtes une femme, vous êtes mariée, vous avez un enfant. Vous postez sur les réseaux sociaux et dans une réponse, on vous dit que vous serez violée, que votre fils regardera, avec des détails sur quand et où. En fait, votre adresse est mise en ligne publiquement. Cela semble être une menace plutôt réelle. Pensez-vous que vous rentreriez chez vous ? Pensez-vous que vous continueriez à faire ce que vous faisiez ? Continueriez-vous à faire cette chose qui irrite votre agresseur ?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
Le cyber-harcèlement est l'art pervers de découvrir ce qui met les gens en colère, ce qui les effraie, ce qui les dérange, et puis d'appuyer sur ces points de pression jusqu'à les faire taire. Quand les cyber-harceleurs restent impunis, la liberté de parole est étouffée. Même les gens qui animent la conversation lèvent les bras au ciel et jettent l'éponge, désactivant complètement les commentaires et les forums. Cela signifie que nous perdons des espaces en ligne où se rencontrer et échanger des idées. Là où les espaces en ligne demeurent, nous descendons dans des chambres d'écho avec des gens qui pensent comme nous. Mais cela permet la prolifération de la désinformation ; cela facilite la polarisation. Et si, au lieu de cela, la technologie favorisait l'empathie à grande échelle ?
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
C'était la question qui a motivé notre partenariat avec l'équipe de lutte contre les abus de Google, Wikipédia et des journaux tels que le New York Times. Nous voulions élaborer des modèles d'apprentissage automatique qui pouvaient comprendre l'incidence émotionnelle du langage. Pouvions-nous prévoir quels commentaires allaient pousser quelqu'un à quitter la conversation en ligne ? Ce n'est pas une mince affaire. Ce n'est pas un exploit trivial d'avoir une IA capable de faire une telle chose. Considérez ces deux exemples de messages qu'on aurait pu m'envoyer la semaine dernière. « Merde pour TED ! » et « Tu seras une merde à TED ».
(Laughter)
(Rires)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
Vous êtes humains, c'est pourquoi la différence vous paraît évidente même si les mots sont plus ou moins les mêmes. Pour une IA, il faut un entraînement pour apprendre aux modèles à reconnaître cette différence. La beauté de la conception d'une IA qui peut faire la différence est que cette IA peut s'étendre à l'échelle du phénomène de toxicité en ligne et c'était notre objectif lors de l'élaboration de notre technologie, Perspective. Avec l'aide de Perspective, le New York Times, par exemple, a accru l'espace de conversation en ligne. Avant notre collaboration, les commentaires n'étaient activés que sur 10% de leurs articles. Avec notre apprentissage automatique, ils ont augmenté ce nombre à 30%. Ils l'ont triplé et ce n'est que le début.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
Il est question de bien plus que de rendre les modérateurs plus efficaces. Actuellement, je peux vous voir et je peux évaluer comment vous recevez ce que je dis. Vous n'avez pas cette opportunité en ligne. Imaginez si l'apprentissage automatique pouvait offrir aux commentateurs, pendant qu'ils tapent, un retour en temps réel quant à comment leurs mots pourraient être pris, comme le font les expressions faciales lors d'une conversation en face à face. L'apprentissage automatique n'est pas parfait et fait encore plein d'erreurs. Mais en créant une technologie qui comprend l'incidence émotionnelle du langage, nous développons l'empathie. Nous pouvons avoir un dialogue entre des personnes ayant différentes opinions politiques, conceptions du monde et valeurs. Nous pouvons relancer les espaces en ligne que beaucoup d'entre nous ont délaissés.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
Quand les gens utilisent la technologie pour exploiter et blesser les autres, ils s'attaquent à nos peurs et vulnérabilités humaines. Si nous pensions que nous pouvions développer un internet isolé du côté obscur de l'humanité, nous avions tort. Si nous voulons aujourd'hui créer des technologies pouvant surmonter les défis auxquels nous faisons face, nous devons nous lancer complètement dans la compréhension des problèmes et l'élaboration de solutions qui sont aussi humaines que les problèmes qu'elles ont l'ambition de résoudre. Mettons-nous au travail !
Thank you.
Merci.
(Applause)
(Applaudissements)