My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
La mia relazione con Internet è simile alla sceneggiatura di un film dell’orrore di serie B. Una bella famigliola felice trasloca nella nuova casa perfetta, con entusiasmo immagina il suo brillante futuro, fuori c’è un bel sole, gli uccellini cantano… Poi arriva la sera. Si sentono dei rumori provenire dalla soffitta. E capiamo che quella nuova casa perfetta non è poi così perfetta.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
Quando ho cominciato a lavorare a Google, nel 2006, Facebook aveva solo due anni e Twitter non era ancora stato concepito. Provavo un timore reverenziale per Internet e le sue potenzialità di diminuire le distanze e renderci più intelligenti e più liberi. Mentre eravamo impegnati a costruire motori di ricerca, siti in cui condividere video e social network, criminali, dittatori e terroristi scoprivano come usare queste stesse piattaforme contro di noi. Non abbiamo avuto la lungimiranza di bloccarli. Da alcuni anni, forze geopolitiche sono arrivate online per provocare caos. Come risposta, Google ha finanziato me e alcuni colleghi per creare un nuovo gruppo chiamato “Jigsaw”, con l’obiettivo di proteggere le persone da minacce come l’estremismo violento, la censura e le persecuzioni. Minacce, queste, che sento molto vicine, poiché sono nata in Iran e ho dovuto abbandonare il Paese a causa di una rivoluzione violenta. Ma ho capito che pur disponendo di tutte le migliori risorse di tutte le aziende tecnologiche al mondo, avremmo comunque fallito se avessimo trascurato un aspetto fondamentale: l’esperienza umana delle vittime e degli autori di quelle minacce.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
Ci sono moltissime sfide di cui potrei parlarvi oggi, ma mi concentrerò solo su due. La prima di queste sfide è il terrorismo. Al fine di comprendere il processo di radicalizzazione, abbiamo incontrato dozzine di ex membri di gruppi estremisti violenti. Una era una ragazzina britannica, fermata alle partenze dell’aeroporto di Londra mentre cercava di raggiungere la Siria per arruolarsi nell’ISIS. Aveva 13 anni. Mi sono seduta insieme a lei e al padre e le ho chiesto: “Perché?” Mi ha risposto: “Ho visto foto della vita in Siria e credevo che sarei andata a vivere nella Disney World islamica”. Questo è ciò che vedeva nell’ISIS. Credeva di incontrare e sposare un Brad Pitt in versione jihadista, andare nei centri commerciali e vivere felice per sempre.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
L’ISIS comprende la psiche delle persone e con molta cura confeziona i messaggi per ciascuna audience. Guardate solo in quante lingue si declina il loro materiale di marketing. Creano pamphlet, programmi radiofonici e video non soltanto in inglese e arabo, ma anche in tedesco, russo, francese, turco, curdo, ebraico e cinese mandarino. Ho persino visto un video prodotto dall’ISIS nel linguaggio dei segni. Rifletteteci un secondo: l’ISIS si è dato tempo e si è impegnato a fondo per assicurarsi che il messaggio arrivi a persone sorde o con difficoltà uditive. Non è una questione di dimestichezza con la tecnologia. C’è un motivo perché l’ISIS conquista cuori e menti. È l’intuizione sui pregiudizi, le vulnerabilità e le aspirazioni delle persone bersaglio. Per questo non basta che le piattaforme online si concentrino sul rimuovere il materiale di reclutamento. Se vogliamo avere l’opportunità di progettare una tecnologia utile che possa arginare gli estremismi, dobbiamo avere come base l’essere umano.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
Siamo andati in Iraq per parlare con un giovane incappato nei proclami dell’ISIS di eroismo e giustizia, che avrebbe combattuto per loro e che ha disertato appena si è reso conto delle barbarie dell’ISIS. Mi trovo in questa prigione improvvisata nel nord dell’Iraq con questo ventitreenne addestrato come attentatore suicida prima della diserzione. Racconta: “Sono arrivato in Siria pieno di speranze e immediatamente, mi hanno sequestrato due tra i miei beni più preziosi: il mio passaporto e il mio cellulare”. I simboli della sua libertà fisica e digitale gli vengono sottratti all’arrivo. Questo è il modo in cui descrive il momento della perdita. Dice: “Ha presente ‘Tom & Jerry’, quando Jerry tenta la fuga e Tom chiude la porta e inghiotte la chiave e si vede la chiave che sporge dalla gola mentre scende giù?” Certo, potevo davvero vedere l’immagine che stava descrivendo, e realmente ho vissuto la sensazione che lui cercava di convogliare, che era di annichilimento, quando si capisce di non avere via d’uscita.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
Mi chiedevo se qualcosa avrebbe potuto fargli cambiare idea il giorno della partenza. Quindi gli ho chiesto: “Se avessi saputo tutto quello che sai adesso sulla sofferenza, sulla corruzione e sulla brutalità il giorno della partenza, saresti partito comunque?” Mi ha risposto: “Sì”. Ho pensato: “Cavolo, ha detto di sì”. Ma poi ha aggiunto: “A quel punto, avevo subito un lavaggio del cervello tale da non credere più a nessuna informazione contraddittoria. Non potevo essere persuaso”.
"Well, what if you knew everything that you know now six months before the day that you left?"
“E se avessi saputo tutto quello che sai adesso sei mesi prima della tua partenza?”
"At that point, I think it probably would have changed my mind."
“A quel punto, penso che probabilmente avrei cambiato idea”.
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
La radicalizzazione non è una scelta netta. È un processo, durante il quale le persone si pongono domande sull’ideologia, sulla religione e sulle condizioni di vita. E vanno online per trovare delle risposte, il che rappresenta un’opportunità per raggiungerle. Ci sono video online di persone con risposte. Per esempio, disertori che raccontano il loro percorso di uscita dalla violenza, storie simili a quella del ragazzo che ho incontrato nella prigione irachena. Ci sono residenti locali che caricano in rete filmati che mostrano la vita nei califfati dove vigono le regole dell’ISIS. Ci sono chierici che condividono interpretazioni pacifiche dell’Islam. Ma queste persone non sono abili nel marketing come l’ISIS. Rischiano la propria vita per contrastare la propaganda dei terroristi, ma non riescono a raggiungere le persone che più hanno bisogno di essere raggiunte. Volevamo capire se la tecnologia potesse essere d’aiuto.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
Nel 2016, abbiamo creato una partnership con Moonshot CVE per un progetto pilota contro la radicalizzazione chiamato “Redirect Method”, che sfrutta la potenzialità della pubblicità online per colmare il divario tra le persone vulnerabili ai proclami dell’ISIS e le testimonianze credibili che ne smentiscono il messaggio. Funziona in questo modo: qualcuno cerca materiale estremista, del tipo: “Come faccio ad arruolarmi nell’ISIS?” e compare un annuncio pubblicitario che invita a guardare un video su YouTube di un chierico o di un disertore, di qualcuno in grado di dare risposte autentiche. Il targeting si basa non sul loro profilo, ma determinando una pertinenza diretta alla loro ricerca o domanda.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
In otto settimane di progetto pilota in inglese e in arabo, abbiamo raggiunto oltre 300.000 persone che hanno espresso un interesse o un’affinità verso i gruppi jihadisti. Queste persone stanno guardando dei video che possono dissuaderli dal compiere scelte devastanti. Poiché l’estremismo violento non si limita a un linguaggio, una religione o un’ideologia specifici, il Redirect Method è stato implementato a livello globale per proteggere le persone che vengono approcciate online da ideologi violenti, quali islamisti, suprematisti bianchi e altri estremisti violenti, con l’obiettivo di fare ascoltare loro l’altra versione di quella storia, di dar loro la possibilità di scegliere un percorso diverso.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
Si è scoperto che spesso i cattivi sono bravi nello sfruttare Internet, non perché siano dei geni tecnologici, ma perché capiscono cosa attecchisce nelle persone. Vi porto un secondo esempio: le molestie online. Anche chi molesta online cerca di capire cosa farà presa su un altro essere umano. Non per reclutarlo, come fa l’ISIS, ma per nuocere. Provate a pensare: siete una donna, sposata, con un bambino. Postate sui social media e in una risposta, vi viene detto che sarete stuprate davanti a vostro figlio e anche quando e dove. L’indirizzo di casa vostra è online ed è visibile a tutti. La minaccia sembrerebbe reale. Pensate di poter tornare a casa? Pensate di poter continuare a fare quello che stavate facendo? Continuereste a fare quello che sta irritando il vostro hater?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
Gli abusi online sono diventati questa arte perversa di capire cosa fa arrabbiare le persone, cosa le spaventa, cosa le rende insicure, per poi insistere sui punti deboli fino a ridurle al silenzio. Quando le molestie online non vengono arginate, la libertà di parola è in pericolo. Persino i moderatori alzano le mani e rinunciano, chiudendo la sezione commenti e i loro forum definitivamente. Questo significa che stiamo perdendo quegli spazi online utili per incontrarsi e scambiarsi idee. E laddove rimangano spazi online, ci rifugiamo in luoghi e con persone che sono l’eco delle nostre stesse idee. Ma questo accresce la disinformazione e favorisce la polarizzazione dell’informazione. E se invece la tecnologia riuscisse a sviluppare l’empatia su vasta scala?
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
Questa domanda ha motivato la nostra partnership con il team anti-abusi di Google, Wikipedia e quotidiani come il New York Times. Volevamo provare a costruire modelli di apprendimento automatico in grado di comprendere l’impatto emozionale del linguaggio. Possiamo predire quali commenti provocano l’abbandono delle conversazioni online? Non è impresa da poco. Non è una banale corrispondenza che una IA sia in grado di fare. Considerate questi due esempi di messaggi che avrebbero potuto inviarmi la settimana scorsa. “Spacca a TED!” e... “Ti spacco se parli a TED”.
(Laughter)
(Risate)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
Siete esseri umani e questa differenza è per voi ovvia, anche se le parole sono pressoché simili. Ma una IA va addestrata, le vanno insegnati i modelli in grado di vedere quella differenza. La bellezza di creare una IA che può leggere quella differenza è la possibilità di applicarla su scala ai fenomeni di tossicità online. Questo è stato il nostro obiettivo per la nostra tecnologia Perspective. Con l’aiuto di Perspective, il New York Times, ad esempio, ha incrementato lo spazio per le conversazioni online. Prima della collaborazione, i commenti erano abilitati solo nel 10% dei loro articoli. Con l’aiuto dell’apprendimento automatico, quella percentuale è salita al 30%. È stata triplicata. E questo è solo l’inizio.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
Ma parliamo non solo di aumentare l’efficienza dei moderatori. In questo momento, posso vedervi e posso valutare come reagite a quello che dico. In rete, questa possibilità non esiste. Immaginate un apprendimento automatico in grado di dare ai commentatori, mentre digitano, feedback in tempo reale sulle possibili reazioni alle loro parole, come fanno le espressioni facciali in un dialogo vis-à-vis. L’apprendimento automatico non è perfetto e continua a fare molti errori. Ma se creassimo una tecnologia che comprenda l’impatto emozionale del linguaggio, potremmo costruire empatia. Questo renderebbe possibile il dialogo tra persone con diverse idee politiche, con diverse visioni e diversi valori. Potremmo dare nuovo slancio agli spazi online che molti di noi hanno abbandonato.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
Quando le persone usano la tecnologia per sfruttare e molestare gli altri, ci colpiscono facendo leva su umanissime paure e vulnerabilità. Se era nostra intenzione costruire una Internet isolata dal lato oscuro dell’umanità, abbiamo fallito. Se oggi vogliamo costruire una tecnologia che possa superare le sfide che stiamo affrontando, dobbiamo metterci completamente in gioco nel comprendere le problematiche e nel progettare soluzioni tanto umane quanto i problemi che cerchiamo di risolvere. Rendiamolo possibile.
Thank you.
Grazie.
(Applause)
(Applausi)