My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
A minha relação com a Internet é semelhante ao enredo de um filme de horror clichê. Uma família encantada e feliz que se muda para uma casa nova e perfeita, entusiasmada com o seu futuro perfeito. Lá fora está sol, os pássaros chilreiam... E então escurece. Ouvem-se barulhos no sótão. E percebemos que aquela casa nova e perfeita, não é assim tão perfeita.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
Quando comecei a trabalhar na Google, em 2006, o Facebook ainda só tinha dois anos e o Twitter ainda nem tinha nascido. Eu estava absolutamente maravilhada com a Internet e a sua promessa de nos tornar mais próximos, mais inteligentes e mais livres. Mas enquanto fazíamos o trabalho inspirador de construir motores de pesquisa, "sites" de partilha de vídeos e redes sociais, criminosos, ditadores e terroristas estavam a tentar descobrir como usar estas plataformas contra nós. E nós não nos antecipámos de forma a impedi-los. Nos últimos anos, apareceram "online" forças geopolíticas para causar danos. Como resposta, a Google apoiou-me a mim e a um grupo de colegas, na criação dum novo grupo chamado Jigsaw, cuja missão era proteger as pessoas de ameaças como o extremismo violento, a censura e a perseguição, ameaças que sinto como muito pessoais, porque eu nasci no Irão de onde parti, no rescaldo de uma revolução violenta. Mas cheguei à conclusão de que, mesmo com acesso a todos os recursos de todas as empresas tecnológicas do mundo, continuaríamos a falhar enquanto ignorássemos um fator chave: as experiências humanas das vítimas e dos autores dessas ameaças.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
Há vários problemas de que vos poderia falar hoje. Vou-me focar apenas em dois: O primeiro é o terrorismo. Para compreendermos o processo de radicalização, conhecemos dezenas de antigos membros de grupos extremistas violentos. Um deles era uma estudante britânica, que tinha sido retirada de um avião no aeroporto de Heathrow, em Londres, quando tentava chegar à Síria, para se juntar ao ISIS. Tinha 13 anos. Eu sentei-me com ela e com o pai dela e perguntei-lhe: "Porquê?" E ela respondeu: "Eu estive a ver fotos da vida na Síria, "e achei que iria viver na Disneylândia islâmica." Foi isso que ela viu no ISIS. Achou que ia conhecer e casar-se com um Brad Pitt jihadista, passar o dia nas compras no centro comercial e viver feliz para sempre.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
O ISIS percebe aquilo que move as pessoas e cria cuidadosamente uma mensagem para cada público-alvo. Basta ver o número de línguas para as quais traduzem o seu material de "marketing". Têm panfletos, programas de rádio e vídeos não só em árabe e inglês, mas também em alemão, russo, francês, turco, curdo, hebreu, mandarim... Vi até um vídeo produzido pelo ISIS em linguagem gestual. Pensem nisso por um momento: o ISIS dedicou tempo e esforço para garantir que a sua mensagem chega a surdos e deficientes auditivos. Não é pelo conhecimento tecnológico. que o ISIS conquista corações e mentes. Fazem-no através do conhecimento dos preconceitos, das vulnerabilidades e dos desejos das pessoas a que estão a tentar chegar. Por isso, é insuficiente focarmo-nos na remoção de materiais de recrutamento de plataformas "online". Se queremos ter uma hipótese na construção de tecnologias que consigam combater a radicalização temos de começar pelo cerne deste percurso humano.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
Então, fomos para o Iraque para falar com jovens adultos que tinham caído na promessa de heroísmo e justiça do ISIS, que estavam dispostos a pegar em armas por eles, mas que desertaram quando testemunharam a brutalidade do domínio do ISIS. Eu estou sentada numa prisão provisória no norte do Iraque com um jovem de 23 anos que treinou para ser bombista suicida antes de ter abandonado o ISIS. E ele diz-me: "Eu cheguei à Síria cheio de esperança, "e, imediatamente, eles confiscaram-me dois dos meus bens mais preciosos: "o meu passaporte e o meu telemóvel." Os símbolos da sua liberdade. física e digital. foram-lhe retirados assim que ele chegou. E ele descreveu-me este momento de perda dizendo: "Sabes como no 'Tom e Jerry', "quando o Jerry quer fugir "mas o Tom tranca a porta e engole a chave, "e conseguimos vê-la saliente enquanto desce ao longo da garganta?" Claro, eu conseguia ver a imagem que ele estava a descrever, e liguei-me ao sentimento que ele estava a tentar transmitir, ao desespero e fatalidade, quando sabemos que não há nenhuma saída.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
E perguntei-me: O que é que o teria feito mudar de ideias no dia em que saiu de casa? Então perguntei-lhe: "Se soubesses tudo o que sabes agora "sobre o sofrimento, a corrupção, a brutalidade, "no dia em que saíste de casa, "ainda assim, terias partido?" E ele respondeu: "Sim." E eu pensei: "Raios, ele disse 'Sim.' " Então, ele acrescentou: "Nessa altura, a lavagem ao cérebro já era tal "que eu não aceitava nenhuma informação contraditória. "Não poderia ter sido persuadido."
"Well, what if you knew everything that you know now six months before the day that you left?"
"Bom, então e se soubesses tudo o que sabes agora "seis meses antes do dia em que partiste?"
"At that point, I think it probably would have changed my mind."
"Nesse momento, acho que, provavelmente, teria mudado de ideias."
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
A radicalização não é uma escolha de sim ou não. É um processo, durante o qual as pessoas têm dúvidas sobre ideologia, religião, condições de vida. E procuram respostas "online", criando uma oportunidade para chegarem até elas. Há vídeos "online" feitos por pessoas que têm respostas — desertores, por exemplo, a contar como se envolveram e se libertaram da violência. Histórias como a de um homem que conheci na prisão no Iraque. Há habitantes que fizeram o "upload" de filmagens de telemóvel da realidade da vida no Califado, sob o domínio do ISIS. Há clérigos a partilharem interpretações pacíficas do Islamismo. Mas sabem uma coisa? Essas pessoas não têm normalmente a capacidade de "marketing" do ISIS. Arriscam a vida para falar e combater a propaganda terrorista, e depois, tragicamente, não conseguem chegar a quem mais precisava de ouvir a sua mensagem. Nós queríamos perceber se a tecnologia podia mudar isso.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
Então, em 2016, juntámo-nos à Moonshot CVE para conduzirmos uma nova abordagem ao combate da radicalização: "O Método de Redirecionamento". Este método usa o poder da publicidade "online" para ligar aqueles que são mais suscetíveis à mensagem do ISIS a vozes credíveis que estão a desconstruir essa mensagem. E funciona assim: alguém que esteja à procura de material extremista — digamos que pesquisam "Como é que me junto ao ISIS?" — vê aparecer um anúncio que os convida a assistir a um vídeo no Youtube de um clérigo, de um desertor. de alguém que tem uma resposta autêntica. Este redirecionamento funciona, não com base no perfil dessa pessoa, mas determinando algo que é diretamente relevante àquilo que ela pesquisou.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
Durante as nossas 8 semanas de teste em inglês e árabe, conseguimos chegar a mais de 300 000 pessoas que tinham manifestado interesse ou simpatia por um grupo Jihadista. Estas pessoas estavam agora a ver vídeos que podiam evitar que elas fizessem escolhas devastadoras. E porque o extremismo violento não se limita a uma única linguagem, religião ou ideologia, o Método de Redirecionamento está a ser implementado globalmente para proteger as pessoas que estão a ser cortejadas por ideólogos violentos — sejam eles islamistas, suprematistas brancos, ou de outros grupos extremistas — com o objetivo de dar-lhes a oportunidade de ouvirem alguém do outro lado desse percurso; dar-lhes a oportunidade de escolherem um caminho diferente.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
Vemos que frequentemente os vilões são bons a explorar a Internet, não porque sejam génios tecnológicos, mas porque percebem aquilo que motiva as pessoas. Eu dou-vos outro exemplo: O assédio "online". Os assediadores "online" também trabalham para perceber o que éque vai afetar outro ser humano. Não para os recrutar, como o ISIS faz, mas para lhes causar dor. Imaginem o seguinte: Se fossem uma mulher, casada, com um filho. Publicam algo numa rede social, e num comentário dizem-vos que vão ser violadas, que o vosso filho estará a ver, com detalhes sobre quando e onde. A vossa morada é publicada "online" para que todos vejam. Parece-me uma ameaça bastante real. Acham que iriam para casa? Acham que continuariam a fazer o que estavam a fazer antes? Continuariam a fazer aquilo que está a irritar o vosso agressor?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
O abuso "online" tem sido esta arte perversa de perceber o que é que deixa as pessoas zangadas, o que é que deixa as pessoas assustadas, o que é que deixa as pessoas inseguras, e depois pressionar nesses pontos até que elas se silenciem. Quando o assédio "online" passa despercebido a liberdade de expressão é reprimida. E mesmo aqueles que conduzem a conversa lavam as mãos do assunto, fechando a secção de comentários e os fóruns de discussão. Isso quer dizer que estamos a perder espaços "online" para nos encontrarmos e partilharmos ideias. E onde permanecem espaços "online", estes degeneram, criando câmaras de eco, com pessoas que pensam tal como nós. Mas isso permite a difusão da desinformação; o que facilita a polarização. E se a tecnologia pudesse, proporcionalmente, permitir a empatia?
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
Esta foi a pergunta que nos levou à parceria com a equipa de combate ao abuso da Google, com a Wikipédia, e com jornais como o New York Times. Queríamos construir modelos dotados de aprendizagem automática que percebessem o impacto emocional da linguagem. Poderíamos prever quais os comentários que, mais provavelmente levassem alguém a abandonar uma conversa? Isso não é simples de fazer. Conseguir que a IA o faça não é uma conquista trivial. Considerem estes dois exemplos de mensagens que me podiam ter enviado a semana passada: "Parte uma perna, na TED!" ou... "Eu vou partir-te as pernas na TED."
(Laughter)
(Risos)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
Vocês são seres humanos, por isso a diferença é óbvia para vocês, embora as palavras sejam praticamente iguais. Mas para a IA, é preciso treino para ensinar os modelos a reconhecer a diferença. A beleza na construção da IA que reconheça esta diferença é que a IA pode depois evoluir para a dimensão do fenómeno de toxicidade "online", que foi o nosso objetivo ao criar a nossa tecnologia "Perspective". Com a ajuda da Perspective, o New York Times, por exemplo, aumentou o número de espaços para conversas "online". Antes da nossa colaboração, só eram permitidos comentários em 10% dos artigos. A aprendizagem automática permitiu aumentar esse número para 30%. Triplicou, e nós ainda só estamos a começar.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
Mas isto é mais importante do que tornar os moderadores mais eficientes. Neste momento eu estou a ver-vos, e consigo avaliar o efeito que as minhas palavras têm em vocês. Não temos essa possibilidade "online". Imaginem se a aprendizagem automática pudesse dar a quem está a comentar, à medida que escrevem, um "feedback" em tempo real sobre o efeito que essas palavras podem ter, tal como as expressões faciais numa conversa cara-a-cara. A aprendizagem automática não é perfeita e ainda comete inúmeros erros. Mas se criarmos uma tecnologia que compreenda o impacto emocional da linguagem, podemos criar empatia. Isso significa que pode haver diálogo entre pessoas com diferentes opiniões políticas, diferentes visões do mundo e diferentes valores. E podemos dar novamente vida a espaços "online" dos quais muitos de nós já desistiram.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
Quando as pessoas usam tecnologia para explorar e causar dano a outras, estão a aproveitar-se dos nossos medos e vulnerabilidades humanas. Se alguma vez pensámos que era possível construir uma Internet isolada do lado negro da humanidade, estávamos enganados. Se queremos construir uma tecnologia que possa ultrapassar os desafios que enfrentamos, temos de nos dedicar inteiramente a perceber os problemas e a construir soluções que sejam tão humanas como os problemas que elas tentam solucionar. Vamos fazer com que isso aconteça.
Thank you.
Obrigada.
(Applause)
(Aplausos)