My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
Minha relação com a internet me lembra o roteiro de um filme de terror clichê. A radiante família feliz se muda para a nova casa perfeita, animada com seu futuro perfeito, está ensolarado, os pássaros cantam... E então começa a ficar sinistro. Há sons vindo do sótão. E descobrimos que a nova casa perfeita não é tão perfeita.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
Quando comecei a trabalhar no Google em 2016 o Facebook tinha apenas dois anos e o Twitter ainda não tinha nascido. Eu estava maravilhada pela internet e toda sua promessa de nos aproximar, nos tornar mais espertos e mais livres. Porém, ao nos dedicar à inspiradora tarefa de construir máquinas de busca, sites de compartilhamento de vídeo e redes sociais, criminosos, ditadores e terroristas estavam descobrindo como usar as mesmas plataformas contra nós. E nós não previmos isso para detê-los. Nos últimos anos, forças geopolíticas surgiram on-line para causar estragos. E, em resposta, o Google apoiou alguns colegas e eu a criar um novo grupo chamado Jigsaw com a missão de tornar as pessoas mais seguras de ameaças como o extremismo violento, censura, perseguição. Ameaças muito pessoais a mim, pois eu nasci no Irã e saí de lá após o período de uma revolução violenta. Mas percebi que, mesmo se tivéssemos todos os recursos de todas as empresas de tecnologia do mundo, nós ainda iríamos falhar caso negligenciássemos um ingrediente crítico: as experiências humanas das vítimas e os autores dessas ameaças.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
Há muitos desafios sobre os quais eu poderia falar hoje; vou focar apenas dois. Primeiro, o terrorismo. Para entender o processo de radicalização, nos encontramos com dezenas de ex-membros de grupos extremistas violentos. Um era uma estudante britânica que havia sido retirada de um avião em Londres-Heathrow, enquanto tentava entrar na Síria para se juntar ao EI. Ela só tinha 13 anos. Então me sentei com ela e seu pai e disse: "Por quê?" E ela respondeu: "Eu estava procurando por imagens de como é a vida na Síria; achei que eu estava indo viver na Disneylândia islâmica". Foi isso o que ela viu no Estado Islâmico. Ela achou que iria conhecer e se casar com um Brad Pitt jihadista, fazer compras no shopping o dia todo e viver feliz para sempre.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
O EI entende o que motiva as pessoas e, cuidadosamente, constrói uma mensagem para cada audiência. Basta ver em quantas línguas eles traduzem sua propaganda. Eles fazem planfetos, programas de rádio e vídeos não só em inglês e árabe, mas em alemão, russo, francês, turco, curdo, hebraico e chinês mandarim. Cheguei até a ver um vídeo do EI produzido em linguagem de sinais. Apenas pensem nisso por um segundo: o EI dedicou tempo e esforço para garantir que sua mensagem chegasse aos surdos e deficientes auditivos. Não é a sagacidade tecnológica a razão pela qual o EI ganha corações e mentes. É a sua percepção dos preconceitos, vulnerabilidades e desejos das pessoas que eles tentam alcançar que faz isso. É por isso que não basta que as plataformas on-line se concentrem em remover material de recrutamento. Se quisermos acertar na construção de uma tecnologia relevante que irá combater a radicalização temos que começar pela essência da jornada humana.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
Fomos ao Iraque conversar com homens jovens que aderiram à promessa do EI de heroísmo e justiça, que pegaram em armas para lutar por eles e desertaram após terem testemunhado a brutalidade das regras do EI. Eu estava sentada numa prisão improvisada no norte do Iraque com um jovem de 23 anos que foi treinado para ser homem-bomba antes de ter desertado. E ele disse: "Eu cheguei na Síria cheio de esperança e, imediatamente, tive duas de minhas mais preciosas posses confiscadas: meu passaporte e meu celular". Os ícones de sua liberdade física e digital foram retirados dele em sua chegada. Foi assim que ele descreveu aquele momento de perda para mim. Ele disse: "Sabe, no Tom e Jerry, quando o Jerry quer fugir e o Tom tranca a porta e engole a chave, e você a vê descendo garganta abaixo?" Claro, eu pude mesmo ver a imagem que ele descrevia e me conectei com o sentimento que ele tentava transmitir, que era de desgraça quando você sabe que não há saída.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
Eu fiquei pensando: "E se alguma coisa pudesse tê-lo mudado de ideia quando ele saiu de casa?" Então, perguntei: "Se você soubesse tudo o que sabe agora sobre o sofrimento, a corrupção, a brutalidade, no dia em que saiu de casa, ainda assim você teria partido?" Ele respondeu: "Sim". E pensei: "Puxa vida, ele disse sim!" E ele disse: "Naquele ponto, eu tinha sofrido tanta lavagem cerebral que eu não aceitava nenhuma informação contrária; não poderia ter sido influenciado do contrário".
"Well, what if you knew everything that you know now six months before the day that you left?"
"Bom, e se você soubesse tudo o que sabe agora seis meses antes do dia em que partiu?"
"At that point, I think it probably would have changed my mind."
"Naquele instante, acho que eu, provavelmente, teria mudado de ideia."
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
Radicalismo não é uma escolha de sim ou não. É um processo durante o qual as pessoas têm dúvidas sobre ideologia, religião, condições de vida. Elas buscam respostas on-line, o que é uma oportunidade para alcançá-las. Existem vídeos on-line de pessoas que possuem respostas desertores, por exemplo, contando a história de sua jornada para dentro e fora da violência. Histórias como a daquele homem que conheci na prisão no Iraque. Há moradores que enviaram imagens de celular de como é realmente a vida no califado sob as regras do EI. Há clérigos que estão compartilhando interpretações pacíficas do Islã. Essas pessoas, geralmente, não têm a proeza que a propaganda do EI tem. Eles arriscam suas vidas para rebater e confrontar a propaganda terrorista, e, então, tragicamente não alcançam as pessoas que mais precisam de ouvi-los. Queríamos ver se a tecnologia poderia mudar isso.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
Em 2016, fizemos uma parceria com a Moonshot CVE para testar uma nova abordagem para combater o radicalismo chamada Método de Redirecionamento. Ele usa o poder da propaganda on-line para preencher a lacuna entre aqueles suscetíveis à mensagem do EI e as vozes confiáveis que estão desbancando aquela mensagem. Funciona assim: alguém em busca de material extremista, digamos que ele busque "Como me juntar ao EI?", verá um anúncio aparecer que o convida a assistir um vídeo no Youtube de um clérigo, de um desertor, de alguém que tenha uma resposta autêntica. Esse direcionamento é baseado não no perfil de quem eles são, mas na identificação de algo que é diretamente relevante à sua consulta ou dúvida.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
Durante as oito semanas do teste, em inglês e em árabe, alcançamos mais de 300 mil pessoas que expressaram interesse ou simpatia por um grupo jihadista. Elas estavam, agora, vendo vídeos que poderiam impedi-las de fazer escolhas devastadoras. Como o extremismo violento não se limita a nenhum idioma, religião ou ideologia, o método de redirecionamento está sendo implantado globalmente para proteger pessoas sendo cortejadas on-line por idealistas violentos, sejam eles islâmicos, supremacistas brancos, ou outros extremistas violentos, com o objetivo de dar a elas a chance de ouvir alguém que esteve do outro lado dessa jornada. Dar a chance de escolher um caminho diferente.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
Às vezes, os vilões são bons em explorar a internet, não porque eles sejam gênios da tecnologia, mas porque eles entendem o que motiva as pessoas. Quero dar um segundo exemplo. Assédio on-line. Assediadores on-line também trabalham para descobrir o que vai repercutir em outro ser humano. Não para recrutá-los, como o EI faz, mas para causar-lhes dor. Imagine isso: você é uma mulher, casada, e tem um filho. Você posta algo na mídia social. Em uma resposta, te dizem que você será estuprada, que seu filho irá assistir, detalhes de quando e onde. Aliás, seu endereço é colocado on-line para todo mundo ver. Isso soa como uma ameaça bastante real. Você acha que iria para casa? Você acha que continuaria fazendo aquilo que estava fazendo ou continuaria fazendo aquilo que está irritando seu agressor?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
Abuso on-line tem sido essa arte perversa de descobrir o que causa raiva nas pessoas, o que as faz ter medo, o que as tornam inseguras, e, então, pressionar esses pontos até que elas se calem. Quando o assédio on-line não é controlado, a liberdade de expressão é sufocada. Até mesmo as pessoas conduzindo o debate jogam seus braços para cima e desistem, fechando tanto a seção de comentários quanto os fóruns. Isso significa que estamos perdendo espaço on-line para nos encontrar e trocar ideias. E, naqueles que permanecem, nos reduzimos a câmaras de ressonância com pessoas que pensam como nós. Isso permite a disseminação da desinformação, facilita a polarização. E se a tecnologia, ao invés disso, pudesse possibilitar empatia em escala?
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
Essa foi a pergunta que motivou nossa parceria com a equipe de combate ao abuso do Google, Wikipedia e jornais como o "New York Times". Queríamos ver se poderíamos fazer modelos de aprendizado de máquina que compreendessem o impacto emocional da linguagem. Poderíamos prever quais comentários eram suscetíveis de fazer alguém deixar um debate on-line? Esse não é uma tarefa fácil. Não é uma conquista trivial para o time de IA conseguir algo como isso. Apenas considerem esses dois exemplos de mensagem que poderiam ter sido enviadas a mim semana passada. "Merda pra você no TED!" e... "Vou jogar merda em você no TED."
(Laughter)
(Risos)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
Você é humano, por isso esta diferença é óbvia, mesmo as palavras sendo praticamente as mesmas. Mas, para a IA, leva uma certa prática ensinar os modelos a reconhecer essa diferença. A beleza de se construir IA capaz de fazer esta distinção é que a IA pode reduzir o tamanho do fenômeno da toxidade on-line. Esse era nosso objetivo ao construir nossa tecnologia chamada Perspective. Com a ajuda da Perspective, o "New York Times", por exemplo, aumentou espaços on-line para debate. Antes de nossa colaboração, eles só tinham comentários ativados em apenas 10% dos seus artigos. Com a ajuda do aprendizado de máquina, eles levaram o número para até 30%. Ou seja, eles o triplicaram e estamos, ainda, só começando.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
Isso vai muito além de apenas tornar os moderadores mais eficientes. Nesse instante, eu consigo te ver e avaliar como o que eu digo está soando para você. Você não tem essa oportunidade on-line. Imagine se o aprendizado de máquina pudesse dar aos comentaristas, enquanto eles digitam, feedback real sobre como suas palavras podem soar, tal como expressões faciais o fazem em conversas cara a cara. O aprendizado de máquina não é perfeito e ainda comete muitos enganos. Mas se pudermos construir uma tecnologia que compreenda o impacto emocional da linguagem, poderemos construir empatia. Isso significa poder haver diálogo entre pessoas com diferentes políticas, diferentes visões de mundo, diferentes valores. E poderemos revigorar espaços on-line de que a maioria de nós havia desistido.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
Quando as pessoas usam a tecnologia para explorar e prejudicar os outros, eles estão se alimentando dos nossos temores humanos e vulnerabilidades. Se alguma vez pensamos que poderíamos ter feito a internet isolada do lado obscuro da humanidade, estávamos errados. Se quisermos construir uma tecnologia que possa superar os desafios que enfrentamos temos que nos dedicar inteiramente a compreender tais problemas e a construir soluções que sejam tão humanas quanto os problemas que almejamos resolver. Vamos fazer isso acontecer.
Thank you.
Obrigada.
(Applause)
(Aplausos)