My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
Mi relación con Internet me recuerda al montaje de una típica película de terror. Ya saben, la familia dichosamente feliz se muda a su nuevo hogar perfecto, entusiasmada con su futuro perfecto, y hace un día soleado y los pájaros están cantando... Y entonces se pone oscuro. Y hay ruidos en el ático. Y nos damos cuenta de que esa casa perfecta no es tan perfecta.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
Cuando comencé a trabajar en Google en 2006, Facebook tenía solo dos años y Twitter aún no había nacido. Y estaba absolutamente asombrada con Internet y toda su promesa de hacernos más cercanos, más inteligentes y más libres. Pero mientras hacíamos el inspirador trabajo de construir motores de búsqueda y páginas para compartir videos y redes sociales, los criminales, dictadores y terroristas estaban descubriendo cómo usar esas mismas plataformas contra nosotros. Y no tuvimos la previsión de detenerlos. Últimamente, las fuerzas geopolíticas se han conectado para causar estragos. Y en respuesta, Google nos apoyó a algunos colegas y a mí para montar un nuevo grupo llamado Jigsaw, con la pretensión de lograr más seguridad contra amenazas como el extremismo violento, la censura, o persecución, amenazas que considero personales porque yo nací en Irán, y me marché después de una revolución violenta. Pero me he dado cuenta de que aunque tuviéramos todos los recursos de todas las empresas tecnológicas del mundo, aún así fallaríamos si pasáramos por alto un ingrediente crítico: las experiencias humanas de las víctimas y los infractores de esas amenazas.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
Hay muchos desafíos de los que les podría hablar hoy. Me voy a centrar en solo dos. El primero es el terrorismo. Para entender el proceso de radicalización, nos reunimos con docenas de exmiembros de grupos extremistas violentos. Una era una colegiala británica, que había sido sacada de un avión en Heathrow, en Londres, mientras trataba de abrirse camino hasta Siria para unirse al ISIS. Tenía 13 años. Así que me senté con ella y su padre, y pregunté: "¿Por qué?" Y me dijo, "Estaba mirando fotos de cómo es la vida en Siria, y pensé en irme y vivir en el mundo islámico de Disney". Eso es lo que ella vio en ISIS. Pensó que se encontraría y se casaría con un jihadista Brad Pitt e irían todo el día de compras al centro comercial y vivirían felices.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
El ISIS entiende qué impulsa a la gente, y elaboran cuidadosamente un mensaje para cada audiencia. Miren a cuántos idiomas traducen su material de mercadotecnia. Hacen panfletos, programas de radio y videos no solo en inglés y árabe, también en alemán, ruso, francés, turco, kurdo, hebreo, chino mandarín. Incluso he visto un video producido por ISIS en lenguaje de signos. Piensen en ello un segundo: El ISIS se tomó su tiempo y se esforzó por asegurarse de que su mensaje llegara a sordos e hipoacúsicos. En realidad, no es por el dominio tecnológico por lo que el ISIS gana corazones y mentes. Lo que lo consigue es su percepción de los prejuicios, las vulnerabilidades y los deseos de las personas a las que intentan llegar. Por eso no basta con que las plataformas en línea se centren en eliminar el material de reclutamiento. Si queremos tener una oportunidad de construir una tecnología significativa que contrarreste la radicalización, tenemos que comenzar con un viaje a su esencia más humana.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
Así que fuimos a Irak a hablar con hombres jóvenes que habían aceptado la promesa de heroísmo y rectitud de ISIS, que se habían armado para luchar por ellos y que habían desertado después de ser testigos de la brutalidad del gobierno del ISIS. Y estoy sentada allí en esa improvisada prisión en el norte de Irak con este chico de 23 años que se había entrenado como terrorista suicida antes de desertar. Y él nos dice: "Yo llegué a Siria lleno de esperanza, e inmediatamente, me confiscaron dos de mis preciadas posesiones: mi pasaporte y mi teléfono móvil". Los símbolos de su libertad física y digital le fueron arrebatados a su llegada. Y así fue cómo me describió ese momento de pérdida. Dijo: "Sabes, es como en 'Tom y Jerry', cuando Jerry quiere escapar, y entonces Tom cierra la puerta y se traga la llave y la ve sobresaliendo por su garganta cuando baja". Y por supuesto, de veras, pude ver la imagen que estaba describiendo, y realmente conecté con la sensación que estaba tratando de transmitir, que era un sentimiento de condena, en el que saben que no hay escapatoria.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
Y me preguntaba: ¿Qué podría haberle hecho cambiar de idea, si hubiese algo, el día que se fue de casa? Entonces pregunté, "Si supieras todo lo que sabes ahora --sobre el sufrimiento y la corrupción, la brutalidad-- ese día que te fuiste de casa, ¿aun así te habrías ido? Y él dijo: "Sí". Y pensé, "madre mía, dijo 'sí'". Y luego dijo: "En ese punto, tenía tan sorbido el seso, no pillaba ninguna información contradictoria. No podían haberme influenciado".
"Well, what if you knew everything that you know now six months before the day that you left?"
"Bueno, ¿y si supieras todo lo que sabes ahora seis meses antes del día en que te fuiste?
"At that point, I think it probably would have changed my mind."
"En ese momento, creo que probablemente habría cambiado de idea".
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
La radicalización no es esta opción de sí o no. Es un proceso, durante el cual la gente tiene preguntas... sobre ideología, religión, las condiciones de vida. Y entran en la red para obtener respuestas; es una oportunidad para conseguirlas. Y hay videos en la red de personas que tienen respuestas... desertores, por ejemplo, contando la historia de su viaje dentro y fuera de la violencia; historias como la de ese hombre que conocí en la prisión iraquí. Hay lugareños subiendo videos hechos con el móvil sobre cómo es la vida realmente en el califato bajo el mandato del ISIS. Hay clérigos que están compartiendo interpretaciones pacíficas del islam. ¿Pero saben? Estas personas generalmente no tienen la destreza de comercialización del ISIS. Arriesgan sus vidas por hablar y enfrentar la propaganda terrorista, y luego trágicamente no llegan a esas personas que más necesitan escucharles. Y nosotros quisimos ver si la tecnología podía cambiar eso.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
Así que, en 2016, nos asociamos con Moonshot CVE para pilotar un nuevo enfoque que contrarreste la radicalización llamado el "Método de Redireccionamiento". Utiliza el poder de la publicidad en red para cerrar la brecha entre esos susceptibles a los mensajes del ISIS y esas voces creíbles que están desacreditando ese mensaje. Y funciona así: alguien buscando material extremista --dicen que buscan: "¿Cómo me uno a ISIS?"-- verá aparecer un anuncio que los invita a ver un video de YouTube de un clérigo, de un desertor... alguien que tiene una respuesta auténtica. Y ese foco no se basa en el perfil de quiénes son, sino en determinar algo que es directamente relevante con su consulta o pregunta.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
Durante nuestra prueba de ocho semanas en inglés y árabe, llegamos a más de 300 000 personas que habían expresado interés o simpatía hacia un grupo yihadista. Estas personas ahora estaban viendo videos que podrían prevenirlos de tomar decisiones devastadoras. Y como el extremismo violento no se limita a ningún idioma, religión o ideología, el método de redirección se está desplegando globalmente ahora para proteger a la gente de ser cortejada en la red por ideólogos violentos, ya sean islamistas, supremacistas blancos u otros extremistas violentos, con el objetivo de darles la oportunidad de escuchar a alguien desde el otro lado de ese viaje; para darles la oportunidad de elegir un camino diferente.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
Resulta que a menudo los malos son buenos explotando Internet, no porque sean genios tecnológicos, sino porque entienden lo que hace que la gente actúe. Quiero darles un segundo ejemplo: el acoso en línea. Los acosadores en línea también buscan descubrir lo que impactará en otro ser humano. Pero no para reclutarlos como lo hace ISIS, sino para causarles dolor. Imaginen esto: son mujeres, están casadas, tienen un niño. Publican algo en las redes sociales, y como respuesta, les dicen que serán violadas, que su hijo lo verá, detallan cuándo y dónde. De hecho, publican su dirección para que todos lo vean. Parece una amenaza bastante real. ¿Creen que se irían a casa? ¿Creen que seguirían haciendo lo que estaban haciendo? ¿O continuarían haciendo eso que está irritando a tu atacante?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
El acoso en la red ha sido este arte perverso de descifrar qué hace enojar a la gente, qué hace que la gente tenga miedo, qué las hace sentir inseguras, y luego apretar esos puntos de presión hasta que sean silenciados. Cuando no se controla el acoso en la red, se reprime la libertad de expresión. E incluso las personas que moderan la conversación levantan sus brazos y las cortan, cerrando sus secciones de comentarios y foros. Eso significa que estamos perdiendo espacios en línea para reunirnos e intercambiar ideas. Y esos espacios en línea que perduran, se reducen a cámaras acústicas con personas que piensan igual que nosotros. Pero eso propicia la difusión de la desinformación; eso facilita la polarización. ¿Qué pasa si en vez de eso, la tecnología pudiera incluir empatía en la balanza?
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
Esta era la pregunta que motivó a nuestra asociación junto al equipo de Google "Contra el Abuso," la Wikipedia y periódicos como el New York Times. Queríamos ver si podíamos construir modelos de aprendizaje automático que pudieran entender el impacto emocional del lenguaje. ¿Podríamos predecir qué comentarios podrían hacer que otra persona dejara la conversación en la red? Y eso no es poca cosa. No es un logro trivial para la IA conseguir hacer algo así. Es decir, solo consideren estos dos ejemplos de mensajes que podrían haberme enviado la semana pasada. "¡Suerte: Que la rompas en TED!". ... y "Te romperemos en TED".
(Laughter)
(Risas)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
Son humanos, Por eso ven obvia la diferencia, a pesar de que las palabras son más o menos las mismas. Pero para la IA, lleva algo de práctica enseñar los modelos que reconocen esa diferencia. La belleza de construir una IA que pueda notar la diferencia es que la IA pueda modificar la escala al tamaño del fenómeno de la toxicidad en línea, y ese fue nuestro objetivo al construir nuestra tecnología llamada Perspectiva. Con la ayuda de Perspectiva, el New York Times, por ejemplo, ha aumentado los espacios en la red para la conversación. Antes de nuestra colaboración, tenían comentarios habilitados en solo el 10 % de sus artículos. Con ayuda del aprendizaje automático, ha subido a un 30 %. Así que lo han triplicado, y apenas estamos comenzando.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
Pero esto va más allá de hacer que los moderadores sean más eficientes. En este momento puedo verles, y puedo medir el impacto que tienen mis palabras en Uds. No tienen esa oportunidad en la red. Imagínense si el aprendizaje automático pudiera darles a los comentaristas, mientras escriben, una retroalimentación en tiempo real sobre cómo podrían impactar sus palabras, igual que hacen las expresiones faciales en una conversación cara a cara. El aprendizaje automático no es perfecto, y todavía comete muchos errores. Pero si podemos construir tecnologías que entiendan el impacto emocional del lenguaje, podemos construir empatía. Eso significa que podemos mantener diálogos con diferentes políticas, diferentes visiones del mundo, diferentes valores. Y podemos revitalizar los espacios en línea que la mayoría de nosotros hemos abandonado.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
Cuando usan la tecnología para explotar y dañar a otros, se están aprovechando de nuestros miedos y vulnerabilidades como seres humanos. Si alguna vez pensamos que podríamos construir una Internet aislada del lado oscuro de la humanidad, estábamos equivocados. Si hoy queremos construir una tecnología que pueda superar los desafíos que enfrentamos, tenemos que dedicarnos completamente a comprender los problemas y a construir soluciones que sean tan humanas como los problemas que pretenden resolver. Hagámoslo posible.
Thank you.
Gracias.
(Applause)
(Aplausos)