How many decisions have been made about you today, or this week or this year, by artificial intelligence? I build AI for a living so, full disclosure, I'm kind of a nerd. And because I'm kind of a nerd, wherever some new news story comes out about artificial intelligence stealing all our jobs, or robots getting citizenship of an actual country, I'm the person my friends and followers message freaking out about the future.
¿Cuántas decisiones sobre Uds. han sido tomadas hoy, o esta semana, o este año, por la inteligencia artificial? Me gano la vida construyendo IA, así que, revelación total, soy una especie de nerda. Y como lo soy, cada vez que sale una noticia sobre la inteligencia artificial que nos roba nuestros trabajos o sobre robots que obtienen la ciudadanía de un país real, yo soy a quien mis amigos y mis seguidores le mandan mensajes asustados por el futuro.
We see this everywhere. This media panic that our robot overlords are taking over. We could blame Hollywood for that. But in reality, that's not the problem we should be focusing on. There is a more pressing danger, a bigger risk with AI, that we need to fix first. So we are back to this question: How many decisions have been made about you today by AI? And how many of these were based on your gender, your race or your background?
Lo vemos en todas partes: este pánico mediático en el que nuestros amos robots toman el control. Podríamos culpar de eso a Hollywood. Pero en realidad, ese no es el problema en el que nos debemos concentrar. Con la IA existe un problema más urgente, un riesgo mayor que debemos resolver primero. Así que volvamos a esta pregunta: ¿Cuántas decisiones sobre Uds. fueron tomadas hoy mediante la IA? Y cuántas de estas se han basado en su sexo, su raza o su origen?
Algorithms are being used all the time to make decisions about who we are and what we want. Some of the women in this room will know what I'm talking about if you've been made to sit through those pregnancy test adverts on YouTube like 1,000 times. Or you've scrolled past adverts of fertility clinics on your Facebook feed. Or in my case, Indian marriage bureaus.
Los algoritmos se usan todo el tiempo para tomar decisiones sobre quiénes somos y qué queremos. Algunas de las mujeres en esta sala saben de lo que hablo si han sido expuestas a esos avisos sobre pruebas de embarazo en YouTube como unas 1000 veces. O han visto avisos pasados sobre clínicas de fertilidad en su página de Facebook. O, en mi caso, oficinas indias de matrimonio.
(Laughter)
(Risas)
But AI isn't just being used to make decisions about what products we want to buy or which show we want to binge watch next. I wonder how you'd feel about someone who thought things like this: "A black or Latino person is less likely than a white person to pay off their loan on time." "A person called John makes a better programmer than a person called Mary." "A black man is more likely to be a repeat offender than a white man." You're probably thinking, "Wow, that sounds like a pretty sexist, racist person," right? These are some real decisions that AI has made very recently, based on the biases it has learned from us, from the humans. AI is being used to help decide whether or not you get that job interview; how much you pay for your car insurance; how good your credit score is; and even what rating you get in your annual performance review. But these decisions are all being filtered through its assumptions about our identity, our race, our gender, our age. How is that happening?
Pero la IA no solo se usa para tomar decisiones sobre los productos que queremos comprar o el próximo programa de televisión que queremos ver. Me pregunto qué sentirían ante alguien que piensa cosas como esta: "Una persona negra o latina tiene menos probabilidad de saldar a tiempo un préstamo que una persona blanca". "Una persona llamada Juan es un mejor programador que una persona llamada María". "Es más probable que una persona negra sea reincidente que una persona blanca". Probablemente piensen: "Oh, eso suena como una persona bastante sexista y racista", ¿no? Estas son algunas de las decisiones reales que ha tomado la IA muy recientemente, basada en los prejuicios que ha aprendido de nosotros, de los humanos. La IA se usa para ayudar a decidir si reciben o no esa entrevista de trabajo, cuánto pagan por el seguro del auto, cuán bueno es su historial de crédito, e incluso qué calificación reciben en su revisión anual de desempeño. Pero estas decisiones se filtran a través de sus supuestos sobre nuestra identidad, nuestra raza, nuestro sexo, nuestra edad. ¿Cómo ocurre eso?
Now, imagine an AI is helping a hiring manager find the next tech leader in the company. So far, the manager has been hiring mostly men. So the AI learns men are more likely to be programmers than women. And it's a very short leap from there to: men make better programmers than women. We have reinforced our own bias into the AI. And now, it's screening out female candidates. Hang on, if a human hiring manager did that, we'd be outraged, we wouldn't allow it. This kind of gender discrimination is not OK. And yet somehow, AI has become above the law, because a machine made the decision. That's not it.
Ahora imaginen que la IA está ayudando a un gerente de contrataciones a encontrar el siguiente líder de tecnología para la compañía. Hasta ahora el gerente ha estado contratando mayormente hombres. Entonces, la IA aprende que es más probable que los programadores sean hombres, en vez de mujeres. Y de ahí hay un estrecho muy corto hasta: "los hombres son mejores programadores que las mujeres". Hemos reforzado nuestros propios prejuicios en la IA. Y ahora elimina a las candidatas femeninas. Si un gerente de contratación humano hiciera eso estaríamos indignados, no lo permitiríamos. Este tipo de discriminación por el sexo no está bien. Y, sin embargo, de algún modo, la IA se ha situado sobre la ley, ya que una máquina tomó la decisión. No solo eso.
We are also reinforcing our bias in how we interact with AI. How often do you use a voice assistant like Siri, Alexa or even Cortana? They all have two things in common: one, they can never get my name right, and second, they are all female. They are designed to be our obedient servants, turning your lights on and off, ordering your shopping. You get male AIs too, but they tend to be more high-powered, like IBM Watson, making business decisions, Salesforce Einstein or ROSS, the robot lawyer. So poor robots, even they suffer from sexism in the workplace.
Estamos reforzando también nuestro prejuicio en cómo interactuamos con la IA. ¿Cuán a menudo usan un asistente de voz como Siri, Alexa o incluso Cortana? Ellos tienen dos cosas en común: una, nunca pueden captar bien mi nombre, y segundo, todas son femeninas. Están designadas para ser nuestros sirvientes obedientes, que encienden y apagan nuestras luces, que encargan nuestra compra. También hay una IA masculina, pero tiende a tener más poder, como IBM Watson, que toma decisiones de negocios, Salesforce Einstein o ROSS, el robot abogado. Así que, pobres robots, incluso ellos sufren el sexismo en el trabajo.
(Laughter)
(Risas)
Think about how these two things combine and affect a kid growing up in today's world around AI. So they're doing some research for a school project and they Google images of CEO. The algorithm shows them results of mostly men. And now, they Google personal assistant. As you can guess, it shows them mostly females. And then they want to put on some music, and maybe order some food, and now, they are barking orders at an obedient female voice assistant. Some of our brightest minds are creating this technology today. Technology that they could have created in any way they wanted. And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary. Yay!
Piensen en cómo se combinan estas dos cosas y en cómo afectan a un niño que crece en el mundo de hoy, con la IA. Por ejemplo, hacen una investigación para un proyecto escolar y buscan en Google imágenes de directores generales. El algoritmo les muestra una mayoría de hombres como resultado. Y ahora buscan en Google "asistente personal". Como se imaginarán, les muestra una mayoría de mujeres. Y luego ellos quieren poner algo de música y quizás encargar algo de comida, y dan órdenes, gritando, a una asistente de voz femenina. Algunas de nuestras mentes más brillantes están creando hoy en día esta tecnología. Una tecnología que podrían haber creado del modo que quisieran. Y, sin embargo, eligieron crearla al estilo de la secretaria de "Mad Men" de los años 50. ¡Yey!
But OK, don't worry, this is not going to end with me telling you that we are all heading towards sexist, racist machines running the world. The good news about AI is that it is entirely within our control. We get to teach the right values, the right ethics to AI. So there are three things we can do. One, we can be aware of our own biases and the bias in machines around us. Two, we can make sure that diverse teams are building this technology. And three, we have to give it diverse experiences to learn from. I can talk about the first two from personal experience. When you work in technology and you don't look like a Mark Zuckerberg or Elon Musk, your life is a little bit difficult, your ability gets questioned.
Pero no se preocupen, no voy a terminar diciéndoles que vamos rumbo hacia que las máquinas sexistas y racistas dominen el mundo. La buena noticia sobre la IA es que está completamente bajo nuestro control. Tenemos que enseñarle a la IA los valores correctos, la ética correcta. Y podemos hacer tres cosas. Una, podemos ser conscientes de nuestros propios prejuicios y de los prejuicios en las máquinas a nuestro alrededor. Dos, podemos asegurarnos de que equipos heterogéneos construyan esta tecnología. Y tres, debemos brindarle experiencias diferentes para que aprenda. Desde mi experiencia personal puedo hablar sobre las dos primeras. Cuando trabajas en tecnología y no te pareces a Mark Zuckerberg o Elon Musk, tu vida es un poco difícil, cuestionan tu capacidad.
Here's just one example. Like most developers, I often join online tech forums and share my knowledge to help others. And I've found, when I log on as myself, with my own photo, my own name, I tend to get questions or comments like this: "What makes you think you're qualified to talk about AI?" "What makes you think you know about machine learning?" So, as you do, I made a new profile, and this time, instead of my own picture, I chose a cat with a jet pack on it. And I chose a name that did not reveal my gender. You can probably guess where this is going, right? So, this time, I didn't get any of those patronizing comments about my ability and I was able to actually get some work done. And it sucks, guys. I've been building robots since I was 15, I have a few degrees in computer science, and yet, I had to hide my gender in order for my work to be taken seriously.
Este es un ejemplo. Como muchos desarrolladores, a menudo entro en foros tecnológicos en línea y comparto mis conocimientos para ayudar a otros. Y he encontrado que cuando accedo como yo, con mi foto y mi nombre, tiendo a recibir preguntas o comentarios como este: "¿Qué te hace pensar que estás cualificada para hablar sobre IA?". "Qué te hace pensar que sabes sobre el aprendizaje automático?". Así que, como Uds. lo harían, hice un nuevo perfil de Internet, y esta vez, en lugar de mi foto, elegí un gato con una mochila propulsora. Y elegí un nombre que no revelara mi sexo. Pueden imaginarse a qué conduce esto, ¿no? Esta vez no recibí ninguno de estos comentarios despectivos sobre mi capacidad y pude lograr algunas cosas. Y esto apesta, chicos. He estado construyendo robots desde los 15 años, tengo algunos títulos en informática y, sin embargo, tengo que esconder mi sexo para que tomen en serio mi trabajo.
So, what's going on here? Are men just better at technology than women? Another study found that when women coders on one platform hid their gender, like myself, their code was accepted four percent more than men. So this is not about the talent. This is about an elitism in AI that says a programmer needs to look like a certain person. What we really need to do to make AI better is bring people from all kinds of backgrounds. We need people who can write and tell stories to help us create personalities of AI. We need people who can solve problems. We need people who face different challenges and we need people who can tell us what are the real issues that need fixing and help us find ways that technology can actually fix it. Because, when people from diverse backgrounds come together, when we build things in the right way, the possibilities are limitless.
Entonces, ¿qué es lo que ocurre aquí? ¿Los hombres son mejores que las mujeres en cuanto a la tecnología? Otro estudio descubrió que cuando las mujeres que hacen código en una plataforma también ocultaron su sexo, su código fue aceptado un 4 % más que el de los hombres. Así que no es cuestión de talento. Se trata de un elitismo en la IA que dice que un programador debe tener cierto aspecto. Lo que debemos hacer realmente para mejorar la IA es atraer a personas con orígenes variados. Necesitamos gente que pueda escribir y contar historias para ayudarnos a crear las personalidades de la IA. Necesitamos gente capaz de resolver problemas. Necesitamos gente que enfrente desafíos diferentes y que nos digan cuáles son los problemas reales que necesitan resolverse y que nos ayuden a encontrar los modos en que la tecnología puede resolverlos. Porque cuando las personas de distintos orígenes se unen, cuando construimos las cosas del modo correcto, las posibilidades son ilimitadas.
And that's what I want to end by talking to you about. Less racist robots, less machines that are going to take our jobs -- and more about what technology can actually achieve. So, yes, some of the energy in the world of AI, in the world of technology is going to be about what ads you see on your stream. But a lot of it is going towards making the world so much better. Think about a pregnant woman in the Democratic Republic of Congo, who has to walk 17 hours to her nearest rural prenatal clinic to get a checkup. What if she could get diagnosis on her phone, instead? Or think about what AI could do for those one in three women in South Africa who face domestic violence. If it wasn't safe to talk out loud, they could get an AI service to raise alarm, get financial and legal advice. These are all real examples of projects that people, including myself, are working on right now, using AI.
Y eso es de lo que finalmente quiero hablarles. Menos robots racistas, menos máquinas que tomarán nuestros trabajos... y más sobre lo que la tecnología puede lograr. Así que, sí, algo de la energía en el mundo de la IA, en el mundo de la tecnología estará dirigida hacia la publicidad que ven cuando están en Internet. Pero mucho de ella se dirigirá a hacer que el mundo sea mucho mejor. Piensen en una mujer embarazada en la República Democrática del Congo, que debe caminar 17 horas hasta la clínica rural prenatal más cercana para hacerse una revisión médica. ¿Y si en lugar de eso ella pudiera obtener un diagnóstico por teléfono? O piensen en lo que la IA podría hacer por esa mujer de cada tres en Sudáfrica que sufre la violencia doméstica. Si fuera peligroso hablar en voz alta, ella podría tener un servicio de IA para lanzar la alarma, para obtener ayuda financiera y legal. Estos son ejemplos de proyectos reales que la gente, incluyéndome a mí, está trabajando ahora, empleando la IA.
So, I'm sure in the next couple of days there will be yet another news story about the existential risk, robots taking over and coming for your jobs.
Así que estoy segura de que en los próximos días habrá otra noticia sobre el riesgo existencial, robots tomando el control y tomando sus trabajos.
(Laughter)
(Risas)
And when something like that happens, I know I'll get the same messages worrying about the future. But I feel incredibly positive about this technology. This is our chance to remake the world into a much more equal place. But to do that, we need to build it the right way from the get go. We need people of different genders, races, sexualities and backgrounds. We need women to be the makers and not just the machines who do the makers' bidding. We need to think very carefully what we teach machines, what data we give them, so they don't just repeat our own past mistakes. So I hope I leave you thinking about two things. First, I hope you leave thinking about bias today. And that the next time you scroll past an advert that assumes you are interested in fertility clinics or online betting websites, that you think and remember that the same technology is assuming that a black man will reoffend. Or that a woman is more likely to be a personal assistant than a CEO. And I hope that reminds you that we need to do something about it.
Y cuando pase algo como eso, se que recibiré los mismos mensajes de preocupación con respecto al futuro. Pero me siento muy positiva con respecto a esta tecnología. Esta es nuestra oportunidad de hacer el mundo un lugar más igualitario. Pero para hacerlo debemos construirlo del modo correcto desde el principio. Necesitamos personas de distintos sexos, razas, sexualidades y orígenes. Necesitamos que las mujeres sean hacedoras, y no solo las máquinas que sigan las órdenes de los hombres. Debemos pensar muy cuidadosamente lo que le enseñamos a las máquinas, los datos que les damos, de modo que no repitan nuestros errores pasados. Espero dejarlos pensando en dos cosas. Primero, espero dejarlos pensando en los prejuicios. Y la próxima vez que vean una publicidad en Internet que asume que están interesados en clínicas de fertilidad o en sitios web de apuestas en línea, que piensen y recuerden que la misma tecnología asume que un hombre negro será reincidente; o que es más probable que una mujer sea una asistente personal y no una directora. Y espero que les recuerde que debemos hacer algo sobre eso.
And second, I hope you think about the fact that you don't need to look a certain way or have a certain background in engineering or technology to create AI, which is going to be a phenomenal force for our future. You don't need to look like a Mark Zuckerberg, you can look like me. And it is up to all of us in this room to convince the governments and the corporations to build AI technology for everyone, including the edge cases. And for us all to get education about this phenomenal technology in the future. Because if we do that, then we've only just scratched the surface of what we can achieve with AI.
Y segundo, espero que piensen sobre el hecho de que no necesitan tener un cierto aspecto o tener una cierta formación en ingeniería o tecnología para crear IA, lo que será una fuerza fenomenal para nuestro futuro. No necesitan ser parecidos a Mark Zuckerberg, pueden parecerse a mí. Y depende de todos Uds. en esta sala poder convencer a los gobiernos y las corporaciones para que construyan una IA para todos, incluso los casos marginales. Y que todos nos eduquemos en el futuro sobre esta tecnología fenomenal. Porque si hacemos eso, habremos arañado la superficie de lo que podemos lograr con la IA.
Thank you.
Gracias.
(Applause)
(Aplausos)