How many decisions have been made about you today, or this week or this year, by artificial intelligence? I build AI for a living so, full disclosure, I'm kind of a nerd. And because I'm kind of a nerd, wherever some new news story comes out about artificial intelligence stealing all our jobs, or robots getting citizenship of an actual country, I'm the person my friends and followers message freaking out about the future.
Combien de décisions ont été prises sur vous aujourd'hui, cette semaine ou cette année, par intelligence artificielle ? Je gagne ma vie grâce à l'IA alors, spoiler, je suis un peu une geek. Et parce que je suis un peu une geek, chaque fois qu'il y a un nouvel article sur comment l'intelligence artificielle vole nos emplois, ou sur les robots obtenant la citoyenneté dans un pays, Je suis celle à qui mes amis et abonnés envoient un message paniqués par l'avenir.
We see this everywhere. This media panic that our robot overlords are taking over. We could blame Hollywood for that. But in reality, that's not the problem we should be focusing on. There is a more pressing danger, a bigger risk with AI, that we need to fix first. So we are back to this question: How many decisions have been made about you today by AI? And how many of these were based on your gender, your race or your background?
Nous voyons ça partout. Cette peur des médias que les robots nous dominent. Nous pourrions blâmer Hollywood pour ça. Mais ce n'est pas le problème sur lequel nous devrions nous concentrer. Il y a un danger plus pressant, un plus grand risque avec l'IA, que nous devons résoudre d'abord. Nous revenons donc à cette question : Combien de décisions ont été prises sur vous aujourd'hui par l'IA ? Et combien de ces décisions étaient basées sur votre sexe, votre origine ou votre milieu ?
Algorithms are being used all the time to make decisions about who we are and what we want. Some of the women in this room will know what I'm talking about if you've been made to sit through those pregnancy test adverts on YouTube like 1,000 times. Or you've scrolled past adverts of fertility clinics on your Facebook feed. Or in my case, Indian marriage bureaus.
Les algorithmes sont utilisés tout le temps pour décider de qui nous sommes et ce que nous voulons. Quelques femmes dans cette salle savent de quoi je parle si vous avez vu passer des pubs pour des tests de grossesse sur Youtube environ 1 000 fois. Ou vous avez vu des annonces pour des cliniques de fertilité sur votre mur Facebook. Ou comme moi, des agences de mariage indiennes.
(Laughter)
(Rires)
But AI isn't just being used to make decisions about what products we want to buy or which show we want to binge watch next. I wonder how you'd feel about someone who thought things like this: "A black or Latino person is less likely than a white person to pay off their loan on time." "A person called John makes a better programmer than a person called Mary." "A black man is more likely to be a repeat offender than a white man." You're probably thinking, "Wow, that sounds like a pretty sexist, racist person," right? These are some real decisions that AI has made very recently, based on the biases it has learned from us, from the humans. AI is being used to help decide whether or not you get that job interview; how much you pay for your car insurance; how good your credit score is; and even what rating you get in your annual performance review. But these decisions are all being filtered through its assumptions about our identity, our race, our gender, our age. How is that happening?
Mais l'IA n'est pas juste utilisée pour prendre des décisions sur les produits que nous consommons ou indiquer ce que nous voulons binge watcher. Que penseriez-vous de quelqu'un qui penserait : « Il y a moins de chances qu'une personne noire ou latino rembourse son prêt à temps par rapport à une personne blanche. » «John est un meilleur programmeur que Mary. » « Un homme noir est plus susceptible de récidiver qu'un homme blanc. » Vous pensez probablement : « Waouh, cette personne est sexiste et raciste, » n'est-ce pas ? Pourtant ce sont des décisions que des IA ont prises très récemment, basées sur les biais qu'elle a appris de nous, des humains. L'IA est utilisée pour décider de si vous obtenez cet entretien d'embauche, de combien vous payez votre assurance auto, de votre cote de solvabilité, et même de l'appréciation de votre performance annuelle. Mais ces décisions sont prises en faisant des hypothèses basées sur notre nom, notre ethnie, notre sexe et notre âge. Comment ça se passe?
Now, imagine an AI is helping a hiring manager find the next tech leader in the company. So far, the manager has been hiring mostly men. So the AI learns men are more likely to be programmers than women. And it's a very short leap from there to: men make better programmers than women. We have reinforced our own bias into the AI. And now, it's screening out female candidates. Hang on, if a human hiring manager did that, we'd be outraged, we wouldn't allow it. This kind of gender discrimination is not OK. And yet somehow, AI has become above the law, because a machine made the decision. That's not it.
Prenez une IA aidant un DRH à trouver le prochain leader high-tech de la société. Jusqu'à présent, le gérant n'a embauché que des hommes. L'IA apprend donc que les hommes sont plus souvent programmeurs que les femmes. Et de là il n'y a qu'un pas vers : « Les hommes programment mieux que les femmes. » Nous avons introduit nos propres biais dans l'IA. Et ensuite, elle élimine les candidats féminins. Si un DRH humain faisait ça, nous serions scandalisés, ça ne passerait pas. Les discriminations sexistes ne sont pas acceptables. Et pourtant, l'IA est au-dessus des lois, parce que la décision est prise par une machine. Ce n'est pas tout.
We are also reinforcing our bias in how we interact with AI. How often do you use a voice assistant like Siri, Alexa or even Cortana? They all have two things in common: one, they can never get my name right, and second, they are all female. They are designed to be our obedient servants, turning your lights on and off, ordering your shopping. You get male AIs too, but they tend to be more high-powered, like IBM Watson, making business decisions, Salesforce Einstein or ROSS, the robot lawyer. So poor robots, even they suffer from sexism in the workplace.
Nous renforçons également nos biais à travers notre interaction avec l'IA. Combien de fois avez-vous utilisé un assistant vocal comme Siri ou Alexa ? Ils ont tous deux choses en commun : ils ne prononcent jamais correctement mon nom, et deuxièmement, ce sont tous des femmes. Ils ont été créés pour être d'obéissants serviteurs, allumant et éteignant la lumière, passant des commandes. Il y a aussi des IA homme mais ils ont généralement plus de pouvoirs, par exemple, IBM Watson qui prend des décisions commerciales, Salesforce Einstein ou ROSS, le robot avocat. Ainsi, même ces pauvres robots souffrent du sexisme dans le milieu du travail.
(Laughter)
(Rires)
Think about how these two things combine and affect a kid growing up in today's world around AI. So they're doing some research for a school project and they Google images of CEO. The algorithm shows them results of mostly men. And now, they Google personal assistant. As you can guess, it shows them mostly females. And then they want to put on some music, and maybe order some food, and now, they are barking orders at an obedient female voice assistant. Some of our brightest minds are creating this technology today. Technology that they could have created in any way they wanted. And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary. Yay!
Pensez à comment ces deux points combinés affectent un enfant grandissant dans un monde baignant dans l'IA. Imaginez qu'il fasse une recherche pour un projet à l'école et qu'il tape sur Google, « images de PDG ». L'algorithme ne lui montre que des hommes. Ensuite, il tape « assistant personnel ». Comme vous pouvez l'imaginez, il n'y a pratiquement que des femmes. Ensuite, il veut mettre de la musique ou commander à manger, et pour cela il aboie des ordres à une obéissante voix féminine. Ces technologies sont créées par certains de nos plus brillants cerveaux. Ils pouvaient créer ces technologies exactement comme ils le souhaitaient. Et ils ont choisi de les créer dans le style secrétaire des « Mad Men ». Super !
But OK, don't worry, this is not going to end with me telling you that we are all heading towards sexist, racist machines running the world. The good news about AI is that it is entirely within our control. We get to teach the right values, the right ethics to AI. So there are three things we can do. One, we can be aware of our own biases and the bias in machines around us. Two, we can make sure that diverse teams are building this technology. And three, we have to give it diverse experiences to learn from. I can talk about the first two from personal experience. When you work in technology and you don't look like a Mark Zuckerberg or Elon Musk, your life is a little bit difficult, your ability gets questioned.
Ne vous inquiétez pas, je ne vais pas finir en vous disant que nous allons vers un monde dirigé par des machines sexistes et racistes. La bonne nouvelle est que les IA sont entièrement sous notre contrôle. Nous pouvons leur enseigner les bonnes valeurs, l'éthique. Il y a trois choses que nous pouvons faire. Premièrement, nous pouvons avoir conscience de nos propres biais et des biais des machines qui nous entourent. Ensuite, nous pouvons nous assurer que des équipes mixtes construisent les IA. Et enfin, les IA doivent apprendre à partir d'expériences variées. Je peux parler des deux premiers points par expérience personnelle. Quand vous travaillez dans la technologie sans ressembler à Mark Zuckerberg ou Elon Musk, votre vie est un peu difficile, vos compétences sont remises en question.
Here's just one example. Like most developers, I often join online tech forums and share my knowledge to help others. And I've found, when I log on as myself, with my own photo, my own name, I tend to get questions or comments like this: "What makes you think you're qualified to talk about AI?" "What makes you think you know about machine learning?" So, as you do, I made a new profile, and this time, instead of my own picture, I chose a cat with a jet pack on it. And I chose a name that did not reveal my gender. You can probably guess where this is going, right? So, this time, I didn't get any of those patronizing comments about my ability and I was able to actually get some work done. And it sucks, guys. I've been building robots since I was 15, I have a few degrees in computer science, and yet, I had to hide my gender in order for my work to be taken seriously.
Voici un exemple. Comme la plupart des programmeurs, je participe sur des forums tech en ligne et partage mes connaissances pour aider les autres. Et j'ai découvert qu'en me connectant avec ma vraie photo et mon vrai nom, j'ai tendance à recevoir des questions ou commentaires comme ceux-ci : « Tu crois être qualifiée pour parler d'IA ? » « Qu'est-ce qui te fait penser que tu t'y connais en machine learning ? » Je me suis donc créé un nouveau profil, avec à la place de ma photo, un chat avec un jet pack. J'ai choisi un nom qui ne révélait pas mon genre. Vous voyez où je veux en venir, non ? Cette foi, je n'ai reçu aucun commentaire condescendant sur mes capacités et je pouvais travailler correctement. Ça craint, les gars. Je construis des robots depuis mes 15 ans, j'ai plusieurs diplômes en informatique, et pourtant, je dois cacher mon genre pour que mon travail soit pris au sérieux.
So, what's going on here? Are men just better at technology than women? Another study found that when women coders on one platform hid their gender, like myself, their code was accepted four percent more than men. So this is not about the talent. This is about an elitism in AI that says a programmer needs to look like a certain person. What we really need to do to make AI better is bring people from all kinds of backgrounds. We need people who can write and tell stories to help us create personalities of AI. We need people who can solve problems. We need people who face different challenges and we need people who can tell us what are the real issues that need fixing and help us find ways that technology can actually fix it. Because, when people from diverse backgrounds come together, when we build things in the right way, the possibilities are limitless.
Que se passe-t-il ? Les hommes sont-ils juste meilleurs que les femmes en technologie ? Une autre étude a trouvé que quand les codeurs femmes cachaient, comme moi, leur genre sur une plateforme, leur code était accepté 4% de plus que celui des hommes. Donc ce n'est pas un problème de talent. C'est un problème d'élitisme dans l'IA qui dit qu'un développeur doit ressembler à une certaine personne. Ce que nous devons faire pour rendre l'IA meilleure, c'est rassembler des gens de toutes origines. Nous avons besoin de gens pouvant écrire des histoires pour créer des personnalités aux IA, pouvant résoudre des problèmes, pouvant faire face à différents défis et de personnes pouvant nous indiquer les réels problèmes à résoudre et les stratégies que les technologies peuvent mettre en place. Quand des personnes de différentes origines se rassemblent, quand nous construisons correctement, les possibilités sont infinies.
And that's what I want to end by talking to you about. Less racist robots, less machines that are going to take our jobs -- and more about what technology can actually achieve. So, yes, some of the energy in the world of AI, in the world of technology is going to be about what ads you see on your stream. But a lot of it is going towards making the world so much better. Think about a pregnant woman in the Democratic Republic of Congo, who has to walk 17 hours to her nearest rural prenatal clinic to get a checkup. What if she could get diagnosis on her phone, instead? Or think about what AI could do for those one in three women in South Africa who face domestic violence. If it wasn't safe to talk out loud, they could get an AI service to raise alarm, get financial and legal advice. These are all real examples of projects that people, including myself, are working on right now, using AI.
C'est là-dessus que je veux finir. Moins de robots racistes, de machines qui vont nous voler nos emplois, et plus de ce que les technologies peuvent réellement faire. Alors oui, une partie de l'énergie dans le monde de l'IA, des technologies, est dirigée pour décider de quelles publicités vous sont proposées. Mais une grosse partie est orientée pour rendre le monde meilleur. Imaginez une femme enceinte en République Démocratique du Congo, qui doit marcher 17 heures pour atteindre la clinique prénatale la plus proche et avoir une consultation. Et si elle pouvait avoir un diagnostic sur son téléphone ? Imaginez ce que l'IA pourrait faire pour ces 1 femmes sur 3 en Afrique du Sud qui subissent des violences domestiques. S'il est dangereux de dénoncer à voix haute, elles pourraient lancer une alarme grâce à une IA, ou avoir une aide financière et judiciaire. Ce sont de vrais projets sur lesquels des gens, moi y compris, travaillent en ce moment, avec l'IA.
So, I'm sure in the next couple of days there will be yet another news story about the existential risk, robots taking over and coming for your jobs.
Je suis certaine qu'il y aura dans les prochains jours, une histoire sur le risque pour notre existence, sur les robots nous dominant et volant nos emplois.
(Laughter)
(Rires)
And when something like that happens, I know I'll get the same messages worrying about the future. But I feel incredibly positive about this technology. This is our chance to remake the world into a much more equal place. But to do that, we need to build it the right way from the get go. We need people of different genders, races, sexualities and backgrounds. We need women to be the makers and not just the machines who do the makers' bidding. We need to think very carefully what we teach machines, what data we give them, so they don't just repeat our own past mistakes. So I hope I leave you thinking about two things. First, I hope you leave thinking about bias today. And that the next time you scroll past an advert that assumes you are interested in fertility clinics or online betting websites, that you think and remember that the same technology is assuming that a black man will reoffend. Or that a woman is more likely to be a personal assistant than a CEO. And I hope that reminds you that we need to do something about it.
Quand quelque chose comme ça se produira, je sais que je recevrai les mêmes messages s'inquiétant pour l'avenir. Mais je suis très optimiste à propos de cette technologie. C'est notre chance pour refaire de ce monde, une place égale. Pour faire ça, nous devons la construire correctement dès le départ. Nous avons besoin de personnes de divers genres, ethnies, sexualités et origines. Nous avons de femmes développeurs et pas seulement de machines embauchant les développeurs. Il nous faut penser très soigneusement à ce que nous enseignons aux machines, aux données que nous leur donnons, pour qu'elles ne répètent pas nos propres erreurs. J'espère que je vous laisse avec deux idées. Premièrement, j'espère que vous repartirez en pensant aux biais. Et que la prochaine fois que vous tomberez sur une publicité supposant que vous êtes intéressé par une clinique de fertilité ou un site de paris en ligne, vous vous souviendrez que ces mêmes technologies assument qu'un homme noir récidivera. Ou qu'une femme a plus de chances d'être assistant personnel que PDG. Et j'espère que ça vous rappellera que nous devons faire quelque chose.
And second, I hope you think about the fact that you don't need to look a certain way or have a certain background in engineering or technology to create AI, which is going to be a phenomenal force for our future. You don't need to look like a Mark Zuckerberg, you can look like me. And it is up to all of us in this room to convince the governments and the corporations to build AI technology for everyone, including the edge cases. And for us all to get education about this phenomenal technology in the future. Because if we do that, then we've only just scratched the surface of what we can achieve with AI.
Deuxièmement, j'espère que vous vous direz qu'il ne faut pas avoir une apparence ou un diplôme en particulier en ingénierie ou technologie pour créer des IA, qui seront une force phénoménale pour l'avenir. Inutile de ressembler à Mark Zuckerberg, vous pouvez me ressembler. Et c'est à vous tous, qui êtes dans cette pièce, de convaincre les gouvernements et les sociétés de construire des IA inclusives, prenant en compte les minorités. Il faut aussi que nous nous éduquions tous sur cette technologie phénoménale. Parce que si nous le faisons, nous aurons à peine effleuré la surface de ce qui peut être accompli avec l'IA.
Thank you.
Merci.
(Applause)
(Applaudissements)