Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Bonjour, je suis Joy, une poète du code en mission pour arrêter une force invisible qui prend de l'ampleur une force que j'appelle « le regard codé », mon terme pour le biais algorithmique.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
Le biais algorithmique, comme le biais cognitif, crée de l'injustice. Mais les algorithmes, comme les virus, peuvent massivement générer un biais et ce, très rapidement. Le biais algorithmique peut aussi créer des sentiments d'exclusion et mener à des pratiques discriminatoires. Laissez-moi vous montrer ce que je veux dire.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Video) Joy Boulamwini : Salut webcam. J'ai un visage. Est-ce que tu peux le voir? Et sans lunettes ? Tu peux voir son visage à elle. Et le mien ? J'ai un masque. Est-ce que tu peux voir mon masque ?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Joy Boulamwini : Ça, comment est-ce arrivé ? Pourquoi est-ce que je me retrouve assise devant un ordinateur portant un masque blanc pour essayer d'être détectée par une webcam premier prix ? Quand je ne me bats pas contre le regard codé en tant que poète du code, Je suis doctorante au Media Lab du MIT et j'ai l'opportunité de plancher sur plein de projets fantaisistes dont le Miroir Aspire que j'ai construit pour pouvoir projeter des masques digitaux sur mon reflet. Comme ça le matin, pour me sentir plus forte, je pouvais projeter un lion. Si j'avais besoin d'encouragements, je pouvais choisir une citation. J'ai donc utilisé un logiciel de reconnaissance faciale pour construire le système, mais j'ai réalisé que je ne pouvais pas le tester à moins de porter un masque.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Malheureusement, j'avais déjà rencontré ce problème. Quand j'étais étudiante en informatique à Georgia Tech, je travaillais sur les robots sociaux et l'un de mes devoirs était de programmer un robot pour qu'il joue à « Caché », un jeu qui se joue à tour de rôle dans lequel chacun couvre son visage, puis le découvre en disant « Coucou ! » Le problème, c'est que ce jeu ne peut pas marcher si je ne peux pas vous voir et mon robot ne pouvait pas me voir. Mais j'ai emprunté le visage de ma colocataire pour finir le projet, j'ai rendu le devoir, et je me suis dit que quelqu'un d'autre résoudrait le problème.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Peu de temps après, j'étais à Hong Kong pour une compétition d'entrepreneuriat. Les organisateurs ont décidé d'emmener les participants faire le tour des start-up locales. L'une d'elles avait un robot social, ils ont décidé de faire une démonstration. Ça a marché avec tout le monde jusqu'à ce que vienne mon tour, et vous pouvez sans doute deviner. Le robot ne pouvait pas détecter mon visage. J'ai demandé aux développeurs ce qu'il se passait, et en fait nous avions utilisé le même outil de reconnaissance faciale. À l'autre bout du monde, j'avais appris que le biais algorithmique peut voyager aussi rapidement qu'un téléchargement de fichiers.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Qu'est-ce qui se passe ? Pourquoi mon visage n'est pas détecté ? Pour répondre, il faut comprendre comment on donne la vue aux machines. La vision informatique utilise des techniques de machine learning pour reconnaître des visages. Pour que ça marche, vous créez un ensemble de formation avec des exemples. Ceci est un visage. Ceci est un visage. Mais pas ça. Au fur et à mesure, l'ordinateur apprend comment reconnaître d'autres visages. Mais si les jeux de tests ne sont pas très variés, n'importe quel visage qui dévie trop de la norme établie sera plus compliqué à détecter, et c'était ce qui se passait avec moi.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Mais pas d'angoisse -- il y a de bonnes nouvelles. Les jeux de tests n'apparaissent pas par magie. On peut les créer nous-mêmes. Il y a la possibilité de créer des jeux de tests plus variés qui offrent un portrait plus riche de l'humanité.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Vous avez vu dans mes exemples que c'est via les robots sociaux que je me suis rendu compte de l'existence du biais algorithmique. Mais le biais algorithmique peut aussi mener à des pratiques discriminatoires. Aux États-Unis, la police commence à utiliser des logiciels de reconnaissance faciale dans son arsenal contre le crime. Georgetown Law a publié un rapport montrant qu'un adulte sur deux aux États-Unis - 117 millions de personnes-- ont leur visage dans un système de reconnaissance faciale. La police peut en ce moment consulter ces systèmes non régulés, en utilisant des algorithmes dont la fiabilité n'a pas été testée. Mais on sait que la reconnaissance faciale a des failles, et que correctement étiqueter un visage reste un défi. Vous l'avez sûrement vu sur Facebook. Avec mes amis, on rit souvent quand on voit d'autres personnes mal identifiées dans nos photos. Mais mal identifier un suspect comme étant un criminel n'est pas drôle, et porter atteinte aux libertés civiles non plus.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
Le machine learning est utilisé pour la reconnaissance faciale, mais s'utilise dans d'autres domaines que la vision informatique. Dans son livre « Weapons of Math Destruction », la data scientist Cathy O'Neil parle des risques de ces nouvelles armes, des algorithmes répandus, mystérieux et destructeurs qui sont de plus en plus utilisés dans des prises de décision qui ont un impact sur nos vies. Qui est embauché ou renvoyé ? Aurez-vous ce prêt ? Une assurance ? Serez-vous admis dans cette université que vous voulez vraiment ? Est-ce que vous et moi payons le même prix pour le même produit acheté sur la même plateforme ?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
Les autorités policières commencent à utiliser le machine learning dans le cadre de la prévention policière. Certains juges utilisent des scores générés par des machines pour déterminer combien de temps un individu passera derrière les barreaux. Nous devons donc réfléchir à ces décisions. Sont-elles justes ? Et nous avons vu que le biais algorithmique ne mène pas forcément à des décisions justes.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Que pouvons-nous faire ? Nous pouvons commencer à penser à une manière de coder plus inclusivement et à utiliser des pratiques de code plus inclusives. Tout commence avec les gens. Qui code a une importance. Créons-nous des équipes composées d'individus variés qui puissent vérifier mutuellement leurs travaux ? D'un point de vue technique, comment on code a de l'importance. Ajoutons-nous la justice à l'équation quand nous développons des systèmes ? Finalement, pourquoi on code a une importance. Nous avons utilisé des outils numériques pour générer d'immenses richesses. Nous avons maintenant l'opportunité de créer encore plus d'égalité si nous faisons du changement social une priorité. et pas une préoccupation secondaire. Ceci seront les trois piliers du mouvement « incoding ». Qui code a de l'importance, la manière dont on code aussi et pourquoi on code également.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Pour aller vers l'incoding, nous pouvons commencer à réfléchir à comment construire des outils pouvant identifier ce biais via la collecte de témoignages comme celui que j'ai partagé, mais qui pourraient aussi tester des logiciels existants. Nous pouvons commencer à créer des jeux de tests plus complets. Imaginez une campagne « Selfies pour l'inclusion », où vous et moi pourrions aider les développeurs à tester et créer ces jeux de tests plus variés. Nous pouvons commencer à penser plus consciencieusement à l'impact social des technologies que nous développons.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Pour commencer le mouvement incoding, J'ai lancé l'Algorithmic Justice League, où n'importe qui se souciant du problème peut aider à combattre le regard codé. Sur codedgaze.com, vous pouvez dénoncer des biais, demander des tests, être testeur vous-même et rejoindre la conversation, #codedgaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Donc je vous invite à me rejoindre pour créer un monde où la technologie marche pour nous tous, pas seulement pour certains, un monde où l'inclusion et le changement social ont de la valeur.
Thank you.
Merci.
(Applause)
(Applaudissements)
But I have one question: Will you join me in the fight?
Mais j'ai une question : Me rejoindrez-vous dans ce combat?
(Laughter)
(Rires)
(Applause)
(Applaudissements)