Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Hej, jag är Joy, jag är poet i kod, med uppdrag att stoppa en osynlig kraft som vaknat, en kraft som jag kallar "den kodade blicken," min term för fördomar i algoritmer.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
Algoritmiska fördomar, precis som mänskliga, resulterar i orättvisa. Men, algoritmer kan, precis som virus, sprida fördomar i stor skala och i snabb takt. Fördomar i algoritmer kan också leda till att människor sållas bort och till diskriminerande praxis. Låt mig visa vad jag menar.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Video) Joy Buolamwini: Hej, kamera. Jag har ett ansikte. Kan du se mitt ansikte? Utan glasögon? Du kan se hennes ansikte. Mitt ansikte då? Jag har en mask. Kan du se min mask?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Joy Buolamwini: Hur hände det här? Varför sitter jag framför en dator med en vit mask, och försöker få en billig webbkamera att upptäcka mig? Jo, när jag inte slåss mot den kodade blicken, som en poet i kod, är jag doktorand på MIT Media Lab, och där har jag möjlighet att arbeta i en massa egendomliga projekt, inklusive Aspire Mirror, ett projekt jag startade för att projicera digitala masker på min spegelbild. Så på morgonen, när jag ville känna mig stark, kunde jag projicera ett lejon, Om jag ville peppa mig själv, projicerade jag kanske ett citat. Jag använde mjukvara för generisk ansiktsigenkänning för att bygga systemet, men upptäckte att det var väldigt svårt att testa om jag inte bar en vit mask.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Tyvärr har jag upplevt det här bekymret tidigare. När jag studerade datavetenskap på Georgia Institute of Technology, brukade jag arbeta med mänskliga robotar, och en av mina uppgifter var att få roboten att leka tittut, en enkel lek mellan två personer där man täcker sina ansikten och sedan visar dem och säger "Tittut!" Problemet är att tittut inte fungerar om man inte ser varandra, och min robot kunde inte se mig. Men jag lånade min rumskamrats ansikte för att göra klart projektet, lämnade in uppgiften, och tänkte, vet ni vad, någon annan kommer att lösa problemet.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Inte så långt därefter, var jag i Hong Kong och deltog i en tävling för entreprenörer. Organisatörerna tog med deltagarna på en rundtur bland lokala startup-företag. Ett av dessa hade en mänsklig robot, och de ville köra en demo. Demon fungerade på alla tills den kom till mig, och ni kan säkert gissa varför. Den kunde inte upptäcka mitt ansikte. Jag frågade utvecklarna vad som hänt, och det visade sig att de använt samma mjukvara för ansiktsigenkänning som jag. På andra sidan jordklotet, lärde jag mig att fördomsfulla algoritmer kan färdas lika snabbt som det tar att ladda ner några filer från internet.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Vad är det som pågår? Varför upptäcks inte mitt ansikte? Jo, vi måste titta på hur vi ger maskinerna syn. Datorigenkänning använder maskininlärningsteknik för att känna igen ansikten. Så här fungerar det, du skapar en modell med exempel på olika ansikten. Här är ett ansikte, och ett till. Detta är inte ett ansikte. Över tid, kan du lära datorn att upptäcka andra ansikten. Men, om modellen inte speglar mångfalden tillräckligt mycket, kommer ansikten som skiljer sig för mycket från den fastställda normen bli svårare att upptäcka, vilket var det som hände mig.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Men oroa er inte - det finns något gott i det. Träningsmodellerna kommer inte från ingenstans. Vi kan faktiskt skapa dem. Det finns möjligheter att skapa heltäckande modeller som skapar en djupare bild av mänskligheten.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Som ni sett i mina exempel var mänskliga robotar anledningen till att jag upptäckte exkluderingen med fördomsfulla algoritmer. Men fördomar i algoritmer kan också leda till diskriminerande normer. Över hela USA, har polismyndigheterna börjat använda mjukvara för ansiktsigenkänning som ett bland andra redskap för brottsbekämpning. Georgetown Law publicerade en rapport som visade att varannan vuxen i USA - det är 117 miljoner människor - har sina ansikten registrerade i nätverk för ansiktsigenkänning. Polisyndigheterna kan använda de här nätverken helt oreglerat, genom att använda algoritmer vars tillförlitlighet inte granskats. Trots att vi vet att ansiktsigenkänning inte är tillförlitlig, och att kunna kategorisera ansikten fortfarande är en utmaning. Du har kanske sett det på Facebook. Mina vänner och jag skrattar varje gång vi ser andra som blivit felaktigt taggade i våra bilder. Men att felaktigt identifiera en misstänkt kriminell är inget att skratta åt, inte heller att åsidosätta de mänskliga rättigheterna.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
Maskininlärning används för ansiktsigenkänning, men den används också inom andra områden. I boken "Weapons of Math Destruction," skriver forskaren Cathy O´Neil om de framväxande UMD:na - utbredda, mystiska och destruktiva algoritmer som i ökande utsträckning används för att ta beslut som påverkar fler och fler aspekter i våra liv. Vem blir anställd eller sparkad? Får du ta lån? Får du teckna försäkringar? Kommer du in på det universitet du vill? Betalar du och jag samma pris för samma produkt köpt på samma sätt?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
Lagstiftningen börjar också använda maskininlärning i förebyggande polisarbete. Vissa domare använder maskingenererade riskbedömningar för att besluta hur långa fängelsestraff som ska utdömas. Vi behöver verkligen fundera över de här besluten. Är de rättvisa? Vi har sett att fördomarna i algoritmerna inte nödvändigtvis leder till rättvisa resultat.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Så vad kan vi göra? Tja, vi kan börja fundera på hur vi skapar en mer inkluderande kod och använda en mer inkluderande praxis. Det börjar med människor. Så vem som programmerar har betydelse. Bygger vi arbetsgrupper med individer olika erfarenheter som kan se utanför varandras skygglappar? På den tekniska sidan har det betydelse hur vi programmerar. Har vi med rättviseperspektivet när vi utvecklar system? Slutligen, varför vi programmerar har betydelse. Vi har använt datorkraft för beräkningar som skapat enorma rikedomar. Nu har vi möjlighet att skapa ännu större jämlikhet om vi prioriterar sociala förändringar och inte tar dem i efterhand. De här tre principerna kommer att utgöra "inkodnings"-rörelsen. Vem som kodar har betydelse, hur vi kodar har betydelse och varför vi kodar har betydelse.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Så för att komma närmare inkodning kan vi börja fundera på att bygga plattformar som kan identifiera fördomar genom att samla in folks erfarenheter som den jag pratade om, men också genom att granska existerande mjukvara. Vi kan också börja skapa mer inkluderande modeller. Tänk er en kampanj för "Selfies för inkludering" där du och jag kan hjälpa utvecklarna testa och skapa mer inkluderande modeller. Vi kan också börja tänka mer samvetsgrant kring de sociala effekterna av tekniken som vi utvecklar.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
För att få fart på "inkodnings"-rörelsen, har jag lanserat Algorithmic Justice League, där alla som bryr sig om rättvisa kan hjälpa till att kämpa mot fördomsfull kod. På www.codegaze.com, kan du rapportera partisk kod, begära granskningar, bli testare och delta i den pågående diskussionen, #codedgaze
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Jag bjuder in er till att ansluta er till mig i skapandet av en värld där tekniken fungerar för oss alla, inte bara för några av oss, en värld där vi värdesätter inkludering och fokuserar på social förändring.
Thank you.
Tack.
(Applause)
(Applåder)
But I have one question: Will you join me in the fight?
Men jag har en fråga: Kommer ni att ansluta er till kampen?
(Laughter)
(Skratt)
(Applause)
(Applåder)