Hallo, ich bin Joy, eine Poetin des Codes, auf einer Mission, eine unbemerkte, aufstrebende Macht aufzuhalten. Diese Macht nannte ich den "programmierten Blick". Das ist mein Begriff für algorithmische Vorurteile.
Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Algorithmische sowie menschliche Vorurteile führen zu Ungerechtigkeit. Trotzdem können Algorithmen, wie Viren, Vorurteile massiv verbreiten, mit rasanter Geschwindigkeit. Algorithmische Vorurteile können auch zu Erfahrungen des Ausschlusses und diskriminierendem Verhalten führen. Ich zeige Ihnen, was ich meine.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
(Video) Joy Buolamwini: Hi, Kamera. Ich habe ein Gesicht. Kannst du mein Gesicht sehen? Mein Gesicht ohne Brille? Du kannst ihr Gesicht sehen. Was ist mit meinem Gesicht? Ich habe eine Maske. Kannst du meine Maske sehen?
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
JB: Wie konnte das passieren? Wieso sitze ich vor einem Computer, trage eine weiße Maske und versuche, von einer billigen Webcam erkannt zu werden? Wenn ich nicht gerade den programmierten Blick als Poetin des Codes bekämpfe, dann bin ich Masterstudentin am MIT Media Lab und habe dort die Möglichkeit, an verschiedensten, wunderlichen Projekten, u. a. dem "Aspire Mirror", zu arbeiten, einem Projekt, das digitale Masken auf mein Spiegelbild projiziert. Wenn ich mich in der Früh mächtig fühlen wollte, projizierte ich einen Löwen. Wenn ich aufgemuntert werden wollte, erschien vielleicht ein Zitat. Deshalb verwendete ich eine gewöhnliche Software für Gesichtserkennung, um das System zu erstellen. Es war aber sehr schwierig zu testen, außer wenn ich eine weiße Maske trug.
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Unglücklicherweise ist mir dieses Problem schon einmal begegnet. Als ich Informatik im Bachelor an der Georgia Tech studierte, arbeitete ich mit sozialen Robotern. Eine meiner Aufgaben war es, mit einem Roboter Kuckuck zu spielen. Das ist ein einfaches Wechselspiel, bei dem man das Gesicht zudeckt und beim Aufdecken "Kuckuck!" sagt. Allerdings funktioniert das Kuckuckspiel nicht, wenn man sich nicht sieht, und mein Roboter konnte mich nicht sehen. Um das Projekt abzuschließen, verwendete ich das Gesicht meines Mitbewohners, schickte die Aufgabe ab und dachte mir: "Weißt du was, jemand anderes wird das Problem lösen."
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Relativ kurz danach war ich in Hongkong für einen Unternehmer-Wettbewerb. Die Organisatoren beschlossen, den Teilnehmenden örtliche Start-ups zu zeigen. Eines dieser Start-ups hatte einen sozialen Roboter, den sie demonstrieren wollten. Die Demonstration funktionierte bei jedem bis auf mich. Sie können wahrscheinlich erraten wieso. Er konnte mein Gesicht nicht erkennen. Ich fragte die Entwickler, was los sei. Es zeigte sich, dass wir dieselbe Software zur Gesichtserkennung benutzt hatten. Auf der anderen Seite der Welt erkannte ich, dass sich algorithmische Voreingenommenheit bereits während eines simplen Downloads verbreiten kann.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Also was ist da los? Warum wird mein Gesicht nicht erkannt? Wir müssen uns anschauen, wie wir Maschinen das Sehen beibringen. Computergestütztes Sehen verwendet maschinelles Lernen, um Gesichter zu erkennen. Dabei erstellt man ein Trainingsset mit Gesichterbeispielen. Das ist ein Gesicht. Das auch. Das ist kein Gesicht. Im Laufe der Zeit kann man einem Computer beibringen, andere Gesichter zu erkennen. Wenn die Trainingssets allerdings nicht sehr diversifiziert sind, dann sind Gesichter, die zu stark von der erstellten Norm abweichen, schwieriger zu erkennen. Das ist genau das, was mir passiert ist.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Aber machen Sie sich keine Sorgen -- es gibt gute Nachrichten. Trainingssets tauchen nicht aus dem Nichts auf. Wir erstellen sie. Also gibt es die Möglichkeit, inklusive Trainingssets zu erstellen, die ein breitgefächerteres Bild der Menschheit widerspiegeln.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Jetzt haben Sie anhand meiner Beispiele gesehen, wie soziale Roboter dazu geführt haben, dass ich von der Exklusion durch algorithmische Vorurteile erfuhr. Algorithmische Vorurteile können zu diskriminierendem Verhalten führen. Überall in den USA beginnt die Polizei, als Teil ihrer Kriminalitätsbekäpfung Software zur Gesichtserkennung zu verwenden. Georgetown Law zeigte in einem Bericht, dass einer von zwei erwachsenen US-Bürgern -- das sind 117 Mio. Menschen -- bereits in Datenbanken zur Gesichtserkennung erfasst ist. Polizeikommissariate können zurzeit uneingeschränkt auf diese zugreifen und benutzen dabei Algorithmen, die nicht auf Genauigkeit überprüft wurden. Dennoch wissen wir, dass Gesichtserkennung nicht fehlerfrei ist und dass Gesichter zuzuordnen immer noch eine Herausforderung ist. Vielleicht haben Sie das auf Facebook gesehen. Meine Freund und ich lachen immer, wenn andere Leute fälschlicherweise auf unseren Fotos markiert werden. Aber jemanden fälschlicherweise zu verdächtigen, ist nicht zum Lachen, sondern verstößt gegen Bürgerrechte.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Maschinelles Lernen wird für Gesichtserkennung, aber auch über den Bereich von computergestütztem Sehen hinaus verwendet. In ihrem Buch "Waffen der Mathezerstörung" schreibt Datenforscherin Cathy O'Neil über neue Massenvernichtungswaffen -- verbreitete, mysteriöse und zerstörerische Algorithmen, die zunehmend dazu verwendet werden, Entscheidungen zu treffen, die viele Teile unseres Lebens betreffen. Etwa wer eingestellt oder gefeuert wird. Bekommen Sie einen Kredit? Oder eine Versicherung? Werden Sie an der Uni, an der Sie studieren wollen, angenommen? Bezahlen Sie und ich denselben Preis für dasselbe Produkt, das wir auf derselben Website gekauft haben?
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
Die Strafverfolgung beginnt auch, maschinelles Lernen für Predictive Policing einzusetzen. Manche Richter benutzen maschinell generierte Risikoraten, um festzusetzen, wie lange eine bestimmte Person im Gefängnis bleiben wird. Deshalb müssen wir wirklich über diese Entscheidungen nachdenken. Sind sie fair? Wir haben gesehen, dass algorithmische Vorurteile nicht unbedingt zu fairen Ergebnissen führen.
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
Was können wir dagegen tun? Wir können darüber nachdenken, wie man inklusiveren Code schreibt und Programmiertechniken nutzt, die inklusiver sind. Es fängt bei den Menschen an. Es spielt eine Rolle, wer programmiert. Erstellen wir inklusive Teams aus diversifizierten Individuen, die gegenseitig ihre toten Winkel überprüfen können? In Hinblick auf die Technik spielt es eine Rolle, wie programmiert wird. Berücksichtigen wir Fairness beim Entwickeln von Systemen? "Warum" wir programmieren, spielt auch eine Rolle. Wir haben durch computergestütztes Design enormen Wohlstand geschaffen. Nun haben wir die Möglichkeit, noch größere Gleichheit zu schaffen, wenn wir sozialen Wandel als Priorität und nicht als Nachtrag behandeln. Das sind also die drei Grundsätze der "Incoding"-Bewegung. Es ist wichtig, wer programmiert, wie programmiert wird, und warum wir programmieren.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Auf dem Weg zu "Incoding" müssen wir darüber nachdenken, Plattformen, die Vorurteile erkennen können, zu schaffen, mit Hilfe von Erfahrungen, wie z. B. meinen, aber auch bereits existierende Software zu überprüfen. Wir können auch damit beginnen, inklusivere Trainingssets zu erstellen. Stellen Sie sich etwa eine Kampagne "Selfies für Inklusion" vor, bei der Sie und ich den Entwicklern beim Testen und Entwickeln inklusiverer Trainingssets helfen können. Wir können auch bewusster über die sozialen Auswirkungen der Technologien, die wir entwickeln, nachdenken.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Um die "Incoding"-Bewegung zu starten, gründete ich die "Algorithmic Justice Leage". Jeder kann dabei helfen, den programmierten Blick zu bekämpfen. Auf codedgaze.com können Sie über Voreingenommenheit berichten, Überprüfungen verlangen, zum Tester werden und bei laufenden Debatten mitreden, #codedgaze.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Ich lade Sie dazu ein, sich mir anzuschließen und eine Welt zu schaffen, in der Technologie für uns alle, und nicht nur für manche, funktioniert, eine Welt, in der Inklusion wertgeschätzt und soziale Veränderung im Zentrum steht.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Danke.
Thank you.
(Applaus)
(Applause)
Ich habe eine Frage: Werden Sie sich mir anschließen?
But I have one question: Will you join me in the fight?
(Gelächter)
(Laughter)
(Applaus)
(Applause)