Ahoj, jsem Joy, básnířka kódu, na misi usilující o zastavení síly, která je na vzestupu, síle zvané „zakódovaný pohled“, můj termín pro algoritmický předsudek.
Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Algoritmický předsudek, stejně jako lidský směřuje k neférovosti. Nicméně, podobně jako virusy, algoritmy mohou šířit předsudky masově a velmi rychle. Algoritmický předsudek může také vést k vyloučení a diskriminujícím praktikám. Ukážu vám, co mám na mysli.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
(video) Joy: Ahoj, kamero. Mám obličej. Vidíte můj obličej? Obličej bez brýlí? Vidíte i její tvář. A co tu mou? Mám masku. Vidíte tu masku?
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
Joy: Jak se to přihodilo? Proč sedím před počítačem v bílé masce ve snaze nechat se identifikovat levnou webkamerou? Když nebojuji proti zakódovanému pohledu jako básnířka kódu, jsem studentkou Media Lab na MIT, kde mám možnost pracovat na celé řadě zvláštních projektů, třeba i na projektu Zrcadla Aspire, kde jsem se pokusila promítnout digitální masku na můj odraz. Takže ráno, když jsem se chtěla cítit silná, mohla jsem si nasadit lva. Pokud jsem chtěla povzbudit, mohla jsem mít citát. Takže jsem použila generický software na rozpoznávání obličeje pro výstavbu tohoto systému, ale bylo obtížné jej testovat, pokud jsem neměla bílou masku.
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Naneštěstí jsem na tento problém narazila již dříve. Když jsem studovala na Georgia Tech počítačovou vědu, pracovala jsem na sociálních robotech a jedním z mých úkolů bylo přimět robota hrát na schovávanou, jednoduchou hru, kde si partneři zahalí své tváře a po odhalení říkají „Ku ku ku!!“ Problém je, že to nefunguje, pokud se nevidíte, a můj robot mne nemohl vidět. Abych dokončila tento projekt, půjčila jsem si obličej spolubydlícího, odevzdala úkol a řekla si, že někdo jiný jistě vyřeší tento problém.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Zanedlouho jsem byla v Hong Kongu na podnikatelské soutěži. Organizátoři vzali účastníky na prohlídku místních start-upů. Jeden ze start-upů měl společenského robota a rozhodli se nám jej ukázat. Demo pracovalo na každém, než se dostali ke mně a asi uhádnete, co se stalo. Nedokázala detekovat mou tvář. Zeptala jsem se developerů, co se děje a ukázalo se, že použili stejný generický software pro rozpoznávání obličeje. Na druhé straně polokoule jsem zjistila, že algoritmický předsudek může cestovat tak rychle, jak dlouho trvá stažení několika souborů na počítači.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Takže co se děje? Proč můj obličej nebyl rozpoznán? Musíme se podívat na to, jak umožňujeme strojům vidět. Počítačový zrak používá techniky strojového učení, aby rozpoznal obličeje. Funguje to tak, že vytvoříte tréninkovou sadu s ukázkami tváří. To je tvář. To je tvář. To není tvář. A za čas můžete naučit počítač, jak rozpoznat jiné tváře. Ale pokud nejsou tréninkové sady dost rozmanité, každá tvář, která se příliš vzdaluje od etablované normy bude obtížně zjistitelná, což je to, co se stává mně.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Ale nebojte se - jsou i dobré zprávy. Tréningové sety se neobjevují z ničeho. Ve skutečnosti je tvoříme my. Existuje tedy příležitost vytvořit plné spektrum tréninkových setů, které reflektují pestřejší obraz lidstva.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Jak vidíte, díky společenským robotům jsem přišla na vyloučení způsobené algoritmickým předsudkem. Tento předsudek může ale také vést k diskriminačním praktikám. Policejní oddělení v USA začínají používat software na rozpoznávání obličeje jako nástroj boje proti zločinu. Gergetown Law publikovalo zprávu ukazující, že jeden ze dvou dospělých v USA - to je ze 117 milionů lidí - mají svou tvář v sítích na rozpoznávání tváře. Policie se na tyto sítě může dívat bez regulace, při použití algoritmů, které nebyly auditovány na přesnost. A to víme, že rozpoznání tváře není neomylné a označování tváří stále zůstává výzvou. Mohli jste to vidět na facebooku. S přáteli se vždy smějeme, když vidíme špatně označené lidi na fotkách. Ale není k smíchu špatně označený podezřelý, ani porušování našich občanských práv.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Pro rozpoznání tváře je používáno strojové učení, ale toto zasahuje za říši vidění počítače. Ve své knize „Zbraně matematického ničení“ Cathy O´Neil, analytička dat, hovoří o vzestupu nových zbraní - široce rozšířených, záhadných a destruktivních algoritmů, které mají dopad na více aspektů našich životů a jsou ve vzrůstající míře užívány pro rozhodování. Takže koho přijmou, koho vyhodí? Kdo dostane půjčku? Kdo bude pojištěn? Budete přijati na školu, na kterou chcete? Zaplatíme vy i já stejnou cenu za stejný produkt, zakoupený na stejné platformě?
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
Policie také začíná využívat strojové učení pro prediktivní ochranu. Někteří soudci využívají strojem generované hodnocení rizik pro určení, jak dlouho má člověk zůstat ve vězení. Opravdu musíme přemýšlet o těchto rozhodnutích. Jsou férová? Viděli jsme, že algoritmický předsudek nemusí vždy vést k férovým výsledkům.
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
Co s tím můžeme dělat? Můžeme začít uvažovat o tvorbě inkluzivnějšího kódu a užívat inkluzivní techniky kódování. Opravdu to začíná lidmi. Záleží na tom, kdo kóduje. Vytváříme široké týmy s různými osobnostmi, kteří si vzájemně mohou kontrolovat slepá místa? Po technické stránce záleží na tom, jak kódujeme. Zahrnujeme férovost do vyvíjených systémů? Nakonec záleží na tom, proč kódujeme. Využili jsme nástroje pro tvorbu, odemykající obrovské bohatství. Máme příležitost otevřít ještě větší rovnost, pokud sociální změně dáme prioritu a nebudeme na ni pouze vzpomínat. To jsou tři zásady, které jsou součástí tohoto hnutí. Záleží na tom, kdo kóduje, jak kódujeme a proč kódujeme.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Takže můžeme začít přemýšlet o vytváření platformy identifikující předsudky, sbírání takových zkušeností, kterou jsem vám vyprávěla, ale také auditování existujícího software. Také můžeme vytvářet inkluzivnější tréninkové sety. Přestavte si kampaň „Selfie pro inkluzi“, kde já a vy můžeme pomoci developerům testovat a vytvořit inkluzivnější tréninkové sety. Také můžeme začít přemýšlet svědomitěji o sociálních důsledcích technologií, které vytváříme.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
K nastartování tohoto hnutí jsem vytvořila algoritmickou Ligu spravedlivých, kde kdokoli může pomoci proti „zakódovanému pohledu“. Na codedgaze.com můžete dát vědět o předsudku, požádat si o audit, stát se testerem, nebo se zapojit do probíhající diskuse, #codedgaze.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Takže vás zvu, abyste se ke mně přidali ve vytváření světa, kde technologie pracuje pro všechny, ne jen pro některé, svět, ve kterém si ceníme inkluze a soustředíme se na sociální změnu.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Děkuji.
Thank you.
(potlesk)
(Applause)
Mám ale jednu otázku: Přidáte se k mému boji?
But I have one question: Will you join me in the fight?
(smích)
(Laughter)
(potlesk)
(Applause)