Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Sziasztok, én Joy vagyok, a kód poétája, és küldetésem egy láthatatlan, egyre hatalmasabb erő, a "kódolt csőlátás" megfékezése. Így nevezem én az algoritmikus torzítást.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
Ez, akárcsak az emberi előítélet, igazságtalanságokhoz vezet. Az algoritmusok azonban képesek e torzításokat járványszerűen, óriási területen és hihetetlen sebességgel terjeszteni. Az algoritmikus torzítás emellett kizárásos tapasztalatokhoz, és diszkriminációs gyakorlathoz is vezethet. Bemutatom, mire gondolok.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Videó) Szia, kamera. Van egy arcom. Látod az arcom? A szemüveg nélküli arcom? Az ő arcát látod. Mi a helyzet az én arcommal? Van egy maszkom. Látod a maszkom?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Szóval, hogy hogy is történt ez? Miért ülök egy számítógéppel szemben egy fehér maszkban, próbálva egy olcsó webkamerával felismertetni magam? Mikor épp nem a kódolt csőlátás ellen harcolo kódpoétaként, akkor vagyok végzős hallgató az MIT Media Lab-en, ahol lehetőségem van mindenféle furcsa projekten dolgozni. Ezek egyike az Aspire Mirror, melyben digitális maszkokat tudok a tükörképemre vetíteni. Reggel, ha erősnek akarom érezni magam, felveszek egy oroszlánt. Ha lelkesítésre van szükségem, akkor talán egy idézetet. E rendszer megépítéséhez egy általános arcfelismerő programot használtam, de fehér maszk nélkül nehéz volt tesztelni.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Sajnos korábban már beleütköztem ebbe a problémába. Amikor a Georgia Tech-en számítástudományt tanultam. társas robotokon dolgoztam, és az egyik feladat az volt, hogy bújócskázzak egyikükkel, ami egy egyszerű oda-vissza játék. A partnerek eltakarták az arcukat, aztán felfedték: "Aki bújt, aki nem..." A probléma, hogy nehéz bújócskázni, ha nem látjuk egymást. A robotom pedig nem látott engem. Ezért kölcsönvettem a szobatársam arcát a projekt idejére, aztán beadtam a feladatot. Majd rájöttem, hogy valaki más fogja megoldani ezt a problémát.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Nem sokkal később, Hong Kongban voltam egy vállalkozói versenyen. A szervezők látogatásra vitték a résztvevőket helybeli startup vállalkozásokhoz. Az egyiknek volt egy társas robotja, amivel készítettek egy bemutatót. Ez mindenkin működött, kivéve engem, és valószínűleg kitalálják: az én arcomat nem érzékelte. Kérdeztem a fejlesztőket, mi történik. Kiderült, hogy ugyanazt az arcfelismerő programot használtuk. A világ másik felén jöttem rá, hogy az algoritmikus torzítás terjedése olyan gyors, mint pár fájl letöltése az internetről.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
De mi is történik itt? Miért nem érzékeli az arcom? Nézzük meg, hogy tanítjuk meg látni a gépeket. A gépi látás gépi tanulási technikákat használnak az arcfelismeréshez. Ez úgy működik, hogy különböző arcokból betanító adathalmazokat készítünk. Ez egy arc. Ez egy arc. Ez nem egy arc. A gép idővel megtanul más arcokat is felismerni. Ha azonban a betanító sorozat nem elég változatos, az átlagtól jelentősen eltérő arcokat nehezen fogja felismerni. Ez történt az esetemben is.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
De semmi gond, vannak azért jó hírek is. A betanító adathalmazok nem a semmiből lesznek. Mi tudunk ilyeneket készíteni. Tudunk teljes spektrumú betanító készleteket gyártani, melyek jobban tükrözik az emberi arcok sokféleségét.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Láthatták a példáimon, hogyan vettem észre a társas robotoknál ezeket az algoritmikus torzításokat. Az algoritmikus torzítás azonban diszkriminációhoz vezethet. A rendőrség Amerika-szerte elkezdett arcfelismerő programokat használni a bűnözés elleni harcban. A Georgtown-i törvényszék jelentése szerint minden második amerikai felnőtt - azaz 117 millió ember - arca szerepel arcfelismerő hálózatokban. A rendőrség szabályozatlanul fér hozzá e hálózatokhoz, olyan algoritmusokkal, melyek pontosságát senki nem ellenőrizte. Tudjuk, hogy az arcfelismerés nem elég megbízható, és az arcok következetes felismerése továbbra is gondot okoz. Láthatták a Facebookon. A barátaim és én mindig nevetünk mások félrejelölt képein a fotóinkon. De tévesen felismerni egy bűnözőt, nem vicces, mint ahogy a személyes szabadság megsértése sem az.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
A gépi tanulást arcfelismerésre használják, de már a a számítógépes látás területén kívül is használják. "Weapons of Math Destruction" [Matematikai fegyverek] című könyvében Cathy O'Neil adattudós a WMO-k - egyre szaporodó, rejtélyes és pusztító algoritmusok - térnyeréséről ír, melyeket fontos döntések során használnak, és melyek életünk több területére kihatnak. Kit veszünk fel és kit rúgunk ki? Ki kap hitelt? Ki köthet biztosítást? Felvesznek a fősulira, ahova be akarunk kerülni? Az egy adott helyez vásárolt azonos termékekért vajon ugyanazt az árat fizetjük?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
A törvénykezés elkezdte a gépi tanulást a bűnmegelőzésben is használni. Egyes bírók gép által generált kockázati értékek alapján döntik el, mennyi időt üljön valaki börtönben. Nagyon el kell gondolkoznunk ezeken a döntéseken. Igazságosak vajon? Láthattuk, hogy az algoritmikus torzítás nem mindig vezet igazságos végkimenetelhez.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Mit tudunk hát tenni? Ki kell találnunk, hogyan készítsünk tökéletesebb kódokat, jobb kódolási gyakorlatok alkalmazásával. És ez az emberekkel kezdődik. A kódolókkal, programozókkal. Vajon a fejlesztői teamek összetétele elég változatos ahhoz, hogy a tagok képesek legyenek egymás gyenge pontjait kiküszöbölni? Technikai oldalról nézve az számít, hogy hogyan kódolunk. Beépítjük az igazságosságot a rendszerek fejlesztése során? És végül: miért is kódolunk? A számítástechnika eszközei hatalmas gazdagságra nyitottak kaput. Most lehetőségünk van nagyobb egyenlőség elérésére, ha rendszereinket kezdettől fogva a társadalmi változásokat szem előtt tartva fejlesztjük. Ez a "belekódolás" mozgalom három alapeleme: Ki kódol? Hogyan kódol? Miért kódol?
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
A "belekódolás" irányába való elmozduláshoz szükségünk lesz olyan megoldásokra, amelyek képesek az enyémhez hasonló emberi tapasztalatok gyűjtésével, és létező rendszerek ellenőrzésével felismerni az algoritmikus torzítást. Közben elkezdhetünk jobb betanító készleteket összeállítani. Képzeljünk el egy "Közreműködő selfie-k" kampányt, mellyel segíthetjük a fejlesztőket átfogóbb betanítási készletek létrehozásában és tesztelésében. És elkezdhetünk lelkiismeretesebben gondolkozni az általunk fejlesztett technológia társadalmi hatásairól.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
A "belekódolási" mozgalom elindításához Megalapítottam az Algoritmikus Igazság Ligáját, melyhez bárki csatlakozhat, és segíthet a kódolt csőlátás elleni harcban. A codedgaze.com oldalon bejelenthetnek részrehajlást, kérhetnek felülvizsgálatot, jelentkezhetnek tesztelőnek, és csatlakozhatnak beszélgetésekhez. #codedgaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Kérem hát önöket, csatlakozzanak egy világhoz, ahol a technika mindnyájunkért van, nem csak néhányunkért. Egy világhoz, ahol a részvétel és a társadalmi változás van a központban!
Thank you.
Köszönöm.
(Applause)
( Taps)
But I have one question: Will you join me in the fight?
Végül van még egy kérdésem: Csatlakoznak hozzám e harcban?
(Laughter)
(Nevetés)
(Applause)
(Taps)