Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Ciao, sono Joy, una poetessa della programmazione, in missione per fermare una crescente forza inattesa. Una forza che ho chiamato "sguardo programmato", la mia espressione per la parzialità algoritmica.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
La parzialità algoritmica, come quella umana, produce ingiustizia. Tuttavia gli algoritmi, come i virus, si possono diffondere su ampia scala in tempi rapidi. La parzialità algoritmica può anche portare a esperienze di esclusione e pratiche discriminatorie. Vi mostro cosa voglio dire.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Video) Joy Buolamwini: Ciao. Ho una faccia. Puoi vedere la mia faccia? Senza occhiali? Puoi vedere la sua faccia. Che dici della mia faccia? Ho qui una maschera. Vedi la mia maschera?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Joy Buolamwini: Com'è successo? Perché ero seduta davanti al computer con una maschera bianca, tentando di essere individuata da una webcam economica? Quando non combatto "lo sguardo programmato" da poetessa della programmazione, sono una studentessa di laurea magistrale al Media Lab del MIT, dove ho avuto la opportunità di lavorare su ogni tipo di progetto stravagante, incluso lo Specchio dei Desideri, un progetto che mi consente di proiettare una maschera digitale sul mio riflesso. Così la mattina, se voglio sentirmi forte, posso indossare leone. Se volessi essere rialzata, potrei avere un'altezza. Ho utilizzzato un generico software di riconoscimento facciale per costruire il sistema, ma ho trovato molto difficile provarlo a meno di indossare una maschera bianca.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Sfortunatamente, ho già toccato questo tema. Quando ero unastudentessa di Informatica al Georgia Tech ero abituata a lavorare sui robot sociali, e uno dei miei compiti era di far giocare un robot a "booh! chi sono?", un semplice gioco a turni, dove i compagni nascondono la faccia e poi la scoprono dicendo "booh! chi sono?" Il problema è che il gioco non funziona veramente se non vi vedo, e il mio robot non mi poteva vedere. Allora mi sono fatta prestare il volto della mia compagna di stanza, e ho consegnato il compito, e ho pensato che qualcun altro risolvesse il problema.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Non molto dopo, ero a Hong Kong per una gara sulla imprenditorialità. Gli organizzatori decisero di scegliere i partecipanti esaminando le start-up locali. Una delle start-up aveva un robot sociale, e loro decisero di fare un demo. Il demo funzionò finché non giunsero a me, e forse indovinate perché. Non poteva individuare la mia faccia. Ho chiesto agli sviluppatori cosa stava succedendo, e risultò che usavano lo stesso software generico di riconoscimento facciale. Dall'altra parte del mondo, ho imparato che la parzialità algoritmica può viaggiare velocemente visto che basta scaricare qualche file da internet.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Cosa stava succedendo? Perchè la mia faccia non era riconosciuta? Dobbiamo vedere come diamo la vista alle macchine. La visione tramite computer usa tecniche di auto-apprendimento per il riconoscimento facciale. Come funziona: si creano esempi di facce per l'apprendimento. Questa è una faccia. Anche questa. Questa non è una faccia. Con il tempo, si può insegnare al computer come riconoscere altre facce. Ma se gli esempi per l'addestramento non sono veramente diversi, qualsiasi faccia che devia troppo dalla norma stabilita sarà difficile da riconoscere, che era quanto mi stava capitando.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Ma non vi preoccupate, ci sono buone notizie. Gli esempi per l'addestramento non nascono dal nulla. Siamo noi a crearli. C'è quindi la possibilità di creare gruppi di esempi ad ampio spettro che riflettono un più ricco ritratto dell'umanità.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Avete ora visto nei miei esempi come tramite i robot sociali ho scopertoa l'esclusione dovuta alla parzialità algoritmica. Ma la parzialità algoritmica può condurre anche a pratiche discriminatorie. Negli USA, i dipartimenti di polizia iniziano a usare software di riconoscimento facciale nel loro arsenale di battaglia al crimine. Georgetown Law ha pubblicato un rapporto che mostra come uno su due adulti in USA, cioè 117 milioni di persone, ha la sua faccia nelle reti per il riconoscimento facciale. I dipartimenti di polizia possono ora utilizzare queste reti non regolamentate, che usano algoritmi non verificati sulla loro accuratezza. Certo si sa che il riconoscimento facciale non è a prova di errore, ed etichettare le facce coerentemente rimane una sfida. Si può vedere ciò anche su Facebook. I miei amici ed io ridiamo quando vediamo altre persone etichettate male nelle nostre foto. Ma identificare male un sospetto criminale non è una cosa da riderci su, neppure violare le nostre libertà civili.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
Si usa l'apprendimento automatico per il riconoscimento facciale, ma si sta estendendo oltre il campo della visione via computer. Nel suo libro, "Armi per la Distruzione Matematica", la scienzata sui dati Cathy O'Neil ci parla dei crescenti nuovi WMD, algoritmi diffusi, misteriosi e distruttivi che sono sempre più usati per prendere decisioni che influiscono su molti aspetti delle nostre vite. Così, chi viene assunto o licenziato? Ottenete quel mutuo? E la assicurazione? Siete ammessi al college al quale volete andare? Voi ed io paghiamo lo stesso prezzo per lo stesso prodotto comprato sulla stessa piattaforma? [e-commerce]
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
Le forze dell'ordine stanno iniziando a usare l'apprendimento automatico per compiti di "polizia predittiva". Alcuni giudici usano valutazioni di rischio automatiche per determinare quanto tempo una persona deve passare in prigione. Veramente dobbiamo riflettere su queste decisioni. Sono giuste? Abbiamo visto che la parzialità algoritmica non necessariamente porta a esiti giusti.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Cosa possiamo fare per questo? Possiamo iniziare a riflettere su come possiamo creare codice più inclusivo e impiegare criteri di codifica inclusivi. In effetti si parte dalle persone. Con chi è interessato al codice. Stiamo veramente creando squadre ad ampio spettro, con diversi individui che possano verificare i punti oscuri dell'altro? Da un punto di vista tecnico, il modo in cui codifichiamo è importante. Stiamo puntando sulla imparzialità quando sviluppiamo i sistemi? E alla fine, perché ci interessa la codifica. Usiamo strumenti di sviluppo elaborativo per liberare immense ricchezze. Ora abbiamo l'opportunità di dar vita a una uguaglianza più vasta se diamo priorità al cambiamento sociale e non lo consideriamo un pensiero aggiuntivo. Vi sono quindi tre principi che sorreggono il movimento di "codifica inclusiva". A chi interessa il codice, come ci interessa il codice e perché ci interessa il codice.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Per puntare alla "codifica inclusiva", possiamo partire pensando di costruire piattaforme che possano identificare le parzialità raccogliendo le esperienze delle persone come quelle condivise, ma anche verificando il software esistente. Possiamo anche iniziare a creare un modello formativo più inclusivo. Pensate a una campagna mediatica "Selfie per l'inclusione" dove voi ed io possiamo aiutare gli sviluppatori a provare e creare modelli formativi più inclusivi. Possiamo anche iniziare a riflettere più consciamente sull'impatto sociale della tecnologia che stiamo sviluppando.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Per avviare il movimento di "codifica inclusiva", ho lanciato la Lega per la Giustizia Algoritmica, dove ognuno che ha a cuore la giustizia può combattere "lo sguardo programmato". Su codedgaze.com si possono segnalare parzialità, richiedere verifiche, diventare un collaudatore e unirsi alla conversazione corrente, #codedgaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Vi invito quidi ad unirvi a me nel creare un mondo dove la tecnologia lavori per tutti noi, non solo per qualcuno di noi, un mondo dove diamo valore alla inclusione e ci concentriamo sul cambiamento sociale.
Thank you.
Grazie.
(Applause)
(Applausi)
But I have one question: Will you join me in the fight?
Ma ho una domanda: Vi unirete a me nella battaglia?
(Laughter)
(Risate)
(Applause)
(Applausi)