Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Olá, sou a Joy, uma poetisa de código, numa missão de fazer parar uma força invisível em ascensão, uma força a que eu chamo "olhar codificado," o meu termo para preconceito algorítmico.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
O preconceito algorítmico, como o preconceito humano, resulta da injustiça. Porém, os algoritmos, tal como os vírus, podem espalhar preconceitos numa grande escala num ritmo rápido. O preconceito em algoritmos também pode levar a experiências de exclusão e a práticas discriminatórias. Vou mostrar o que quero dizer.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Vídeo) Olá, câmara, eu tenho um rosto. Podes ver o meu rosto? Um rosto sem óculos? Podes ver o rosto dela. E o meu rosto? Tenho uma máscara. Vês a minha máscara?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Joy: Então, como é que isso aconteceu? Porque é que eu estou em frente de um computador com uma máscara branca, a tentar ser detetada por uma câmara de vídeo barata? Quando não estou a lutar contra o olhar codificado como uma poetisa de código, sou uma estudante de pós-graduação no laboratório de "media" do MIT. Aí tenho a oportunidade de trabalhar em todo tipo de projetos bizarros, incluindo o Espelho de Desejar, um projeto que fiz para poder projetar máscaras digitais para o meu reflexo. Então, pela manhã, se quisesse sentir-me poderosa, eu podia usar um leão. Se quisesse ficar inspirada, podia ter uma citação. Então eu usei o software genérico de reconhecimento facial para construir o sistema, mas descobri que era difícil testá-lo a menos que usasse uma máscara branca.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Infelizmente, eu já tinha esbarrado nesse problema. Quando era universitária em Georgia Tech e estudava ciência informática, eu costumava trabalhar em robôs sociais, e uma das minhas tarefas era fazer com que um robô jogasse às escondidas, um simples jogo de turnos em que os parceiros escondem a cara e depois destapam-na, dizendo "Espreita!" O problema é que isso só funciona se eu puder ver o outro, e o meu robô não me via. Pedi emprestada a cara da minha colega de quarto para terminar o projeto, apresentei a tarefa e pensei: "Sabem que mais, outra pessoa que resolva esse problema".
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Pouco tempo depois, eu estava em Hong Kong para uma competição de empreendedorismo. Os organizadores decidiram levar os participantes numa visita às "start-ups" locais. Uma das "start-ups" tinha um robô social, e decidiram fazer uma demonstração. A demonstração funcionou com toda a gente até chegar a minha vez. Provavelmente já adivinham. Não conseguiu detetar o meu rosto. Perguntei aos responsáveis o que é que se passava, e acontece que tínhamos usado o mesmo software genérico de reconhecimento facial. Do outro lado do mundo, aprendi que o preconceito do algoritmo pode viajar tão depressa quanto uma descarga de ficheiros da Internet.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Então, o que é que se passa? Porque é que a minha cara não é detetada? Temos de olhar para o modo como damos visão às máquinas. A visão informática usa técnicas de aprendizagem de máquina para fazer o reconhecimento facial. Funciona assim: criamos um grupo de formação com exemplos de rostos. Isto é um rosto. Isto é um rosto. Isto não é um rosto. Com o tempo, podemos ensinar o computador a reconhecer rostos. Contudo, se os grupos de formação não forem diversificados, qualquer rosto que se desvie demasiado da norma estabelecida será difícil de detetar. Era o que estava a acontecer comigo.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Mas não se preocupem, há boas notícias. Os grupos de formação não se materializam do nada. Na verdade, podemos criá-los. Portanto, há a oportunidade de criar grupos de formação com um espetro completo que reflitam um retrato mais rico da humanidade.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Vocês viram nos meus exemplos com os robôs sociais que foi como eu descobri a exclusão com o preconceito algorítmico. Mas o preconceito algorítmico também pode levar a práticas discriminatórias. Nos Estados Unidos da América, os departamentos da polícia começam a usar o software de reconhecimento facial no seu arsenal de luta contra o crime. A Faculdade de Direito de Georgetown publicou um relatório mostrando que um em dois adultos, nos EUA — ou seja, 117 milhões de pessoas — têm os rostos em redes de reconhecimento facial. Os departamentos da polícia podem procurar nessas redes não regulamentadas, usando algoritmos que não foram auditados quanto ao seu rigor. No entanto, sabemos que o reconhecimento facial não é à prova de falhas, e rotular rostos consistentemente continua a ser um problema. Podem ter visto isto no Facebook. Os meus amigos e eu estamos sempre a rir quando vemos outras pessoas mal rotuladas nas nossas fotos. Mas a má identificação de um possível criminoso não é motivo para rir, e o mesmo acontece com a violação das liberdades civis.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
A aprendizagem de máquinas está a ser usada para reconhecimento facial, mas está a estender-se para além do domínio da visão por computador. No seu livro, "Armas de Destruição Matemática" (ADM), a cientista de dados Cathy O'Neil fala sobre o aumento de novas ADM algoritmos difundidos, misteriosos e destrutivos que estão a ser cada vez mais usados para tomar decisões que afetam mais aspetos da nossa vida. Por exemplo, quem é contratado ou despedido? Recebemos esse empréstimo? Recebemos o seguro? Somos admitidos na faculdade em que queremos entrar? Pagamos todos o mesmo preço para o mesmo produto comprado na mesma plataforma?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
A polícia também está a começar a usar a aprendizagem de máquinas para policiamento preditivo. Alguns juízes usam a avaliação de risco gerada por máquinas para determinar quanto tempo um indivíduo vai passar na prisão. Portanto, temos mesmo que pensar nessas decisões. Elas sãos justas? Já vimos que o preconceito algorítmico nem sempre conduz a resultados justos.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Então, o que podemos fazer quanto a isso? Podemos começar a pensar em criar códigos mais inclusivos e usar práticas de codificação inclusiva. Isto começa com as pessoas. Por isso, é importante quem codifica. Estaremos a criar equipas de espetro completo com diversos indivíduos que podem verificar os pontos cegos uns dos outros? No lado técnico, é importante a forma como codificamos. Estaremos a considerar a equidade enquanto desenvolvemos os sistemas? E, finalmente, é importante a razão por que codificamos. Temos usado ferramentas de criação informática para desbloquear uma riqueza imensa. Agora temos a oportunidade de desbloquear uma igualdade ainda maior se dermos prioridade à mudança social e não uma reflexão tardia. Portanto, estes são os três princípios que formam o movimento "de codificação". É importante quem codifica, é importante como codificamos, e é importante a razão por que codificamos.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Para avançarmos para a codificação, podemos começar a pensar em construir plataformas que possam identificar preconceitos reunindo as experiências de pessoas como as que eu contei, e também auditando os softwares existentes. Também podemos começar a criar grupos de formação mais inclusivos. Imaginem uma campanha "Selfies para Inclusão" em que qualquer um pode ajudar os desenvolvedores a criar e testar grupos de formação mais inclusivos. Também podemos começar a pensar com maior consciência no impacto social da tecnologia que estamos a desenvolver.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Para iniciar o movimento de codificação, lancei o Algoritmo Liga da Justiça, em que todos os que se interessam pela justiça podem ajudar a lutar contra o olhar codificado. Em codedgaze.com, podem relatar preconceitos, exigir auditos, fazerem testes e participar das conversas em curso, #codedgaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Portanto, convido-os a juntarem-se a mim para criar um mundo em que a tecnologia funcione para todos nós, não apenas para alguns, um mundo em que valorizamos a inclusão e nos centramos na mudança social.
Thank you.
Obrigada.
(Applause)
(Aplausos).
But I have one question: Will you join me in the fight?
Mas eu tenho uma pergunta: Vão juntar-se a mim nesta luta?
(Laughter)
(Risos)
(Applause)
(Aplausos)