Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Olá, sou Joy, uma "poetisa dos códigos", a minha missão é deter uma força invisível que tem crescido, uma força que chamo de "olhar codificado", é como chamo o viés algorítmico.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
Tal como o preconceito humano, ele resulta em desigualdade. Porém, os algoritmos, assim como os vírus, podem espalhar o viés em grande escala e rapidamente. O viés algorítmico também pode levar a experiências de exclusão e a práticas discriminatórias. Vou mostrar o que quero dizer.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Vídeo) Joy Boulamwini: Oi, câmera. Tenho um rosto. Consegue ver meu rosto? Um rosto sem óculos? Você consegue ver o rosto dela... E o meu? Estou usando uma máscara. Consegue vê-la?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Joy Boulamwini: Como isso aconteceu? Por que estou diante de um computador, usando uma máscara branca, tentando ser detectada por uma câmera barata? Bom, quando não estou lutando contra o olhar codificado como uma poetisa dos códigos, faço pós-graduação no Laboratório de Mídia do MIT, na qual tenho a oportunidade de trabalhar em diversos projetos bacanas, inclusive no "Aspire Mirror", projeto que criei para poder projetar máscaras digitais sobre minha imagem. De manhã, se eu quisesse me sentir poderosa, poderia usar uma de leão. Se precisasse de uma inspiração, usaria uma citação. Então, usei um software genérico de reconhecimento facial para criar o sistema, mas descobri que era bem difícil testá-lo, a não ser que usasse uma máscara branca.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Infelizmente, já tive esse problema antes. Quando cursava minha graduação em ciência da computação na Georgia Tech, eu trabalhava com robôs sociais, e uma das minhas tarefas era fazer com que um robô brincasse de "Achou!", um jogo simples de revezamento em que uma pessoa cobre o rosto e depois o mostra à outra, dizendo: "Achou!" O problema é que a brincadeira não dá certo se você não vê o outro, e meu robô não me via. Aí, peguei emprestado o rosto de uma amiga para fazer o projeto, entreguei a tarefa e pensei: "Sabe de uma coisa? Outra pessoa vai resolver esse problema".
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Pouco tempo depois, eu estava em Hong Kong, numa competição de empreendedorismo. Os organizadores decidiram levar os participantes pra visitar "start-ups" locais. Uma das start-ups tinha um robô social, e eles decidiram fazer uma demonstração. A demonstração funcionou com todos, até que chegou a minha vez e, como vocês já podem imaginar, ele não detectou meu rosto. Perguntei aos desenvolvedores por quê, e descobri que usaram o mesmo software genérico de reconhecimento facial que eu. Do outro lado do mundo, descobri que o viés algorítmico consegue viajar tão rápido quanto um download da internet.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
O que estava acontecendo? Por que meu rosto não era detectado? Bem, precisamos analisar como damos "visão" às máquinas. A visão de computador utiliza técnicas de aprendizagem automática para fazer o reconhecimento facial. Funciona assim: você cria uma série de treinamento, com alguns rostos. "Isto é um rosto. Isto é um isto. Isto não é um rosto." Com o tempo, você ensina o computador a reconhecer outros rostos. Porém, se as séries não forem diversificadas o bastante, qualquer rosto que seja muito diferente dos demais será mais difícil de detectar, e era isso que acontecia comigo.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Mas não se preocupem. Tenho boas notícias. As séries de treinamento não surgem do nada. Nós é que as criamos. Então, podemos criar séries de amplo espectro, que reflitam rostos humanos de forma mais diversa.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Vocês já viram nos exemplos que dei como os robôs sociais me fizeram ver a exclusão causada pelo viés algorítmico, mas o viés algorítmico também pode acarretar práticas discriminatórias. Em todos os Estados Unidos, departamentos de polícia estão começando a usar softwares de reconhecimento facial como parte de seu arsenal na luta contra o crime. A Georgetown Law publicou um relatório mostrando que um em cada dois adultos nos EUA, ou seja, 117 milhões de pessoas, tiveram seus rostos incluídos em redes de reconhecimento facial. Hoje, os departamentos de polícia podem usar essas redes sem qualquer regulação, usando algoritmos que não tiveram sua precisão auditada. Ainda assim, sabemos que o reconhecimento facial não é infalível, e identificar rostos de forma consistente continua sendo um desafio. Talvez já tenham visto isso no Facebook. Eu e meus amigos rimos o tempo todo quando vemos outras pessoas sendo marcadas incorretamente em nossas fotos. Mas errar na identificação de um suspeito de crime não é nada engraçado, nem violar liberdades civis.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
A aprendizagem automática vem sendo usada no reconhecimento facial, mas também vem se expandindo além da visão de computador. Em seu livro "Weapons of Math Destruction", a cientista de dados Cathy O'Neil fala sobre a ascensão dos novos "DMDs" algoritmos "disseminados, misteriosos e destrutivos" que têm sido cada vez mais utilizados na tomada de decisões que impactam mais aspectos das nossas vidas. Quem será contratado ou demitido? Vai conseguir aquele empréstimo, ou seguro? Vai entrar na faculdade que você queria? Eu e você pagamos o mesmo valor pelo mesmo produto vendido na mesma loja?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
A segurança pública também está começando a usar a aprendizagem automática no policiamento preditivo. Alguns juízes utilizam índices de risco gerados por máquinas para determinar quanto tempo um indivíduo ficará na prisão. Temos realmente que refletir sobre essas decisões. Será que são justas? E já vimos que o viés algorítmico nem sempre leva a resultados justos.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Então, o que podemos fazer? Bem, podemos começar a pensar em como criar codificação mais inclusiva e adotar práticas de codificação inclusivas. Tudo começa com pessoas. Então, é importante saber quem codifica. Estamos criando equipes diversificadas, com indivíduos diferentes que possam verificar pontos cegos uns dos outros? Quanto ao aspecto técnico, a forma como codificamos é relevante. Estamos levando em conta a equidade no desenvolvimento de sistemas? Finalmente, a razão pela qual codificamos é relevante. Utilizamos ferramentas de criação computacional para gerar imensas riquezas. Hoje temos a oportunidade de gerar igualdade ainda maior, se considerarmos a mudança social como uma prioridade e não como algo de menos importância. Esses são os três princípios na criação do movimento pela codificação inclusiva. É importante quem codifica, é importante como se codifica e é importante por que se codifica.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Então, para uma codificação inclusiva, podemos começar a pensar na criação de plataformas que identifiquem o viés, coletando as experiências das pessoas, como as que eu contei aqui, mas também auditando softwares já existentes. Também podemos começar a criar séries de treinamento mais inclusivas. Imaginem uma campanha de "'Selfies' pela Inclusão", em que eu e vocês possamos ajudar os desenvolvedores a testar e criar séries de treinamento mais inclusivas. Também podemos começar a pensar de forma mais consciente sobre o impacto social das tecnologias que temos desenvolvido.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Pra iniciarmos o movimento de codificação inclusiva lancei a Liga da Justiça Algorítmica, onde todos que se importem com a equidade podem lutar contra o olhar codificado. Em codedgaze.com, vocês podem relatar vieses, solicitar auditorias, participar dos testes e se juntar ao debate que vem ocorrendo, #codedgaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Convido vocês a se juntarem a mim na criação de um mundo onde a tecnologia trabalhe em favor de todos, não apenas em favor de alguns, um mundo onde valorizemos a inclusão e tenhamos como foco a mudança social.
Thank you.
Obrigada.
(Applause)
(Aplausos)
But I have one question: Will you join me in the fight?
Mas tenho uma pergunta: Vocês vão se juntar a mim nessa luta?
(Laughter)
(Risos)
(Applause)
(Aplausos)