Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Hola, soy Joy, una poetisa del código, en una misión para frenar una fuerza invisible que crece, una fuerza que llamo "mirada codificada", mi término para el sesgo algorítmico.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
El sesgo algorítmico, como el humano, se traduce en injusticia. Pero, los algoritmos, como los virus, pueden propagar sesgos a gran escala a un ritmo acelerado. El sesgo algorítmico puede también generar experiencias de exclusión y prácticas discriminatorias. Les mostraré lo que quiero decir.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Video) Joy Buolamwini: Hola, cámara. Tengo una cara. ¿Puedes ver mi cara? ¿Sin lentes? Puedes ver su cara. ¿Qué tal mi cara? Tengo una máscara. ¿Puedes verla?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Joy Buolamwini: ¿Cómo ocurrió esto? ¿Por qué estoy ante una computadora con una máscara blanca, intentando que una cámara barata me detecte? Cuando no lucho contra la mirada codificada como poetisa del código, soy estudiante de posgrado en el Laboratorio de Medios del MIT, y allí puedo trabajar en todo tipo de proyectos caprichosos, incluso el Aspire Mirror, un proyecto que realicé para proyectar máscaras digitales en mi propio reflejo. Entonces, de mañana, si quería sentirme poderosa, podía convertirme en león. Si quería inspiración, podía usar una cita. Entonces, usé el software de reconocimiento facial para crear el sistema, pero me resultó muy difícil probarlo sin colocarme una máscara blanca.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Desafortunadamente, ya tuve este problema antes. Cuando era estudiante de informática en Georgia Tech, solía trabajar con robots sociales, y una de mis tareas fue lograr que un robot jugara a esconderse, un juego de turnos simple donde las personas cubren sus rostros y luego las descubren diciendo: "Aquí está". El problema es que el juego no funciona, si no te pueden ver y el robot no me veía. Pero usé el rostro de mi compañera para terminar el proyecto, entregué la tarea, y pensé que otra persona resolvería este problema.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Al poco tiempo, me encontraba en Hong Kong en una competencia de emprendedores. Los organizadores decidieron llevar a los participantes a un recorrido por empresas locales emergentes. Una de ellas tenía un robot social, y decidieron hacer una demostración. La demostración funcionó bien hasta que llegó mi turno, y probablemente pueden adivinar. No pudo detectar mi rostro. Pregunté a los desarrolladores qué pasaba, y resultó que habíamos usado el mismo software genérico de reconocimiento. Al otro lado del mundo, aprendí que el sesgo algorítmico puede viajar tan rápido como el tiempo que lleva descargar archivos de Internet.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Entonces, ¿qué sucede? ¿Por qué no se detecta mi rostro? Bueno, debemos pensar cómo hacemos que las máquinas vean. La visión por computadora usa técnicas de aprendizaje de máquina para el reconocimiento facial. Se trabaja así, creando una serie de prueba con ejemplos de rostros. Esto es un rostro. Esto es un rostro. Esto no lo es. Con el tiempo, puedes enseñar a una computadora a reconocer rostros. Sin embargo, si las series de prueba no son realmente diversas, todo rostro que se desvíe mucho de la norma establecida será más difícil de detectar, que es lo que me sucedía a mí.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Pero no se preocupen, tengo buenas noticias. Las series de prueba no se materializan de la nada. En verdad las podemos crear. Por ende, se pueden crear series de prueba con espectros completos que reflejen de manera más exhaustiva un retrato de la humanidad.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Ya han visto en mis ejemplos cómo con los robots sociales me enteré de la exclusión por el sesgo algorítmico. Además, el sesgo algorítmico puede generar prácticas discriminatorias. En EE.UU. los departamentos de policía incorporan software de reconocimiento facial en su arsenal para la lucha contra el crimen. Georgetown publicó un informe que muestra que uno de cada dos adultos en EE.UU., 117 millones de personas, tiene sus rostros en redes de reconocimiento facial. Los departamentos de policía hoy tienen acceso a esas redes no reguladas, mediante algoritmos cuya exactitud no ha sido testeada. Sabemos que el reconocimiento facial no es a prueba de fallas y etiquetar rostros de forma consistente aún es un desafío. Tal vez lo han visto en Facebook. Mis amigos y yo nos reímos, cuando vemos a otros mal etiquetados en nuestras fotos. Pero identificar mal a un sospechoso no es un tema para reírse, tampoco lo es violar la libertad civil.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
El aprendizaje automático se usa para el reconocimiento facial, pero también se está extendiendo al campo de la visión por computadora. En su libro, "Armas de destrucción matemática", la científica de datos Cathy O'Neil habla sobre los nuevos WMDs, algoritmos amplios, misteriosos y destructivos que se usan cada vez más para tomar decisiones que influyen sobre muchos aspectos de nuestras vidas. ¿A quién se contrata o se despide? ¿Recibes el préstamo? ¿Y la cobertura de seguros? ¿Eres aceptado en la universidad a la que deseas entrar? ¿Tú y yo pagamos el mismo precio por el mismo producto comprado en la misma plataforma?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
La aplicación de la ley también empieza a usar el aprendizaje de máquina para la predicción de la policía. Algunos jueces usan puntajes de riesgo generados por máquinas para determinar cuánto tiempo un individuo permanecerá en prisión. Así que hay que pensar sobre estas decisiones. ¿Son justas? Y hemos visto que el sesgo algorítmico no necesariamente lleva siempre a resultados justos.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Entonces, ¿qué podemos hacer al respecto? Bueno, podemos empezar a pensar en cómo creamos un código más inclusivo y emplear prácticas de codificación inclusivas. Realmente empieza con la gente. Con los que codifican cosas. ¿Estamos creando equipos de amplio espectro con diversidad de personas que pueden comprobar los puntos ciegos de los demás? Desde el punto de vista técnico, importa cómo codificamos. ¿Lo gestionamos con equidad al desarrollar los sistemas? Y finalmente, importa por qué codificamos. Hemos usado herramientas informáticas para generar una riqueza inmensa. Ahora tenemos la oportunidad de generar una igualdad aún más grande si hacemos del cambio social una prioridad y no solo un pensamiento. Estos son los tres principios que constituirán el movimiento "codificador". Quién codifica importa, cómo codificamos importa, y por qué codificamos importa.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Así que, para abordar la codificación, podemos empezar a pensar en construir plataformas que puedan identificar sesgos reuniendo experiencias de la gente como las que compartí, pero también auditando el software existente. También podemos crear grupos de formación más inclusivos. Imaginen una campaña de "Selfies por la inclusión" donde Uds. y yo podamos ayudar a los desarrolladores a crear grupos de formación más inclusivos. Y también podemos empezar a pensar más concienzudamente sobre el impacto social de la tecnología que estamos desarrollando.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Para iniciar el movimiento de codificación, creé la Liga de la Justicia algorítmica, donde todo el que se preocupa por la equidad puede ayudar a combatir la mirada codificada. En codedgaze.com pueden informar sesgos, solicitar auditorías, convertirse en un betatesters y unirse a la conversación en curso, #codedgaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Así que los invito a que se unan a mí para crear un mundo donde la tecnología trabaje para todos nosotros, no solo para algunos de nosotros, un mundo donde se valore la inclusión y así centrar el cambio social.
Thank you.
Gracias.
(Applause)
(Aplausos)
But I have one question: Will you join me in the fight?
Pero tengo una pregunta: ¿Se unirán a mí en mi lucha?
(Laughter)
(Risas)
(Applause)
(Aplausos)