Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Привет, я Джой, поэт кода. Моя миссия — остановить невидимую, набирающую обороты силу, силу, которую я называю «закодированный взгляд», моё определение для алгоритмического сбоя.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
Необъективность алгоритма, как и человека, ведёт к несправедливости. Алгоритмы, как вирусы, способны распространять ошибки в больших масштабах и очень быстро. Алгоритмические отклонения могут приводить к отчуждению и дискриминации. Давайте я покажу, что я имею в виду.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Видео) Джой: Привет, камера. Вот моё лицо. Ты видишь моё лицо? Лицо без очков? Ты видишь её лицо. А моё? Теперь с маской. Видишь маску?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Джой Буоламвини: Как так получилось? Почему я сижу за компьютером в белой маске, пытаясь быть распознанной дешёвой камерой? Когда я не воюю с закодированным взглядом, будучи поэтом кода, я аспирант Медиа-лаборатории в МИТ, где у меня есть возможность работать над всяческими фантастическими проектами, включая Зеркало стремлений, которое позволяет проецировать цифровые маски на своё отражение. Например, если утром я хочу чувствовать себя сильной, я могу наложить маску льва. Если я хочу приободриться, то можно обойтись цитатой. Я использовала обычную программу распознавания лиц, чтобы создать эту систему, но оказалось, что её очень трудно тестировать, если на мне нет белой маски.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
К сожалению, я и раньше сталкивалась с этой проблемой. Когда я изучала информатику в Технологическом институте Джорджии, я работала над социальными роботами, и одной из моих задач было научить робота играть в «ку-ку». Это простая игра со сменой ролей, когда участники закрывают лицо ладонями, и, открывая, говорят: «Ку-ку!» Проблема заключается в том, что если вас не видно, то игра теряет смысл, а мой робот меня не видел. Моя соседка одолжила мне своё лицо, чтобы я смогла закончить проект, я сдала задание и подумала, что кто-нибудь другой решит эту проблему.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Через некоторое время я участвовала в конкурсе предринимателей в Гонконге. Организаторы решили показать участникам местные стартапы. В одном стартапе был социальный робот, и они решили его продемонстрировать. Демонстрация сработала на всех, пока дело не дошло до меня, и вы, наверное, уже догадались. Он не смог распознать моё лицо. Я спросила у разработчиков, в чём дело, и оказалось, что мы использовали одну и ту же программу для распознавания лиц. На другой половине земного шара до меня дошло, что алгоритмическая ошибка может распространяться так же быстро, как быстро можно скачивать файлы из интернета.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Так что же происходит? Почему моё лицо не распознаётся? Для начала рассмотрим, как мы создаём машинное зрение. Компьютерное зрение использует техники машинного обучения, чтобы распознавать лица. Это работает таким образом: вы создаёте тренировочный набор с примерами лиц. Это лицо. Это лицо. Это не лицо. И постепенно вы можете научить компьютер распознавать другие лица. Однако, если тренировочные наборы не очень разнообразны, любое лицо, которое сильно отличается от установленной нормы, будет сложно распознать, что и происходило со мной.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Но не переживайте — есть и хорошие новости. Тренировочные наборы не появляются из ниоткуда. Мы вообще-то можем их создавать. Есть возможность создавать полный спектр тренировочных наборов, которые отражают более насыщенный портрет человечества.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Вы увидели в моих примерах, как социальные роботы позволили мне обнаружить исключения из-за алгоритмической погрешности. Но алгоритмическая ошибка может также приводить к дискриминации. В США отделения полиции начинают использовать программы распознавания лиц в их арсенале борьбы с преступностью. Школа права университета Джорджтаун опубликовала отчёт, согласно которому в США один из двух взрослых — это 117 миллионов человек — имеют свои лица в сетях распознавания лиц. Отделения полиции сейчас могут неограниченно пользоваться этими сетями, используя алгоритмы, точность которых не была проверена. Но мы знаем, что распознавание лиц несовершенно и что последовательное определение лиц остаётся сложной задачей. Можно столкнуться с этим на Фейсбуке. Мы с друзьями всё время смеёмся, когда видим других людей, отмеченных на наших фото. Но ошибочное определение уголовно подозреваемого — это не шутка и не просто нарушение гражданских свобод.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
Машинное обучение используется для распознавания лиц, но не ограничивается компьютерным зрением. В своей книге «Оружие математического поражения» учёный в области данных Кэти О'нейл рассказывает о новом ОМП — охватывающих, малоизвестных и поражающих алгоритмах, которые всё чаще используются для принятия решений, которые влияют на всё большее количество аспектов нашей жизни. Кто будет принят на работу или уволен? Дадут ли вам этот кредит? Страховку? Попадёте ли вы в тот колледж, в который собирались? Одинаковы ли цены для вас и для меня на один и тот же товар, купленный на той же платформе?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
Правоохранительные органы также начинают применять машинное обучение для прогнозирования. Судьи используют рейтинги риска, сгенерированные машиной, для определения срока, который человек должен будет провести в тюрьме. Мы должны крепко задуматься над этими решениями. Справедливы ли они? Мы видели, что алгоритмический сбой ведёт к не совсем правильным результатам.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Что же мы можем с этим сделать? Для начала, мы можем задуматься о том, как создавать более всестороний код и применять инклюзивные практики в программировании. Это всё начинается с людей. Важно, кто пишет код. Создаём ли мы группы из разнообразных личностей, способных видеть слепые зоны друг друга? С технической стороны, имеет значение то, как мы пишем код. Движет ли нами справедливость во время разработки систем? И наконец, важно, для чего мы пишем код. Использование компьютерного творчества открыло нам невероятное богатство. Сейчас у нас есть возможность добиться ещё большего равенства, если мы сделаем социальное изменение приоритетной, а не запоздалой идеей. Итак, есть три принципа, которые составляют основу движения «инкодинг». Важно, кто пишет код, важно, как мы пишем код, и важно, для чего мы пишем код.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Двигаясь в сторону инкодинга, мы можем начать задумываться о создании платформ, которые могут находить ошибку, собирая опыт людей, таких как я, а также проверяющих существующее программное обеспечение. Также мы можем приступить к созданию более полных тренировочных наборов. Представьте себе кампанию «Селфи для присоединения», где вы и я можем помочь разработчикам тестировать и создавать более полные тренировочные наборы. Также мы можем начать думать более добросовестно о социальном влиянии технологии, над которой мы работаем.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Чтобы запустить движение инкодинга, я создала Лигу алгоритмической справедливости, где каждый, кто заботится о равенстве, может помочь бороться со сбоями. На codedgaze.com вы можете сообщить об ошибке, запросить проверку, стать тестировщиком и присоединиться к обсуждению. #codedgaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Я приглашаю вас присоединиться ко мне, чтобы создать мир, в котором технология работает на всех нас, а не только на некоторых, мир, в котором мы ценим инклюзию и сосредотачиваемся на социальных переменах.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)
But I have one question: Will you join me in the fight?
И у меня один вопрос: «А вы присоединитесь ко мне в этой борьбе?»
(Laughter)
(Смех)
(Applause)
(Аплодисменты)