Algorithms are everywhere. They sort and separate the winners from the losers. The winners get the job or a good credit card offer. The losers don't even get an interview or they pay more for insurance. We're being scored with secret formulas that we don't understand that often don't have systems of appeal. That begs the question: What if the algorithms are wrong?
Алгоритмы повсюду. Они сортируют людей, отделяя победителей от проигравших. Победители получают желаемую работу или выгодное кредитное предложение. Неудачники даже не получают шанса на собеседование или платят больше за страхование. Нас «считывают» по секретным формулам, которые мы зачастую не понимаем, без возможности обжалования решения. Назревает вопрос: что, если эти алгоритмы ошибочны?
To build an algorithm you need two things: you need data, what happened in the past, and a definition of success, the thing you're looking for and often hoping for. You train an algorithm by looking, figuring out. The algorithm figures out what is associated with success. What situation leads to success?
Для построения алгоритма вам нужны две вещи: вам нужны данные о прошлых событиях и определение понятия «успех» — того, к чему вы стремитесь и на что надеетесь. Вы обучаете алгоритм, наблюдая за результатом. Алгоритм вычисляет всё то, что связано с успехом. Какая ситуация приводит к успеху?
Actually, everyone uses algorithms. They just don't formalize them in written code. Let me give you an example. I use an algorithm every day to make a meal for my family. The data I use is the ingredients in my kitchen, the time I have, the ambition I have, and I curate that data. I don't count those little packages of ramen noodles as food.
Каждый из нас использует алгоритмы. Мы просто не записываем их в виде формул и кодов. Приведу пример. Я использую алгоритм каждый день, когда готовлю еду для своей семьи. Данные, которые я использую, — это ингредиенты у меня на кухне, моё время, мои цели, и я организовываю эти данные. Я не считаю эти пакетики лапши пищей.
(Laughter)
(Смех)
My definition of success is: a meal is successful if my kids eat vegetables. It's very different from if my youngest son were in charge. He'd say success is if he gets to eat lots of Nutella. But I get to choose success. I am in charge. My opinion matters. That's the first rule of algorithms.
Вот моё определение успеха: блюдо удалось, если мои дети едят овощи. Мой младший сын думает по-другому. Для него успех — это если он получит много Нутеллы. Но определяю успех я. Я главная. Именно моё мнение имеет значение. Это первое правило алгоритмов.
Algorithms are opinions embedded in code. It's really different from what you think most people think of algorithms. They think algorithms are objective and true and scientific. That's a marketing trick. It's also a marketing trick to intimidate you with algorithms, to make you trust and fear algorithms because you trust and fear mathematics. A lot can go wrong when we put blind faith in big data.
Алгоритмы — это мнения, встроенные в код. Это отличается от того, как большинство людей воспринимают алгоритмы. Алгоритмы для них объективны, истинны и научны. Это маркетинговый трюк. Этот трюк используют для того, чтобы запугать вас алгоритмами, чтобы вы доверяли им и боялись их, как вы доверяете математике и боитесь еë. Опасно вкладывать слепую веру в «большие данные».
This is Kiri Soares. She's a high school principal in Brooklyn. In 2011, she told me her teachers were being scored with a complex, secret algorithm called the "value-added model." I told her, "Well, figure out what the formula is, show it to me. I'm going to explain it to you." She said, "Well, I tried to get the formula, but my Department of Education contact told me it was math and I wouldn't understand it."
Это Кири Соареш. Она директор средней школы в Бруклине. В 2011 году она рассказала, что её учителей оценивали с помощью сложного секретного алгоритма — «модели добавленной стоимости». Я сказала ей: «Выясни-ка, что это за формула и покажи мне, я попробую объяснить еë тебе». Она сказала: «Ну, я хотела получить формулу, но в отделе образования мне сказали, что это математика, и я не ничего пойму».
It gets worse. The New York Post filed a Freedom of Information Act request, got all the teachers' names and all their scores and they published them as an act of teacher-shaming. When I tried to get the formulas, the source code, through the same means, I was told I couldn't. I was denied. I later found out that nobody in New York City had access to that formula. No one understood it. Then someone really smart got involved, Gary Rubinstein. He found 665 teachers from that New York Post data that actually had two scores. That could happen if they were teaching seventh grade math and eighth grade math. He decided to plot them. Each dot represents a teacher.
Ситуация ухудшается. Газета «Нью-Йорк Пост», согласно Закона о свободе информации, опубликовала инфо с именами всех учителей и их баллами в попытке пристыдить их. Когда я сама попыталась получить формулы и исходный код, мне их не дали. Мне отказали. Позже я узнала, что никто в Нью-Йорке не имеет доступа к этой формуле. Никто её не понимал. Пока за дело не взялся кто-то умный — Гари Рубинштейн. Он обнаружил, что 665 учителей в базе данных Нью-Йорка имели две оценки. Это могло бы быть, если они преподают математику в седьмом и восьмом классах. Он решил создать график. Каждая точка представляет собой учителя.
(Laughter)
(Смех)
What is that?
Что это?
(Laughter)
(Смех)
That should never have been used for individual assessment. It's almost a random number generator.
Это нельзя было использовать для индивидуального оценивания. Это почти что генератор случайных чисел.
(Applause)
(Аплодисменты)
But it was. This is Sarah Wysocki. She got fired, along with 205 other teachers, from the Washington, DC school district, even though she had great recommendations from her principal and the parents of her kids.
Однако так и было. Это Сара Высоцки. Её уволили вместе с 205 другими учителями из школы в Вашингтоне округа Колумбия, даже не смотря на отличные рекомендации от директора её школы и родителей учеников.
I know what a lot of you guys are thinking, especially the data scientists, the AI experts here. You're thinking, "Well, I would never make an algorithm that inconsistent." But algorithms can go wrong, even have deeply destructive effects with good intentions. And whereas an airplane that's designed badly crashes to the earth and everyone sees it, an algorithm designed badly can go on for a long time, silently wreaking havoc.
Я знаю, о чём думают многие из вас, особенно специалисты ИТ, ИИ-эксперты. Вы думаете: «Ну, я бы никогда не создал такой непоследовательный алгоритм». Но алгоритм может не сработать, и даже благие намерения могут иметь глубоко разрушительный эффект. И в то время как самолёт с ошибками в проекте упадëт на землю, и все это увидят, алгоритм с ошибками может работать долгое время, бесшумно давая волю хаосу.
This is Roger Ailes.
Это Роджер Айлз.
(Laughter)
(Смех)
He founded Fox News in 1996. More than 20 women complained about sexual harassment. They said they weren't allowed to succeed at Fox News. He was ousted last year, but we've seen recently that the problems have persisted. That begs the question: What should Fox News do to turn over another leaf?
Он основал Fox News в 1996 году. Более 20 женщин жаловались на сексуальные домогательства. Они сказали, что им не дали возможности преуспеть в Fox News. Его сняли и в прошлом году, но понятно, что проблемы так и остались нерешёнными. Это вызывает вопрос: что должны делать Fox News, чтобы начать всё сначала?
Well, what if they replaced their hiring process with a machine-learning algorithm? That sounds good, right? Think about it. The data, what would the data be? A reasonable choice would be the last 21 years of applications to Fox News. Reasonable. What about the definition of success? Reasonable choice would be, well, who is successful at Fox News? I guess someone who, say, stayed there for four years and was promoted at least once. Sounds reasonable. And then the algorithm would be trained. It would be trained to look for people to learn what led to success, what kind of applications historically led to success by that definition. Now think about what would happen if we applied that to a current pool of applicants. It would filter out women because they do not look like people who were successful in the past.
Что, если бы они заменили процесс найма машинным алгоритмом? Неплохо, не так ли? Подумайте об этом. Данные, какими будут данные? Разумно было бы проанализировать 21 год опыта приёма на работу в Fox News. Разумно. Как насчёт определения успеха? Разумным было бы выбрать тех, кто преуспевает в Fox News? Я думаю, тех, кто скажем, проработал там четыре года и получил продвижение хотя бы один раз. Звучит разумно. А затем алгоритм можно было бы натренировать. Он мог бы искать людей, которые способны достичь успеха, узнать, какие из претендентов на должность были успешными в прошлом. По этому определению. Подумайте о том, что произошло бы, если применить эту формулу ко всем претендентам. Женщин можно сразу исключить, потому что среди них немного тех, кто достиг успеха в прошлом.
Algorithms don't make things fair if you just blithely, blindly apply algorithms. They don't make things fair. They repeat our past practices, our patterns. They automate the status quo. That would be great if we had a perfect world, but we don't. And I'll add that most companies don't have embarrassing lawsuits, but the data scientists in those companies are told to follow the data, to focus on accuracy. Think about what that means. Because we all have bias, it means they could be codifying sexism or any other kind of bigotry.
Алгоритмы не обеспечивают справедливости. Если вы безропотно, слепо применяете алгоритмы, они не обеспечат честность. Они повторяют наш прошлый опыт, наши шаблоны. Они автоматизируют статус-кво. Было бы здорово, если бы у нас был идеальный мир, но у нас его нет. Кстати, большинство компаний обошлись без судебных процессов, но учёным в данных компаниях велено следить за данными, чтобы сосредоточиться на их точности. Подумайте, что это значит. Поскольку все мы не лишены предвзятости, данные могут кодифицировать сексизм или другие формы дискриминации.
Thought experiment, because I like them: an entirely segregated society -- racially segregated, all towns, all neighborhoods and where we send the police only to the minority neighborhoods to look for crime. The arrest data would be very biased. What if, on top of that, we found the data scientists and paid the data scientists to predict where the next crime would occur? Minority neighborhood. Or to predict who the next criminal would be? A minority. The data scientists would brag about how great and how accurate their model would be, and they'd be right.
Вот мысленный эксперимент, потому что мне они нравятся: общество с полной сегрегацией — расовое разделение во всех городах, всех районах. Мы отправляем полицию только в окрестности меньшинств расследовать преступления. Данные об аресте будут очень предвзятыми. А что, если, мы нашли бы специалистов и заплатили им за прогноз места следующего преступления? Окрестность меньшинств. Или же за прогнозирование следующего преступника? Кто-то из меньшинств. Специалисты обработки данных хвалятся тем, насколько гениальны и точны их модели, и они правы.
Now, reality isn't that drastic, but we do have severe segregations in many cities and towns, and we have plenty of evidence of biased policing and justice system data. And we actually do predict hotspots, places where crimes will occur. And we do predict, in fact, the individual criminality, the criminality of individuals. The news organization ProPublica recently looked into one of those "recidivism risk" algorithms, as they're called, being used in Florida during sentencing by judges. Bernard, on the left, the black man, was scored a 10 out of 10. Dylan, on the right, 3 out of 10. 10 out of 10, high risk. 3 out of 10, low risk. They were both brought in for drug possession. They both had records, but Dylan had a felony but Bernard didn't. This matters, because the higher score you are, the more likely you're being given a longer sentence.
Теперь реальность не настолько радикальна, но у нас есть серьёзное разделение во многих городах, и у нас есть много доказательств предвзятости в политической и судебной системах. И мы прогнозируем горячие точки — места преступлений. И мы на самом деле предсказываем преступления отдельных лиц, преступные действия индивидов. Новостной ресурс ProPublica недавно рассмотрел один из алгоритмов — «риск рецидива», как его называют, который используется во Флориде при вынесения приговора судьями. Бернар, чернокожий человек слева, получил 10 из 10. Дилан, справа, — 3 из 10. 10 из 10 — это высокий риск. 3 из 10 — низкий риск. Они оба были привлечены за хранение наркотиков. Они оба имели аресты, но у Дилана было уголовное преступление, а у Бернарда нет. Это имеет значение, потому что чем выше оценка, тем больше вероятность того, что вам дадут более длительный срок.
What's going on? Data laundering. It's a process by which technologists hide ugly truths inside black box algorithms and call them objective; call them meritocratic. When they're secret, important and destructive, I've coined a term for these algorithms: "weapons of math destruction."
Что происходит? «Отмывание» данных. Это процесс сокрытия правды в «чёрном ящике» алгоритмов, алгоритмов объективных и заслуживающих одобрения. Они секретны, важны и разрушительны. Я придумала термин для них: «оружие математического уничтожения».
(Laughter)
(Смех)
(Applause)
(Аплодисменты)
They're everywhere, and it's not a mistake. These are private companies building private algorithms for private ends. Even the ones I talked about for teachers and the public police, those were built by private companies and sold to the government institutions. They call it their "secret sauce" -- that's why they can't tell us about it. It's also private power. They are profiting for wielding the authority of the inscrutable. Now you might think, since all this stuff is private and there's competition, maybe the free market will solve this problem. It won't. There's a lot of money to be made in unfairness.
Они повсюду, и это не ошибка. Частные компании строят частные алгоритмы для себя. Даже алгоритмы для учителей и полиции были построены частными компаниями и проданы государственным учреждениям. Они называют это своим «секретом» — вот почему они не рассказывают ничего. Это также частная власть. Они пользуются преимуществом, обеспеченным секретностью. Так как всё частное и присутствует конкуренция, свободный рынок — это выход. Но это не так. В этой несправедливости — куча денег.
Also, we're not economic rational agents. We all are biased. We're all racist and bigoted in ways that we wish we weren't, in ways that we don't even know. We know this, though, in aggregate, because sociologists have consistently demonstrated this with these experiments they build, where they send a bunch of applications to jobs out, equally qualified but some have white-sounding names and some have black-sounding names, and it's always disappointing, the results -- always.
И мы не рациональны с точки зрения экономики. Мы все предвзяты. Мы все расисты и фанатики, к сожалению, часто подсознательно. Мы это знаем, но, в совокупности, социологи демонстрируют это своими экспериментами. Они рассылают заявки квалифицированных работников, и по их именам можно понять, белые они или чернокожие. И результаты всегда разочаровывают.
So we are the ones that are biased, and we are injecting those biases into the algorithms by choosing what data to collect, like I chose not to think about ramen noodles -- I decided it was irrelevant. But by trusting the data that's actually picking up on past practices and by choosing the definition of success, how can we expect the algorithms to emerge unscathed? We can't. We have to check them. We have to check them for fairness.
Мы предвзяты и внедряем предубеждения в алгоритмы, отбирая данные. Вот я решила не думать о лапше, я решила, что это неприемлемо. Но, доверяя собранным ранее данным и выбирая своё определение успеха, можно ли ожидать, что алгоритмы окажутся непредвзятыми? Нет. Мы должны их проверять. Мы должны проверять их на справедливость.
The good news is, we can check them for fairness. Algorithms can be interrogated, and they will tell us the truth every time. And we can fix them. We can make them better. I call this an algorithmic audit, and I'll walk you through it.
Хорошей новостью является то, что мы можем это сделать. Алгоритмы можно допросить, и они всегда скажут нам правду. И мы можем их исправить. Мы можем их улучшить. Это алгоритмический аудит, и я вам сейчас объясню.
First, data integrity check. For the recidivism risk algorithm I talked about, a data integrity check would mean we'd have to come to terms with the fact that in the US, whites and blacks smoke pot at the same rate but blacks are far more likely to be arrested -- four or five times more likely, depending on the area. What is that bias looking like in other crime categories, and how do we account for it?
Во-первых — проверка целостности данных. Для алгоритма определения риска рецидива, о котором я говорила ранее, проверка целостности данных означает принятие факта о том, что в США белые и чёрные курят марихуану одинаково, но чернокожих чаще задерживают. Вероятность ареста в 4–5 раз выше, в зависимости от района. Как это выглядит в других сферах права, и как это можно объяснить?
Second, we should think about the definition of success, audit that. Remember -- with the hiring algorithm? We talked about it. Someone who stays for four years and is promoted once? Well, that is a successful employee, but it's also an employee that is supported by their culture. That said, also it can be quite biased. We need to separate those two things. We should look to the blind orchestra audition as an example. That's where the people auditioning are behind a sheet. What I want to think about there is the people who are listening have decided what's important and they've decided what's not important, and they're not getting distracted by that. When the blind orchestra auditions started, the number of women in orchestras went up by a factor of five.
Во-вторых — успех, проверьте его. Помните? Алгоритм принятия на работу? У кого стаж четыре года и одно продвижение? Это — успешный сотрудник, но это и тот, кого поддерживает культура компании. И это может быть довольно предвзятым. Нам нужно разделять эти две вещи. Вот слепое cобеседование для примера. Прослушивают людей, не видя их. Я думаю о том, что прослушивающие люди решили, что важно для них, а что нет. И больше они не отвлекаются на эту тему. Когда начались «слепые оркестровые прослушивания», число женщин в оркестрах выросло в пять раз.
Next, we have to consider accuracy. This is where the value-added model for teachers would fail immediately. No algorithm is perfect, of course, so we have to consider the errors of every algorithm. How often are there errors, and for whom does this model fail? What is the cost of that failure?
Затем мы должны учитывать точность. Тут модель добавленной стоимости для учителей провалилась бы сразу. Конечно, нет идеальных алгоритмов, поэтому мы должны учитывать ошибки всех алгоритмов. Когда бывают ошибки, к кому эта модель не подходит? Какова цена этой неудачи?
And finally, we have to consider the long-term effects of algorithms, the feedback loops that are engendering. That sounds abstract, but imagine if Facebook engineers had considered that before they decided to show us only things that our friends had posted.
И, наконец, мы должны рассмотреть долгосрочные эффекты алгоритмов, петли обратной связи. Это звучит абстрактно, но представьте, если бы об этом подумали творцы Facebook, прежде чем они решили показать нам публикации наших друзей.
I have two more messages, one for the data scientists out there. Data scientists: we should not be the arbiters of truth. We should be translators of ethical discussions that happen in larger society.
У меня есть ещё два сообщения, одно для ИТ специалистов. Ребята, мы не должны быть судьями правды, мы должны передавать этику широкой общественности.
(Applause)
(Аплодисменты)
And the rest of you, the non-data scientists: this is not a math test. This is a political fight. We need to demand accountability for our algorithmic overlords.
А для остальных, не специалистов ИТ: это не математический тест. Это политическая борьба. Нужна отчётность собственников алгоритмов.
(Applause)
(Аплодисменты)
The era of blind faith in big data must end.
Эре слепой веры в «большие данные» конец!
Thank you very much.
Спасибо большое.
(Applause)
(Аплодисменты)