Algorithms are everywhere. They sort and separate the winners from the losers. The winners get the job or a good credit card offer. The losers don't even get an interview or they pay more for insurance. We're being scored with secret formulas that we don't understand that often don't have systems of appeal. That begs the question: What if the algorithms are wrong?
Os algoritmos estão em todo o lado. Eles classificam e separam os vencedores dos perdedores. Os vencedores ficam com o emprego ou uma boa oferta para o cartão de crédito. Os que perdem nem sequer vão à entrevista mas pagam mais pelo seguro. Estamos a ser marcados com fórmulas secretas que não entendemos e que, muitas vezes, não têm sistemas de recurso. Isto traz-nos a pergunta: E se os algoritmos estão errados?
To build an algorithm you need two things: you need data, what happened in the past, and a definition of success, the thing you're looking for and often hoping for. You train an algorithm by looking, figuring out. The algorithm figures out what is associated with success. What situation leads to success?
Para criar um algoritmo é preciso: dados — o que aconteceu no passado; e uma definição de sucesso, aquilo de que estamos à procura e que queremos atingir. Um algoritmo treina-se com a procura, com a descoberta. O algoritmo descobre o que está associado ao sucesso. Qual a situação que leva ao sucesso?
Actually, everyone uses algorithms. They just don't formalize them in written code. Let me give you an example. I use an algorithm every day to make a meal for my family. The data I use is the ingredients in my kitchen, the time I have, the ambition I have, and I curate that data. I don't count those little packages of ramen noodles as food.
Na verdade, todos usam algoritmos. Só que as pessoas não os formalizam em código escrito. Deixem-me dar um exemplo. Eu uso um algoritmo todos os dias para cozinhar para a minha família. Os dados que eu uso são os ingredientes que tenho, o tempo disponível, a minha ambição, e junto esses dados todos. Não contabilizo aqueles pacotes pequenos de "noodles" como comida.
(Laughter)
(Risos)
My definition of success is: a meal is successful if my kids eat vegetables. It's very different from if my youngest son were in charge. He'd say success is if he gets to eat lots of Nutella. But I get to choose success. I am in charge. My opinion matters. That's the first rule of algorithms.
A minha definição de sucesso é: a refeição é conseguida se os filhos comerem vegetais. Seria diferente se o meu filho mais novo fosse o responsável. Ele diria que o sucesso seria ele comer muita Nutella. Mas eu posso escolher o sucesso. Sou eu a responsável. A minha opinião conta. Essa é a primeira regra dos algoritmos.
Algorithms are opinions embedded in code. It's really different from what you think most people think of algorithms. They think algorithms are objective and true and scientific. That's a marketing trick. It's also a marketing trick to intimidate you with algorithms, to make you trust and fear algorithms because you trust and fear mathematics. A lot can go wrong when we put blind faith in big data.
Os algoritmos são opiniões embutidas em código. É muito diferente daquilo que muitos pensam sobre este assunto. As pessoas pensam que os algoritmos são objetivos, verdadeiros e científicos. Isso é um truque de "marketing". O que também é um truque é o facto de os algoritmos nos intimidarem, para nos fazer ter confiança e medo deles, porque confiamos e receamos a matemática. Muita coisa pode correr mal se confiarmos cegamente nos "big data".
This is Kiri Soares. She's a high school principal in Brooklyn. In 2011, she told me her teachers were being scored with a complex, secret algorithm called the "value-added model." I told her, "Well, figure out what the formula is, show it to me. I'm going to explain it to you." She said, "Well, I tried to get the formula, but my Department of Education contact told me it was math and I wouldn't understand it."
Esta é Kiri Soares e é diretora de uma escola secundária em Brooklyn. Em 2011, ela disse-me que os professores eram avaliados com um algoritmo secreto e complexo chamado "modelo de valor acrescentado". Eu disse-lhe: "Bem, se descobrir a fórmula, mostre-ma". "Eu explico-lha". Ela respondeu: "Bom, eu tentei obtê-la" "mas o Departamento de Educação disse que era matemática" "e que eu não iria entendê-la".
It gets worse. The New York Post filed a Freedom of Information Act request, got all the teachers' names and all their scores and they published them as an act of teacher-shaming. When I tried to get the formulas, the source code, through the same means, I was told I couldn't. I was denied. I later found out that nobody in New York City had access to that formula. No one understood it. Then someone really smart got involved, Gary Rubinstein. He found 665 teachers from that New York Post data that actually had two scores. That could happen if they were teaching seventh grade math and eighth grade math. He decided to plot them. Each dot represents a teacher.
E ainda é pior. O jornal "The New York Post" invocou a lei da Liberdade de Informação, reuniu os nomes de todos os professores e os seus resultados e publicou todas essas informações como forma de envergonhar os professores. Quando tentei aceder às fórmulas, ao código-fonte, através dos mesmos meios, disseram-me que não podia fazê-lo. Foi-me negado. Mais tarde, descobri que ninguém em Nova Iorque teve acesso a essa fórmula. Ninguém a percebia. Então, envolveu-se um tipo muito inteligente: Gary Rubenstein. Ele descobriu 665 professores, através dos dados publicados no jornal, que tiveram dois resultados diferentes. Podia acontecer se estivessem a lecionar matemática de sétimo e matemática de oitavo ano. Decidiu representá-los graficamente em que cada ponto representa um professor.
(Laughter)
(Risos)
What is that?
O que é isto?
(Laughter)
(Risos)
That should never have been used for individual assessment. It's almost a random number generator.
Isto nunca poderia ter sido usado para uma avaliação individual. É como um gerador de números aleatórios.
(Applause)
(Aplausos)
But it was. This is Sarah Wysocki. She got fired, along with 205 other teachers, from the Washington, DC school district, even though she had great recommendations from her principal and the parents of her kids.
Mas foi utilizado. Esta é Sarah Wysocki. Foi despedida, juntamente com 205 professores de escolas do distrito de Washington, DC, embora tivesse excelentes recomendações do seu diretor e dos pais dos seus alunos.
I know what a lot of you guys are thinking, especially the data scientists, the AI experts here. You're thinking, "Well, I would never make an algorithm that inconsistent." But algorithms can go wrong, even have deeply destructive effects with good intentions. And whereas an airplane that's designed badly crashes to the earth and everyone sees it, an algorithm designed badly can go on for a long time, silently wreaking havoc.
Sei o que muitos estão a pensar, sobretudo os cientistas de dados especialistas em Inteligência Artificial. Estão a pensar: "Eu nunca faria um algoritmo tão inconsistente". Mas os algoritmos podem correr mal, chegando a ter efeitos profundamente destrutivos, cheios de boas intenções. Enquanto que um avião que é mal arquitetado se despenha e todos veem, um algoritmo mal projetado pode ser utilizado durante muito tempo, causando estragos silenciosamente.
This is Roger Ailes.
Este é Roger Ailes.
(Laughter)
(Risos)
He founded Fox News in 1996. More than 20 women complained about sexual harassment. They said they weren't allowed to succeed at Fox News. He was ousted last year, but we've seen recently that the problems have persisted. That begs the question: What should Fox News do to turn over another leaf?
Fundou a Fox News em 1996. Mais de 20 mulheres queixaram-se de assédio sexual. Diziam que, na Fox News, não lhes era permitido terem sucesso. Ailes foi despedido no ano passado, mas, recentemente, temos visto que os problemas persistem. Isto leva-nos a perguntar: O que é que a Fox News deveria fazer para virar a página?
Well, what if they replaced their hiring process with a machine-learning algorithm? That sounds good, right? Think about it. The data, what would the data be? A reasonable choice would be the last 21 years of applications to Fox News. Reasonable. What about the definition of success? Reasonable choice would be, well, who is successful at Fox News? I guess someone who, say, stayed there for four years and was promoted at least once. Sounds reasonable. And then the algorithm would be trained. It would be trained to look for people to learn what led to success, what kind of applications historically led to success by that definition. Now think about what would happen if we applied that to a current pool of applicants. It would filter out women because they do not look like people who were successful in the past.
E se tivessem substituído o seu processo de recrutamento por um algoritmo de aprendizagem automática? Parece-vos bem, não é? Pensem nisso. Que dados poderiam ser? Uma escolha razoável seriam os currículos recebidos nos últimos 21 anos. Razoável. E qual seria a definição de sucesso? A escolha razoável seria... Bem, quem tem sucesso na Fox News? Eu diria alguém que lá trabalhou durante quatro anos e que foi promovido, pelo menos, uma vez. Parece razoável. E aí, o algoritmo seria treinado. Seria treinado para procurar pessoas e perceber o que levava ao sucesso, que tipo de currículos eram propícios a isso, seguindo essa definição. Pensem no que poderia acontecer se o aplicássemos ao conjunto atual de candidaturas. Filtraria as mulheres, porque não foram as pessoas que tiveram sucesso no passado.
Algorithms don't make things fair if you just blithely, blindly apply algorithms. They don't make things fair. They repeat our past practices, our patterns. They automate the status quo. That would be great if we had a perfect world, but we don't. And I'll add that most companies don't have embarrassing lawsuits, but the data scientists in those companies are told to follow the data, to focus on accuracy. Think about what that means. Because we all have bias, it means they could be codifying sexism or any other kind of bigotry.
Os algoritmos não são justos, se os aplicarmos de ânimo leve e às cegas. Eles não agem com justiça. Eles repetem o que fizemos no passado, os nossos padrões. Eles automatizam o "status quo". Isso seria incrível se o mundo fosse perfeito. Mas não é. E digo-vos mais: a maioria das empresas não têm processos legais em curso, mas essas empresas dizem aos seus cientistas de dados para seguirem os dados, para se focarem na precisão. Pensem no que isso significa. Como todos temos preconceitos, eles podiam codificar o sexismo ou qualquer outro tipo de sectarismo.
Thought experiment, because I like them: an entirely segregated society -- racially segregated, all towns, all neighborhoods and where we send the police only to the minority neighborhoods to look for crime. The arrest data would be very biased. What if, on top of that, we found the data scientists and paid the data scientists to predict where the next crime would occur? Minority neighborhood. Or to predict who the next criminal would be? A minority. The data scientists would brag about how great and how accurate their model would be, and they'd be right.
Um exercício intelectual, porque gosto de fazer isso: uma sociedade inteiramente segregada — todas as cidades, os bairros, tudo segregado racialmente — e onde só enviamos a polícia a bairros minoritários para combater o crime. Os dados sobre os detidos seriam tendenciosos. E se tivéssemos cientistas de dados para esta situação e lhes pagássemos para preverem onde iria ocorrer o crime seguinte? Num bairro minoritário. Ou para preverem quem seria o criminoso seguinte? Alguém da minoria. Os cientistas de dados iriam vangloriar-se da eficiência e precisão do seu modelo e teriam razão.
Now, reality isn't that drastic, but we do have severe segregations in many cities and towns, and we have plenty of evidence of biased policing and justice system data. And we actually do predict hotspots, places where crimes will occur. And we do predict, in fact, the individual criminality, the criminality of individuals. The news organization ProPublica recently looked into one of those "recidivism risk" algorithms, as they're called, being used in Florida during sentencing by judges. Bernard, on the left, the black man, was scored a 10 out of 10. Dylan, on the right, 3 out of 10. 10 out of 10, high risk. 3 out of 10, low risk. They were both brought in for drug possession. They both had records, but Dylan had a felony but Bernard didn't. This matters, because the higher score you are, the more likely you're being given a longer sentence.
A realidade não é tão drástica, mas temos segregações graves em várias cidades e vilas, e existem inúmeras provas de que os dados do sistema de justiça são tendenciosos. E nós prevemos lugares críticos, locais onde irão ocorrer crimes. E prevemos a criminalidade individual, a criminalidade de indivíduos. A agência de notícias ProPublica analisou recentemente um algoritmo de "risco de reincidência", como lhe chamam, que os júris usam na Flórida, durante os julgamentos. À esquerda, temos Bernard, de cor negra, que teve uma pontuação de 10 em 10. Dylan, à direita, teve uma pontuação de 3 em 10. 10 em 10 é risco elevado. 3 em 10 é risco reduzido. Foram ambos a julgamento por posse de droga. Ambos tinham cadastro, mas Dylan já tinha cometido um assalto à mão armada e o Bernard não. Isto é importante, porque, quanto mais alta é a pontuação, maior a probabilidade de a sentença ser mais longa.
What's going on? Data laundering. It's a process by which technologists hide ugly truths inside black box algorithms and call them objective; call them meritocratic. When they're secret, important and destructive, I've coined a term for these algorithms: "weapons of math destruction."
O que está a acontecer? Lavagem de dados. É um processo em que os tecnólogos escondem verdades muito graves dentro de algoritmos de caixa negra e chamam-lhes objetivos; chamam-lhes meritocráticos. Quando são secretos, importantes e destrutivos eu chamo-lhes da seguinte maneira: "armas de destruição maciça".
(Laughter)
(Risos)
(Applause)
(Aplausos)
They're everywhere, and it's not a mistake. These are private companies building private algorithms for private ends. Even the ones I talked about for teachers and the public police, those were built by private companies and sold to the government institutions. They call it their "secret sauce" -- that's why they can't tell us about it. It's also private power. They are profiting for wielding the authority of the inscrutable. Now you might think, since all this stuff is private and there's competition, maybe the free market will solve this problem. It won't. There's a lot of money to be made in unfairness.
Estão por todo o lado e não são um erro. São empresas privadas que estão a criar algoritmos privados para objetivos privados. Mesmo os que mencionei aqui para os professores e a polícia, foram criados por empresas privadas e vendidos a instituições governamentais. Chamam-lhes o seu "molho secreto" — é por isso que não nos podem contar. Trata-se, também, de poder privado. Estão a lucrar para dominarem a autoridade do inescrutável. Agora, vocês podem pensar: se tudo isto é privado e existe concorrência, talvez o mercado livre corrija este problema. Não, não o fará. Pode fazer-se muito dinheiro com a injustiça.
Also, we're not economic rational agents. We all are biased. We're all racist and bigoted in ways that we wish we weren't, in ways that we don't even know. We know this, though, in aggregate, because sociologists have consistently demonstrated this with these experiments they build, where they send a bunch of applications to jobs out, equally qualified but some have white-sounding names and some have black-sounding names, and it's always disappointing, the results -- always.
Além disso, nós não somos agentes económicos racionais. Somos todos tendenciosos. Somos racistas e intolerantes em proporções horríveis, em proporções que nem nós sabemos. Mas sabemos que isto acontece em níveis agregados, porque os sociólogos têm vindo a demonstrá-lo, através de experiências, em que se enviam vários currículos em resposta a anúncios, igualmente qualificados, mas alguns com nomes caucasianos e outros com nomes de raça negra, e os resultados são sempre desconcertantes... Sempre!
So we are the ones that are biased, and we are injecting those biases into the algorithms by choosing what data to collect, like I chose not to think about ramen noodles -- I decided it was irrelevant. But by trusting the data that's actually picking up on past practices and by choosing the definition of success, how can we expect the algorithms to emerge unscathed? We can't. We have to check them. We have to check them for fairness.
Somos nós que somos tendenciosos e estamos a colocar esses preconceitos nos algoritmos, ao escolhermos os dados, tal como eu decidi em relação aos "noodles" — decidi que eram irrelevantes. Mas, ao confiarmos em dados que têm, por base, acontecimentos passados e ao escolhermos a definição de sucesso, como é que podemos esperar que os algoritmos saiam ilesos? Não podemos. Temos de os verificar. Temos de ver o nível de justiça.
The good news is, we can check them for fairness. Algorithms can be interrogated, and they will tell us the truth every time. And we can fix them. We can make them better. I call this an algorithmic audit, and I'll walk you through it.
A boa notícia é que podemos fazer isso. Os algoritmos podem ser questionados e as respostas são sempre verdadeiras. Podemos corrigi-los. Podemos torná-los melhores. Posso chamar-lhe "auditoria algorítmica" e explico-vos em que consiste.
First, data integrity check. For the recidivism risk algorithm I talked about, a data integrity check would mean we'd have to come to terms with the fact that in the US, whites and blacks smoke pot at the same rate but blacks are far more likely to be arrested -- four or five times more likely, depending on the area. What is that bias looking like in other crime categories, and how do we account for it?
Primeiro, verificar a integridade dos dados. Em relação ao risco de reincidência de que já vos falei, verificar a integridade dos dados significa que concordamos com o facto de que, nos EUA, tanto os brancos como os negros fumam erva, mas os negros têm maior probabilidade de ser detidos — quatro ou cinco vezes mais probabilidades, dependendo da zona. Como é que se comporta esta tendência, noutros crimes e como é que lidamos com isso?
Second, we should think about the definition of success, audit that. Remember -- with the hiring algorithm? We talked about it. Someone who stays for four years and is promoted once? Well, that is a successful employee, but it's also an employee that is supported by their culture. That said, also it can be quite biased. We need to separate those two things. We should look to the blind orchestra audition as an example. That's where the people auditioning are behind a sheet. What I want to think about there is the people who are listening have decided what's important and they've decided what's not important, and they're not getting distracted by that. When the blind orchestra auditions started, the number of women in orchestras went up by a factor of five.
Segundo, devemos pensar na definição de sucesso, rever esse conceito. Lembrem-se do algoritmo de contratação de que já falámos. Alguém que fica na empresa durante quatro anos e é promovido uma vez? É um trabalhador bem-sucedido, mas também é alguém que apoia a cultura da empresa. Assim, vemos que também é muito tendencioso. É necessário separar estas duas coisas. Tomemos como exemplo uma audição às cegas de uma orquestra As pessoas que fazem a audição escondem-se atrás duma cortina. O que é importante reter é que as pessoas que estão a ouvir decidiram o que é importante e o que não é importante, e não se deixam distrair. Quando as audições às cegas começaram, o número de mulheres em orquestras aumentou cinco vezes.
Next, we have to consider accuracy. This is where the value-added model for teachers would fail immediately. No algorithm is perfect, of course, so we have to consider the errors of every algorithm. How often are there errors, and for whom does this model fail? What is the cost of that failure?
Em seguida, temos de considerar a precisão. É aqui que falharia o "modelo de valor acrescentado" dos professores. Claro que nenhum algoritmo é perfeito, é por isso que temos de considerar os erros de cada um. Com que frequência existem erros e com quem é que este modelo falha? Qual é o custo desta falha?
And finally, we have to consider the long-term effects of algorithms, the feedback loops that are engendering. That sounds abstract, but imagine if Facebook engineers had considered that before they decided to show us only things that our friends had posted.
Por último, temos de considerar os efeitos a longo prazo dos algoritmos, o "feedback" que está programado. Isto parece abstrato, mas imaginem se os engenheiros do Facebook consideravam mostrar-nos apenas o que os nossos amigos publicam.
I have two more messages, one for the data scientists out there. Data scientists: we should not be the arbiters of truth. We should be translators of ethical discussions that happen in larger society.
Tenho mais duas mensagens, uma delas para os cientistas de dados. Cientistas de dados: nós não devemos ser os árbitros da verdade. Devemos ser tradutores de discussões éticas que acontecem em sociedades mais amplas.
(Applause)
(Aplausos)
And the rest of you, the non-data scientists: this is not a math test. This is a political fight. We need to demand accountability for our algorithmic overlords.
E aos restantes, aos que não são cientistas de dados: isto não é um teste matemático. É uma luta política. Precisamos de exigir a responsabilização dos soberanos dos nossos algoritmos.
(Applause)
(Aplausos)
The era of blind faith in big data must end.
A era da fé cega nos "big data" tem de acabar.
Thank you very much.
Muito obrigada.
(Applause)
(Aplausos)