Algorithms are everywhere. They sort and separate the winners from the losers. The winners get the job or a good credit card offer. The losers don't even get an interview or they pay more for insurance. We're being scored with secret formulas that we don't understand that often don't have systems of appeal. That begs the question: What if the algorithms are wrong?
Les algorithmes sont partout. Ils trient et séparent les vainqueurs des perdants. Les vainqueurs obtiennent le poste ou une bonne offre de carte de crédit. Les perdants n'obtiennent même pas un entretien ou paient leur assurance plus cher. On nous classe avec des formules secrètes que nous ne comprenons pas qui n'offrent pas souvent de systèmes de recours. La question se pose donc : et si les algorithmes sont faux ?
To build an algorithm you need two things: you need data, what happened in the past, and a definition of success, the thing you're looking for and often hoping for. You train an algorithm by looking, figuring out. The algorithm figures out what is associated with success. What situation leads to success?
Deux choses constituent un algorithme : des données historiques, et une définition du succès, ce que l'on espère trouver. On forme un algorithme en observant, en comprenant, l'algorithme trouve ce que l'on associe au succès, la situation qui mène au succès.
Actually, everyone uses algorithms. They just don't formalize them in written code. Let me give you an example. I use an algorithm every day to make a meal for my family. The data I use is the ingredients in my kitchen, the time I have, the ambition I have, and I curate that data. I don't count those little packages of ramen noodles as food.
En fait, tout le monde utilise des algorithmes sans forcément les formaliser en les écrivant. Voici un exemple : chaque jour, en cuisinant je me sers d'un algorithme. Les données que j'utilise sont les ingrédients à disposition, le temps dont je dispose, l'ambition que j'ai, et je conserve ces données. Je ne considère pas les paquets de ramen comme de la nourriture.
(Laughter)
(Rires)
My definition of success is: a meal is successful if my kids eat vegetables. It's very different from if my youngest son were in charge. He'd say success is if he gets to eat lots of Nutella. But I get to choose success. I am in charge. My opinion matters. That's the first rule of algorithms.
Ma définition du succès est : un repas est réussi si mes enfants mangent des légumes. Si mon fils était aux commandes, ce serait différent. Pour lui, le succès serait de manger plein de Nutella. Mais c'est moi qui choisis ce qu'est le succès. Je commande. C'est mon avis qui compte. C'est la première règle des algorithmes.
Algorithms are opinions embedded in code. It's really different from what you think most people think of algorithms. They think algorithms are objective and true and scientific. That's a marketing trick. It's also a marketing trick to intimidate you with algorithms, to make you trust and fear algorithms because you trust and fear mathematics. A lot can go wrong when we put blind faith in big data.
Les algorithmes sont des opinions intégrées dans du code. C'est très différent de ce que les gens pensent des algorithmes. Ils pensent que les algorithmes sont objectifs, vrais et scientifiques. C'est une astuce marketing. C'en est une autre de vous intimider avec des algorithmes, de vous faire croire et craindre les algorithmes, car vous croyez et craignez les mathématiques. Tout peut mal tourner quand on a une foi aveugle dans le Big Data.
This is Kiri Soares. She's a high school principal in Brooklyn. In 2011, she told me her teachers were being scored with a complex, secret algorithm called the "value-added model." I told her, "Well, figure out what the formula is, show it to me. I'm going to explain it to you." She said, "Well, I tried to get the formula, but my Department of Education contact told me it was math and I wouldn't understand it."
Voici Kiri Soares. Elle est directrice d'un lycée à Brooklyn. En 2011, elle m'a dit que ses professeurs étaient classés par un algorithme complexe et secret appelé le « modèle de valeur ajoutée ». Je lui ai dit : « Trouve la formule, montre-la moi, et je vais te l'expliquer. » Elle m'a dit : « J'ai essayé de la trouver, mais le Ministère de l'éducation m'a dit que c'était des "maths" et que je ne comprendrais pas. »
It gets worse. The New York Post filed a Freedom of Information Act request, got all the teachers' names and all their scores and they published them as an act of teacher-shaming. When I tried to get the formulas, the source code, through the same means, I was told I couldn't. I was denied. I later found out that nobody in New York City had access to that formula. No one understood it. Then someone really smart got involved, Gary Rubinstein. He found 665 teachers from that New York Post data that actually had two scores. That could happen if they were teaching seventh grade math and eighth grade math. He decided to plot them. Each dot represents a teacher.
Il y a pire. Le New York Post a invoqué la loi sur la liberté d'information, a obtenu les noms des enseignants ainsi que leur classement, et les ont publiés pour humilier les enseignants. Quand j'ai tenté d'avoir les formules, le code source, par les mêmes moyens, on m'a dit que je ne pouvais pas. On me les a refusés. Plus tard, j'ai découvert que personne à New York n'avait accès à cette formule. Personne ne la comprenait. Puis quelqu'un de très malin s'en est mêlé, Gary Rubinstein. Il a trouvé 665 enseignants des données du New York Post qui avaient deux notes. Cela peut arriver s'ils enseignaient les maths en cinquième et en quatrième. Il a décidé d'en faire un graphique. Chaque point représente un enseignant.
(Laughter)
(Rires)
What is that?
Qu'est-ce que c'est ?
(Laughter)
(Rires)
That should never have been used for individual assessment. It's almost a random number generator.
Ça n'aurait jamais dû être utilisé pour des évaluations individuelles. On dirait presque un générateur aléatoire.
(Applause)
(Applaudissements)
But it was. This is Sarah Wysocki. She got fired, along with 205 other teachers, from the Washington, DC school district, even though she had great recommendations from her principal and the parents of her kids.
Mais ça l'a été. Voici Sarah Wysocki. Elle a été virée avec 205 autres enseignants du secteur scolaire de Washington, malgré les excellentes recommandations de son directeur et des parents de ses élèves.
I know what a lot of you guys are thinking, especially the data scientists, the AI experts here. You're thinking, "Well, I would never make an algorithm that inconsistent." But algorithms can go wrong, even have deeply destructive effects with good intentions. And whereas an airplane that's designed badly crashes to the earth and everyone sees it, an algorithm designed badly can go on for a long time, silently wreaking havoc.
Je sais ce que bon nombre d'entre vous pensent, surtout les scientifiques de données, vous vous dites que vous ne feriez jamais un algorithme aussi incohérent. Mais les algorithmes peuvent mal tourner, voire avoir des effets destructeurs avec de bonnes intentions. Alors que quand un avion mal conçu s'écrase, tout le monde le voit, un algorithme mal conçu, lui, peut continuer longtemps à faire des ravages en silence.
This is Roger Ailes.
Voici Roger Ailes.
(Laughter)
(Rires)
He founded Fox News in 1996. More than 20 women complained about sexual harassment. They said they weren't allowed to succeed at Fox News. He was ousted last year, but we've seen recently that the problems have persisted. That begs the question: What should Fox News do to turn over another leaf?
Il a fondé Fox News en 1996. Plus de 20 femmes se sont plaintes de harcèlement sexuel, elles ont dit ne pas avoir eu le droit de réussir chez Fox News. Il a été viré l'an dernier, mais on a vu récemment que ces problèmes persistent. On peut se demander : que devrait faire Fox News pour tourner la page ?
Well, what if they replaced their hiring process with a machine-learning algorithm? That sounds good, right? Think about it. The data, what would the data be? A reasonable choice would be the last 21 years of applications to Fox News. Reasonable. What about the definition of success? Reasonable choice would be, well, who is successful at Fox News? I guess someone who, say, stayed there for four years and was promoted at least once. Sounds reasonable. And then the algorithm would be trained. It would be trained to look for people to learn what led to success, what kind of applications historically led to success by that definition. Now think about what would happen if we applied that to a current pool of applicants. It would filter out women because they do not look like people who were successful in the past.
Et s'ils remplaçaient leur procédure de recrutement par un algorithme ? Ça a l'air bien, non ? Pensez-y. Les données, quelles seraient les données ? Un choix raisonnable serait les candidatures des 21 dernières années. Raisonnable. Et la définition du succès ? Le choix raisonnable serait, mais qui a du succès chez Fox News ? À mon avis, quelqu'un qui y est resté au moins quatre ans, qui a été promu au moins une fois. Ça m'a l'air raisonnable. Et puis l'algorithme serait mis au point. Mis au point pour sonder les gens, apprendre ce qui les a conduits au succès, quels types de candidatures ont historiquement mené au succès par cette définition. Pensez à ce qu'il pourrait se passer si on appliquait cela à un groupe actuel de candidats. Le filtrage éliminerait les femmes car elles ne ressemblent pas aux gens qui ont eu du succès dans le passé.
Algorithms don't make things fair if you just blithely, blindly apply algorithms. They don't make things fair. They repeat our past practices, our patterns. They automate the status quo. That would be great if we had a perfect world, but we don't. And I'll add that most companies don't have embarrassing lawsuits, but the data scientists in those companies are told to follow the data, to focus on accuracy. Think about what that means. Because we all have bias, it means they could be codifying sexism or any other kind of bigotry.
Les algorithmes ne rendent pas les choses équitables si on les applique aveuglément, avec négligence. Ils n'instaurent pas l'équité. Ils reproduisent nos pratiques du passé, nos habitudes. Ils automatisent le statu quo. Cela aurait été bien si nous avions un monde parfait, mais ce n'est pas le cas. De plus, la plupart des sociétés ne font pas l'objet de poursuites honteuses mais les scientifiques de données dans ces sociétés sont invités à suivre les données, à se concentrer sur la précision. Imaginez ce que ça veut dire : parce que nous avons tous un parti pris, cela veut dire qu'ils pourraient coder des idées sexistes, entre autres.
Thought experiment, because I like them: an entirely segregated society -- racially segregated, all towns, all neighborhoods and where we send the police only to the minority neighborhoods to look for crime. The arrest data would be very biased. What if, on top of that, we found the data scientists and paid the data scientists to predict where the next crime would occur? Minority neighborhood. Or to predict who the next criminal would be? A minority. The data scientists would brag about how great and how accurate their model would be, and they'd be right.
Petit exercice de réflexion parce que j'aime en faire : une société entièrement en proie à la ségrégation -- à la ségrégation raciale, dans toutes les villes, tous les voisinages et où la police va seulement dans les quartiers de minorité à la recherche de crimes. Les données policières seraient complètement biaisées. Et si, en plus, on trouvait des experts en données et qu'on les payait pour qu'ils nous prédisent le lieu du prochain crime ? Le quartier des minorités. Ou encore qu'ils prédisent qui serait le prochain criminel ? Un membre d'une minorité. Les experts en données se vanteraient de l'excellence et de l'exactitude de leur modèle, et ils auraient raison.
Now, reality isn't that drastic, but we do have severe segregations in many cities and towns, and we have plenty of evidence of biased policing and justice system data. And we actually do predict hotspots, places where crimes will occur. And we do predict, in fact, the individual criminality, the criminality of individuals. The news organization ProPublica recently looked into one of those "recidivism risk" algorithms, as they're called, being used in Florida during sentencing by judges. Bernard, on the left, the black man, was scored a 10 out of 10. Dylan, on the right, 3 out of 10. 10 out of 10, high risk. 3 out of 10, low risk. They were both brought in for drug possession. They both had records, but Dylan had a felony but Bernard didn't. This matters, because the higher score you are, the more likely you're being given a longer sentence.
Bien sûr, la réalité n'est pas comme ça, mais la ségrégation existe tout de même dans beaucoup d'endroits, et nous avons assez de preuves que les données policières et judiciaires sont biaisées. Et nous prédisons vraiment les zones sensibles, là où les crimes seront commis, et nous prédisons aussi, en fait, les infractions individuelles, commises par un seul individu. L'agence de presse « ProPublica » s'est récemment penchée sur l'un de ces algorithmes de « risque de récidive », comme on les appelle, utilisé par les juges en Floride pendant la détermination de la peine. Bernard, à gauche, l'homme noir, a obtenu un 10 sur 10. Dylan, à droite, 3 sur 10. 10 sur 10 risque élevé, 3 sur 10, risque faible. Tous deux ont été jugés pour possession de drogue. Tous deux avaient un casier, mais Dylan avait déjà commis un crime, ce qui n'était pas le cas de Bernard. C'est important, car plus le score est élevé, plus il est probable que la sentence soit longue.
What's going on? Data laundering. It's a process by which technologists hide ugly truths inside black box algorithms and call them objective; call them meritocratic. When they're secret, important and destructive, I've coined a term for these algorithms: "weapons of math destruction."
Qu'est-ce qu'il se passe ? Un blanchiment de données. C'est un processus de technologues pour cacher des vérités gênantes dans des algorithmes « boîte noire » soi-disant objectifs, soi-disant méritocratiques. Quand ces algorithmes sont secrets, importants et destructifs, je leur ai inventé un nom : « armes de destruction math-ive ».
(Laughter)
(Rires)
(Applause)
(Applaudissements)
They're everywhere, and it's not a mistake. These are private companies building private algorithms for private ends. Even the ones I talked about for teachers and the public police, those were built by private companies and sold to the government institutions. They call it their "secret sauce" -- that's why they can't tell us about it. It's also private power. They are profiting for wielding the authority of the inscrutable. Now you might think, since all this stuff is private and there's competition, maybe the free market will solve this problem. It won't. There's a lot of money to be made in unfairness.
Ils sont partout, et ce n'est pas une erreur ! Il s'agit de compagnie privées, qui créent des algorithmes privés, à des fins privées. Même ceux dont j'ai parlé, pour les professeurs et la police, ont été mis au point par des sociétés privées et vendus au gouvernement. Ils appellent ça leur « recette secrète », et donc ne peuvent pas nous en parler. C'est aussi du pouvoir privé. Ils tirent profit en donnant de l'autorité à ce qu'on ne comprend pas. Vous pourriez penser, puisque tout ceci est privé, et qu'il y a concurrence, que le marché libre pourrait résoudre ce problème. Eh bien non. Il y a beaucoup d'argent à gagner grâce à l'injustice.
Also, we're not economic rational agents. We all are biased. We're all racist and bigoted in ways that we wish we weren't, in ways that we don't even know. We know this, though, in aggregate, because sociologists have consistently demonstrated this with these experiments they build, where they send a bunch of applications to jobs out, equally qualified but some have white-sounding names and some have black-sounding names, and it's always disappointing, the results -- always.
De plus, nous ne sommes pas des acteurs économiques rationnels. Nous sommes tous partiaux. Nous sommes tous racistes et intolérants sans le vouloir, sans parfois même le savoir. Globalement, pourtant, nous le savons, car les sociologues l'ont sans cesse démontré avec ces expériences où ils envoient des candidatures à qualifications égales mais certaines avec des noms « blancs » et d'autres avec des noms « noirs » : les résultats sont toujours décevants. Toujours.
So we are the ones that are biased, and we are injecting those biases into the algorithms by choosing what data to collect, like I chose not to think about ramen noodles -- I decided it was irrelevant. But by trusting the data that's actually picking up on past practices and by choosing the definition of success, how can we expect the algorithms to emerge unscathed? We can't. We have to check them. We have to check them for fairness.
Donc, nous sommes porteurs de préjugés, et nous les injectons dans les algorithmes en choisissant les données à collecter comme quand j'ai choisi de mettre les ramen de côté, car ce n'était pas pertinent. Mais en se basant sur des données qui reprennent des pratiques passées et en définissant soi-même la réussite, comment peut-on s'attendre à ce que les algorithmes en sortent indemnes ? On ne peut pas. On doit les contrôler. On doit contrôler leur équité.
The good news is, we can check them for fairness. Algorithms can be interrogated, and they will tell us the truth every time. And we can fix them. We can make them better. I call this an algorithmic audit, and I'll walk you through it.
La bonne nouvelle, c'est qu'on peut contrôler leur équité. Les algorithmes peuvent être interrogés, et ils diront la vérité à chaque fois. Et on peut les corriger, les améliorer. J'appelle ça un « audit algorithmique », et je vais vous l'expliquer.
First, data integrity check. For the recidivism risk algorithm I talked about, a data integrity check would mean we'd have to come to terms with the fact that in the US, whites and blacks smoke pot at the same rate but blacks are far more likely to be arrested -- four or five times more likely, depending on the area. What is that bias looking like in other crime categories, and how do we account for it?
D'abord, vérification de l'intégrité des données. Pour l'algorithme « risque de récidive » dont j'ai parlé, cette vérification impliquera qu'il faudra se rendre compte du fait qu'aux États-Unis, blancs et noirs fument la même quantité de joints, mais que les noirs ont bien plus de chance d'être arrêtés, quatre ou cinq fois plus selon la région. A quoi ressemble ce préjugé dans les autres catégories de crime, et comment en tient-on compte ?
Second, we should think about the definition of success, audit that. Remember -- with the hiring algorithm? We talked about it. Someone who stays for four years and is promoted once? Well, that is a successful employee, but it's also an employee that is supported by their culture. That said, also it can be quite biased. We need to separate those two things. We should look to the blind orchestra audition as an example. That's where the people auditioning are behind a sheet. What I want to think about there is the people who are listening have decided what's important and they've decided what's not important, and they're not getting distracted by that. When the blind orchestra auditions started, the number of women in orchestras went up by a factor of five.
Ensuite, on doit réfléchir à la définition du succès, la contrôler. Vous vous souvenez, l'algorithme de recrutement ? Quelqu'un qui reste plus de quatre ans et est promu une fois ? Eh bien, cet employé est performant, mais cet aussi un employé soutenu par sa culture. Cela peut donc aussi être biaisé. Nous devons séparer ces deux idées. Nous devrions prendre les auditions à l'aveugle comme exemple. Celles où les gens auditionnent derrière un drap. Ce à quoi je pense ici, c'est que les gens qui écoutent ont décidé de ce qui est important, et de ce qui ne l'est pas, et ils ne se laissent pas distraire par cela. Quand les auditions d'orchestre à l'aveugle ont commencé, le nombre de femmes dans les orchestres s'est multiplié par 5.
Next, we have to consider accuracy. This is where the value-added model for teachers would fail immediately. No algorithm is perfect, of course, so we have to consider the errors of every algorithm. How often are there errors, and for whom does this model fail? What is the cost of that failure?
Ensuite, nous devons tenir compte de la précision. Le modèle de « valeur-ajoutée » pour professeurs échouerait dans ce cas-là. Aucun algorithme n'est parfait, évidemment, donc nous devons examiner les erreurs de tous les algorithmes. Reviennent-elles souvent, et pour qui est-ce que le modèle échoue ? Quel est le coût de cet échec ?
And finally, we have to consider the long-term effects of algorithms, the feedback loops that are engendering. That sounds abstract, but imagine if Facebook engineers had considered that before they decided to show us only things that our friends had posted.
Enfin, nous devons prendre en compte l'effet à long terme des algorithmes, les boucles de réactions qu'ils engendrent. Cela semble abstrait, mais imaginez, si les ingénieurs de Facebook y avaient pensé avant de décider de nous montrer seulement les publications de nos amis.
I have two more messages, one for the data scientists out there. Data scientists: we should not be the arbiters of truth. We should be translators of ethical discussions that happen in larger society.
J'ai encore deux messages, un pour les scientifiques de données ici. Nous ne devrions pas être les arbitres de la vérité. Nous devrions être les traducteurs des discussions d'ordre éthique de la société en général.
(Applause)
(Applaudissements)
And the rest of you, the non-data scientists: this is not a math test. This is a political fight. We need to demand accountability for our algorithmic overlords.
Et pour le reste d'entre vous, qui n'êtes pas du milieu, ceci n'est pas un test de math. C'est une bataille politique. Nous devons réclamer des comptes à nos souverains algorithmiques.
(Applause)
(Applaudissements)
The era of blind faith in big data must end.
L'ère de la confiance absolue dans le Big Data doit prendre fin.
Thank you very much.
Merci beaucoup.
(Applause)
(Applaudissements)