Algorithms are everywhere. They sort and separate the winners from the losers. The winners get the job or a good credit card offer. The losers don't even get an interview or they pay more for insurance. We're being scored with secret formulas that we don't understand that often don't have systems of appeal. That begs the question: What if the algorithms are wrong?
Algoritmii sunt pretutindeni. Sortează și separă învingătorii de învinși. Învingătorii obțin locul de muncă sau oferta bună pentru cardul de credit. Învinșii n-au parte nici măcar de interviu sau plătesc mai mult pentru asigurare. Suntem evaluați cu formule secrete pe care nu le înțelegem și care, adesea, nu pot fi contestate. Asta impune întrebarea: și dacă algoritmii conțin erori?
To build an algorithm you need two things: you need data, what happened in the past, and a definition of success, the thing you're looking for and often hoping for. You train an algorithm by looking, figuring out. The algorithm figures out what is associated with success. What situation leads to success?
E nevoie de două lucruri pentru algoritmi: date, ce s-a întâmplat în trecut, și o definiție a succesului, a ceea ce cauți și speri să obții. Algoritmul se formează observând, descifrând. Algoritmul deduce ce se asociază cu succesul, care situație conduce către succes.
Actually, everyone uses algorithms. They just don't formalize them in written code. Let me give you an example. I use an algorithm every day to make a meal for my family. The data I use is the ingredients in my kitchen, the time I have, the ambition I have, and I curate that data. I don't count those little packages of ramen noodles as food.
De fapt, toată lumea folosește algoritmi, dar nu formalizați în scris. Vă dau un exemplu. Folosesc zilnic un algoritm ca să pregătesc masa pentru familia mea. Datele pe care le folosesc sunt ingredientele din bucătărie, timpul disponibil, ambiția pe care o am, apoi organizez datele. Nu consider mâncare pachețelele de tăieței ramen.
(Laughter)
(Râsete)
My definition of success is: a meal is successful if my kids eat vegetables. It's very different from if my youngest son were in charge. He'd say success is if he gets to eat lots of Nutella. But I get to choose success. I am in charge. My opinion matters. That's the first rule of algorithms.
Definiția mea a succesului e: o masă e reușită când copiii mei mănâncă legume. E foarte diferită de a mezinului meu care, dacă ar fi după el, ar zice că succesul înseamnă să mănânce multă Nutella. Dar eu sunt cea care alege succesul. Eu conduc. Părerea mea contează. Asta e prima regulă a algoritmilor.
Algorithms are opinions embedded in code. It's really different from what you think most people think of algorithms. They think algorithms are objective and true and scientific. That's a marketing trick. It's also a marketing trick to intimidate you with algorithms, to make you trust and fear algorithms because you trust and fear mathematics. A lot can go wrong when we put blind faith in big data.
Algoritmii sunt păreri încorporate în cod. E foarte diferit de ce credeți voi că majoritatea crede despre algoritmi. Ei cred că algoritmii sunt obiectivi, adevărați și științifici. Ăsta e un truc de marketing. Și tot un truc al marketingului e să vă intimideze cu algoritmi, să vă încredeți și să vă temeți de algoritmi, pentru că vă încredeți și vă temeți de matematică. Pot apărea multe probleme când avem încredere oarbă în volume mari de date.
This is Kiri Soares. She's a high school principal in Brooklyn. In 2011, she told me her teachers were being scored with a complex, secret algorithm called the "value-added model." I told her, "Well, figure out what the formula is, show it to me. I'm going to explain it to you." She said, "Well, I tried to get the formula, but my Department of Education contact told me it was math and I wouldn't understand it."
Ea e Kiri Soares, directoarea unui liceu din Brooklyn. În 2011 mi-a zis că profesorii ei erau evaluați cu un algoritm complex și secret, numit „modelul valoare adăugată”. I-am zis: „Află care e formula, arată-mi-o și ți-o explic.” Ea a zis: „Am încercat să obțin formula, dar la Departamentul de Educație mi s-a zis că e matematică și n-o să înțeleg.”
It gets worse. The New York Post filed a Freedom of Information Act request, got all the teachers' names and all their scores and they published them as an act of teacher-shaming. When I tried to get the formulas, the source code, through the same means, I was told I couldn't. I was denied. I later found out that nobody in New York City had access to that formula. No one understood it. Then someone really smart got involved, Gary Rubinstein. He found 665 teachers from that New York Post data that actually had two scores. That could happen if they were teaching seventh grade math and eighth grade math. He decided to plot them. Each dot represents a teacher.
Se poate și mai rău. New York Post a solicitat, conform Legii privind libertatea de informare, și a obținut numele tuturor profesorilor și punctajele lor și le-a publicat pentru a-i blama public. Când am încercat să obțin formula, codul sursă, cu aceleași mijloace, mi s-a zis că nu se poate. Mi s-a refuzat. Mai târziu am aflat că nimeni din New York n-avea acces la acea formulă. Nimeni n-o înțelegea. Apoi s-a implicat cineva foarte inteligent: Gary Rubinstein. A descoperit că 665 de profesori din datele de la New York Post aveau, de fapt, două punctaje. Asta se putea întâmpla dacă predau matematică de clasa a șaptea și a opta. A decis să facă un grafic. Fiecare punct reprezintă un profesor.
(Laughter)
(Râsete)
What is that?
Ce-i asta?
(Laughter)
(Râsete)
That should never have been used for individual assessment. It's almost a random number generator.
N-ar fi trebuit să fie niciodată folosit pentru evaluare personală. E mai degrabă un generator de numere aleatorii.
(Applause)
(Aplauze)
But it was. This is Sarah Wysocki. She got fired, along with 205 other teachers, from the Washington, DC school district, even though she had great recommendations from her principal and the parents of her kids.
Dar a fost. Ea e Sarah Wysocki. A fost concediată, împreună cu alți 205 profesori, din districtul școlar al Washington DC, deși avea recomandări excelente de la director și părinții copiilor.
I know what a lot of you guys are thinking, especially the data scientists, the AI experts here. You're thinking, "Well, I would never make an algorithm that inconsistent." But algorithms can go wrong, even have deeply destructive effects with good intentions. And whereas an airplane that's designed badly crashes to the earth and everyone sees it, an algorithm designed badly can go on for a long time, silently wreaking havoc.
Știu ce gândesc mulți dintre voi, mai ales experții în date și inteligență artificială. Vă ziceți: „N-aș face niciodată un algoritm așa de inconsecvent.” Dar algoritmii pot da greș, pot avea chiar efecte profund distructive în ciuda bunelor intenții. Dar în timp ce un avion care e prost conceput se prăbușește și poate fi văzut de toți, un algoritm prost conceput poate să funcționeze mult timp făcând ravagii pe ascuns.
This is Roger Ailes.
El e Roger Ailes.
(Laughter)
(Râsete)
He founded Fox News in 1996. More than 20 women complained about sexual harassment. They said they weren't allowed to succeed at Fox News. He was ousted last year, but we've seen recently that the problems have persisted. That begs the question: What should Fox News do to turn over another leaf?
A fondat Fox News în 1996. Peste 20 de femei s-au plâns de hărțuire sexuală. Au zis că nu li s-a permis să aibă succes la Fox News. A fost demis anul trecut, dar am văzut recent că problemele au persistat. Asta impune întrebarea: ce ar trebui să facă Fox News pentru a întoarce pagina?
Well, what if they replaced their hiring process with a machine-learning algorithm? That sounds good, right? Think about it. The data, what would the data be? A reasonable choice would be the last 21 years of applications to Fox News. Reasonable. What about the definition of success? Reasonable choice would be, well, who is successful at Fox News? I guess someone who, say, stayed there for four years and was promoted at least once. Sounds reasonable. And then the algorithm would be trained. It would be trained to look for people to learn what led to success, what kind of applications historically led to success by that definition. Now think about what would happen if we applied that to a current pool of applicants. It would filter out women because they do not look like people who were successful in the past.
Cum ar fi dacă ar înlocui procesul de recrutare cu algoritmi de învățare automatizată? Sună bine, nu? Gândiți-vă la asta. Care ar fi datele? O alegere rezonabilă ar fi cererile de angajare din ultimii 21 de ani. Rezonabilă. Dar definiția succesului? Alegerea rezonabilă ar fi... păi, cine are succes la Fox News? Presupun că cineva care, să zicem, a lucrat acolo patru ani și a fost promovat cel puțin o dată. Sună rezonabil. Apoi algoritmul ar fi instruit. Va fi instruit să caute oameni, ca să înțeleagă ce a condus la succes, ce fel de cereri de angajare au condus de-a lungul timpului la succes, conform definiției. Acum gândiți-vă ce s-ar întâmpla dacă am aplica asta unui grup actual de candidați. Ar filtra femeile, pentru că ele nu par genul care să fi avut succes în trecut.
Algorithms don't make things fair if you just blithely, blindly apply algorithms. They don't make things fair. They repeat our past practices, our patterns. They automate the status quo. That would be great if we had a perfect world, but we don't. And I'll add that most companies don't have embarrassing lawsuits, but the data scientists in those companies are told to follow the data, to focus on accuracy. Think about what that means. Because we all have bias, it means they could be codifying sexism or any other kind of bigotry.
Algoritmii nu fac lucrurile echitabile, dacă-i aplici fără griji și discernământ. Nu fac lucrurile echitabile. Ei repetă procedeele noastre din trecut, tiparele noastre. Automatizează status quo-ul. Asta ar fi minunat dacă am trăi într-o lume perfectă, dar nu trăim. Adaug că majoritatea companiilor n-au procese de judecată jenante, dar specialiștilor în date din acele companii li se spune să urmărească datele, să se concentreze pe acuratețe. Gândiți-vă ce înseamnă asta. Pentru că toți avem prejudecăți, înseamnă că ar putea codifica discriminarea sexuală sau orice alt fel de intoleranță.
Thought experiment, because I like them: an entirely segregated society -- racially segregated, all towns, all neighborhoods and where we send the police only to the minority neighborhoods to look for crime. The arrest data would be very biased. What if, on top of that, we found the data scientists and paid the data scientists to predict where the next crime would occur? Minority neighborhood. Or to predict who the next criminal would be? A minority. The data scientists would brag about how great and how accurate their model would be, and they'd be right.
Un experiment de gândire, pentru că-mi plac: o societate complet scindată, divizată religios, toate orașele, toate cartierele, și în care trimitem poliția doar în cartierele cu minorități pentru a cerceta delicte. Datele arestărilor ar fi foarte părtinitoare. Ce-ar fi dacă, în plus, am găsi specialiștii în date și i-am plăti ca să prezică unde ar avea loc următoarea infracțiune? Cartierul cu minorități. Sau să prezică cine ar fi următorul infractor? Un cetățean minoritar. Specialiștii în date s-ar lăuda cu cât de grozav și precis ar fi modelul lor și ar avea dreptate.
Now, reality isn't that drastic, but we do have severe segregations in many cities and towns, and we have plenty of evidence of biased policing and justice system data. And we actually do predict hotspots, places where crimes will occur. And we do predict, in fact, the individual criminality, the criminality of individuals. The news organization ProPublica recently looked into one of those "recidivism risk" algorithms, as they're called, being used in Florida during sentencing by judges. Bernard, on the left, the black man, was scored a 10 out of 10. Dylan, on the right, 3 out of 10. 10 out of 10, high risk. 3 out of 10, low risk. They were both brought in for drug possession. They both had records, but Dylan had a felony but Bernard didn't. This matters, because the higher score you are, the more likely you're being given a longer sentence.
Realitatea nu-i așa de drastică, dar avem diviziuni profunde în multe orașe și comune, și avem destule dovezi în acțiunile părtinitoare ale poliției și datele sistemului judiciar. Și chiar prezicem punctele critice, locurile unde se desfășoară infracțiunile. Și chiar prezicem, de fapt, infracțiunile individuale, infracțiunile indivizilor. Organizația de știri ProPublica a analizat recent unul din algoritmii „riscului de recidivă”, cum li se zice, folosiți în Florida în sentințele judecătorești. Bernard, în stânga, bărbatul de culoare, a obținut zece puncte din zece. Dylan, în dreapta, trei din zece. Zece din zece, risc ridicat. Trei din zece, risc scăzut. Au fost acuzați de posesie de droguri. Amândoi cu antecedente, dar Dylan comisese o crimă, iar Bernard nu. Asta contează, deoarece cu cât ai scorul mai mare, cu atât ai mai multe șanse să primești o sentință mai lungă.
What's going on? Data laundering. It's a process by which technologists hide ugly truths inside black box algorithms and call them objective; call them meritocratic. When they're secret, important and destructive, I've coined a term for these algorithms: "weapons of math destruction."
Ce se întâmplă? Spălare de date. E un proces prin care tehnologii ascund adevăruri neplăcute în algoritmi de tip cutie neagră, pe care-i numesc obiectivi și meritocratici. Când sunt secreți, importanți și distructivi, am inventat o denumire pentru algoritmii ăștia: „arme de distrugere matematică”.
(Laughter)
(Râsete)
(Applause)
(Aplauze)
They're everywhere, and it's not a mistake. These are private companies building private algorithms for private ends. Even the ones I talked about for teachers and the public police, those were built by private companies and sold to the government institutions. They call it their "secret sauce" -- that's why they can't tell us about it. It's also private power. They are profiting for wielding the authority of the inscrutable. Now you might think, since all this stuff is private and there's competition, maybe the free market will solve this problem. It won't. There's a lot of money to be made in unfairness.
Sunt peste tot și nu din greșeală. Sunt companii private care construiesc algoritmi privați pentru scopuri private. Chiar și cei de care am vorbit, pentru profesori și poliție, au fost construiți de companii private și vânduți instituțiilor guvernamentale. Ei numesc asta „sosul lor secret”, de asta nu ni-l pot dezvălui. E și o putere privată. Profită de faptul că exercită autoritatea impenetrabilă. Acum o să vă gândiți că, din moment ce totul e privat, și există concurență, poate că piața liberă o să rezolve problema. N-o s-o facă. Sunt mulți bani de câștigat din inechitate.
Also, we're not economic rational agents. We all are biased. We're all racist and bigoted in ways that we wish we weren't, in ways that we don't even know. We know this, though, in aggregate, because sociologists have consistently demonstrated this with these experiments they build, where they send a bunch of applications to jobs out, equally qualified but some have white-sounding names and some have black-sounding names, and it's always disappointing, the results -- always.
În plus, nu suntem agenți economici raționali. Toți suntem părtinitori. Toți suntem rasiști și intoleranți într-un fel în care ne dorim să nu fi fost și de care nici nu ne dăm seama. Dar știm asta, în ansamblu, pentru că sociologii au demonstrat-o constant cu experimentele pe care le-au creat, când trimit mai multe cereri la anunțurile de angajare, cu aceleași calificări, dar unele au nume ca de albi și altele ca de negri, iar rezultatele sunt mereu dezamăgitoare.
So we are the ones that are biased, and we are injecting those biases into the algorithms by choosing what data to collect, like I chose not to think about ramen noodles -- I decided it was irrelevant. But by trusting the data that's actually picking up on past practices and by choosing the definition of success, how can we expect the algorithms to emerge unscathed? We can't. We have to check them. We have to check them for fairness.
Deci noi suntem cei părtinitori, și introducem acele prejudecăți în algoritmi, alegând ce date să fie selectate, așa cum aleg eu să nu mă gândesc la tăiețeii ramen, am decis că nu-i relevant. Dar având încredere în datele care reiau practicile din trecut și alegând definiția succesului, cum să ne putem aștepta ca algoritmii să fie neafectați? Nu putem. Trebuie să-i verificăm. Trebuie să le verificăm echitatea.
The good news is, we can check them for fairness. Algorithms can be interrogated, and they will tell us the truth every time. And we can fix them. We can make them better. I call this an algorithmic audit, and I'll walk you through it.
Vestea bună e că le putem verifica echitatea. Algoritmii pot fi interogați și ne vor spune adevărul de fiecare dată. Și putem să-i reparăm. Putem să-i îmbunătățim. Eu numesc asta un audit algoritmic și o să vă explic ce presupune.
First, data integrity check. For the recidivism risk algorithm I talked about, a data integrity check would mean we'd have to come to terms with the fact that in the US, whites and blacks smoke pot at the same rate but blacks are far more likely to be arrested -- four or five times more likely, depending on the area. What is that bias looking like in other crime categories, and how do we account for it?
Mai întâi, verificarea integrității datelor. Pentru algoritmul riscului de recidivă de care am vorbit, o verificare a integrității datelor ar însemna să acceptăm faptul că în SUA, albii și cei de culoare fumează canabis în egală măsură, dar cei de culoare au mai multe șanse să fie arestați, de patru sau cinci ori mai des, în funcție de regiune. Cum arată prejudecata asta în alte categorii de infracțiuni și cum o justificăm?
Second, we should think about the definition of success, audit that. Remember -- with the hiring algorithm? We talked about it. Someone who stays for four years and is promoted once? Well, that is a successful employee, but it's also an employee that is supported by their culture. That said, also it can be quite biased. We need to separate those two things. We should look to the blind orchestra audition as an example. That's where the people auditioning are behind a sheet. What I want to think about there is the people who are listening have decided what's important and they've decided what's not important, and they're not getting distracted by that. When the blind orchestra auditions started, the number of women in orchestras went up by a factor of five.
În al doilea rând, ar trebui să ne gândim la definiția succesului, să audităm asta. Vă amintiți algoritmul pentru angajare? Am vorbit de el. Cineva care lucrează patru ani și e promovat o dată? Ăsta e un angajat de succes, dar și unul care e susținut de cultura lor. Dar și asta poate fi părtinitor. Trebuie să separăm aceste două aspecte. Ar trebui să luăm audiția pe nevăzute drept exemplu. Presupune că cei care sunt audiați stau după un paravan. În cazul ăsta vreau să mă gândesc că cei care ascultă au decis ce-i important și ce nu și nu li se distrage atenția de la asta. Când s-a început cu audițiile pe nevăzute, numărul femeilor în orchestre a crescut de cinci ori.
Next, we have to consider accuracy. This is where the value-added model for teachers would fail immediately. No algorithm is perfect, of course, so we have to consider the errors of every algorithm. How often are there errors, and for whom does this model fail? What is the cost of that failure?
Mai departe, trebuie să examinăm acuratețea. În cazul ăsta, modelul valorii adăugate pentru profesori ar eșua imediat. Niciun algoritm nu e perfect, desigur, deci trebuie să ne gândim la erorile fiecărui algoritm. Cât de des apar erori și pentru cine nu funcționează modelul? Care e costul acestui eșec?
And finally, we have to consider the long-term effects of algorithms, the feedback loops that are engendering. That sounds abstract, but imagine if Facebook engineers had considered that before they decided to show us only things that our friends had posted.
Și, în sfârșit, trebuie să analizăm efectele pe termen lung ale algoritmilor, buclele de feedback care se generează. Sună abstract, dar imaginați-vă că tehnicienii Facebook s-ar fi gândit la asta înainte să decidă să ne arate doar ce au publicat prietenii noștri.
I have two more messages, one for the data scientists out there. Data scientists: we should not be the arbiters of truth. We should be translators of ethical discussions that happen in larger society.
Mai am două mesaje, unul e pentru specialiștii în date dintre voi. Specialiști în date, nu trebuie să fim arbitrii adevărului. Ar trebui să fim traducătorii discuțiilor etice care au loc în societate la scară largă.
(Applause)
(Aplauze)
And the rest of you, the non-data scientists: this is not a math test. This is a political fight. We need to demand accountability for our algorithmic overlords.
Iar pentru voi, ceilalți, nespecializați în date: ăsta nu-i un test de matematică. E o luptă politică. Trebuie să pretindem responsabilizarea suzeranilor noștri algoritmici.
(Applause)
(Aplauze)
The era of blind faith in big data must end.
Vremea încrederii oarbe în volumele mari de date trebuie să ia sfârșit.
Thank you very much.
Mulțumesc mult.
(Applause)
(Aplauze)