So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
Ik begon mijn eerste baan als computerprogrammeur in mijn eerste jaar aan de universiteit. Ik was nog een tiener.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
Spoedig nadat ik er begon met het schrijven van software voor een bedrijf, kwam een manager van het bedrijf naar me toe en fluisterde: "Weet hij of ik lieg?" Er was niemand anders in de kamer.
"Can who tell if you're lying? And why are we whispering?"
Ik: "Weet wie dat je liegt? En waarom fluisteren we?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
De manager wees naar de computer in de kamer. "Weet hij of ik lieg?" Nu had die manager een affaire met de receptioniste.
(Laughter)
(Gelach)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
En ik was nog een tiener. Dus fluister-schreeuwde ik naar hem terug: "Ja, de computer weet of je liegt."
(Laughter)
(Gelach)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
Nou, ik lachte, maar op dit moment zou ik moeten worden uitgelachen. Tegenwoordig zijn er computersystemen die emotionele toestanden en zelfs liegen herkennen door het interpreteren van menselijke gezichten. Adverteerders en zelfs regeringen zijn zeer geïnteresseerd.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
Ik was computerprogrammeur geworden omdat ik een van die kinderen was die gek zijn op wiskunde en wetenschap. Maar ik leerde wat over kernwapens en werd echt bezorgd over de ethiek van de wetenschap. Ik was in de war. Door familieomstandigheden moest ik zo snel mogelijk aan werk geraken. Ik dacht, nou, laat me een technisch gebied uitkiezen waarin ik gemakkelijk een baan kan vinden en waar ik niet hoef in te gaan op eventuele lastige vragen over ethiek. Dus koos ik voor computers.
(Laughter)
(Gelach)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
Nou ja, ha, ha, ha! Lach maar. Tegenwoordig bouwen computerwetenschappers systemen die elke dag een miljard mensen controleren. Ze ontwikkelen auto's die zouden kunnen beslissen wie ze overrijden. Ze bouwen zelfs machines, wapens, die in de oorlog mensen zouden kunnen doden. Het is ethiek, al wat de klok slaat.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
Machine-intelligentie is hier. We nemen allerlei beslissingen aan de hand van berekeningen, maar ook nieuwe typen beslissingen. We stellen vragen aan de computer waar niet één enkel antwoord op is, die subjectief zijn met een open einde en waardegeladen.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
We stellen vragen als: "Wie moet het bedrijf inhuren?" "Welke update van welke vriend moet je te zien krijgen?" "Welke gevangene heeft meer kans om te recidiveren?" "Welke nieuwsbericht of film moeten we aanbevelen?"
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
Ik weet dat we al een tijdje computers gebruiken, maar dit is anders. Dit is een historisch keerpunt, omdat we voor dergelijke subjectieve beslissingen niet op berekeningen kunnen vertrouwen, zoals we dat doen voor het vliegen van vliegtuigen, het bouwen van bruggen of naar de maan gaan. Zijn vliegtuigen veiliger? Is de brug gaan zwaaien en ingestort? Daar hebben we vrij duidelijke normen voor afgesproken en we hebben natuurwetten om ons te leiden. Dergelijke ijkpunten en normen hebben we niet voor besluiten in rommelige menselijke aangelegenheden.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
Om de zaken nog ingewikkelder te maken, wordt onze software steeds krachtiger, maar ook steeds minder transparant en complexer. Recentelijk, in het afgelopen decennium, hebben complexe algoritmen grote vooruitgang geboekt. Ze kunnen menselijke gezichten herkennen. Ze kunnen handschrift ontcijferen. Ze kunnen creditcardfraude detecteren, spam blokkeren en vertalingen maken. Ze kunnen tumoren detecteren bij medische beeldvorming. Ze kunnen mensen met schaken en go verslaan.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
Een groot deel van deze vooruitgang komt van een methode 'machine learning' genaamd. Machine learning is anders dan het traditionele programmeren, waar je de computer gedetailleerde, exacte, nauwgezette instructies geeft. Het is meer alsof je het systeem veel data voert, ook ongestructureerde data, zoals we ze genereren in ons digitale leven. En het systeem leert door op deze gegeven te broeden. Ook van cruciaal belang is dat deze systemen niet werken met een één-antwoord logica. Ze geven geen simpel antwoord; het is meer probabilistisch: "Dit is waarschijnlijk meer wat je zoekt."
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
Het voordeel is dat deze methode echt krachtig is. Het hoofd van Google's AI-systemen noemde het: "De onredelijke effectiviteit van data." Het nadeel is dat we niet echt begrijpen wat het systeem leerde. Dat is in feite zijn kracht. Dit lijkt minder op het geven van instructies aan een computer dan op het trainen van een puppy-machine-schepsel dat we niet echt begrijpen of controleren. Dus dit is ons probleem. Als het kunstmatige-intelligentie systeem in de fout gaat, hebben we een probleem. Het is ook een probleem wanneer het goed werkt, omdat we niet eens weten wanneer het in de fout gaat bij een subjectief probleem. We weten niet wat dit ding denkt.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
Denk eens aan een algoritme voor aanwerving -- een systeem dat wordt gebruikt om mensen aan te nemen met behulp van machine learning-systemen. Een dergelijk systeem werd getraind met data van vroegere werknemers en geïnstrueerd voor het vinden en inhuren van mensen zoals de beste presteerders in het bedrijf. Klinkt goed. Ik heb eens een conferentie bijgewoond met human-resourcesmanagers en leidinggevenden, hoge pieten, die dergelijke systemen voor het inhuren gebruiken. Ze waren superenthousiast. Ze dachten dat dit het inhuren objectiever en minder bevooroordeeld zou maken en vrouwen en minderheden betere kansen zouden geven ten opzichte van vooringenomen menselijke managers.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
En ja -- het inhuren door mensen is bevooroordeeld. Ik weet het. In een van mijn eerste banen als programmeur kwam mijn directe manager soms naar me toe, heel vroeg in de ochtend of erg laat in de middag, en zei: "Zeynep, laten we gaan lunchen!" Ik was verbaasd over de vreemde timing. Het is vier uur in de namiddag. Lunch? Ik was blut. Dus gratis lunch? Ik ging altijd mee. Ik besefte pas later wat er loos was. Mijn directe managers hadden hun oversten niet verteld dat de programmeur die ze voor een serieuze baan hadden ingehuurd een tienermeisje was dat op het werk een spijkerbroek en sportschoenen droeg. Ik deed mijn werk goed, ik zag er alleen niet uit en had de verkeerde leeftijd en geslacht.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
Dus inhuren zonder oog voor geslacht of ras, daar kan ik alleen maar blij mee zijn. Maar met deze systemen ligt het ingewikkelder en wel hierom: momenteel kunnen computersystemen allerlei dingen over je afleiden uit je digitale kruimels, zelfs als je die dingen niet hebt verteld. Ze kunnen je seksuele geaardheid afleiden, je persoonlijkheidskenmerken, je politieke kleur. Ze kunnen met grote nauwkeurigheid voorspellen. Nogmaals -- ook voor dingen die je nog niet eens hebt bekendgemaakt. Dat is inferentie.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
Ik heb een vriend die dergelijke computersystemen heeft ontwikkeld om de waarschijnlijkheid van klinische of postpartumdepressie te voorspellen op basis van social-mediagegevens. De resultaten zijn indrukwekkend. Haar systeem kan de kans op depressie voorspellen maanden vóór het begin van de symptomen -- maanden eerder. Geen symptomen, wel een voorspelling. Ze hoopt dat het zal worden gebruikt voor vroege interventie. Geweldig! Maar bekijk dat nu eens in het kader van aanwerven.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
Op deze conferentie voor human-resourcesmanagers benaderde ik een vooraanstaande manager van een zeer groot bedrijf en zei tegen haar: "Kijk, wat als zonder dat je het weet, je systeem mensen met een hoge toekomstige kans op depressie uitwiedt? Ze zijn nu niet depressief, maar in de toekomst waarschijnlijk wel. Wat als het vrouwen uitwiedt omdat ze kans hebben om zwanger te worden in de volgende paar jaar, maar nu niet zwanger zijn? Wat als het agressieve mensen inhuurt, omdat dat jullie werkplekcultuur is?" Je weet dit niet door te kijken naar analyses voor geslacht. Die kunnen in evenwicht zijn. En aangezien dit machine learning is en geen traditioneel programmeren, is er geen variabele gelabeld 'groter risico op depressie', 'hoger risico op zwangerschap' of een 'agressieve-man-schaal'. Niet alleen weet je niet waarop jouw systeem selecteert, je weet niet eens waar je moet gaan zoeken. Het is een zwarte doos. Het heeft voorspellende kracht, maar je begrijpt het niet.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
"Welke garanties", vroeg ik, "heb je om ervoor te zorgen dat jouw zwarte doos geen rare dingen gaat doen?" Ze keek me aan alsof ik op tien puppystaarten tegelijk trapte.
(Laughter)
(Gelach)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
Ze keek me aan en zei: "Hier wil ik geen woord meer over horen." En ze draaide zich om en liep weg. Let wel -- ze was niet onbeleefd. Het was duidelijk: wat ik niet weet, is mijn probleem niet, ga weg, lege blik.
(Laughter)
(Gelach)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
Kijk, een dergelijk systeem kan misschien minder bevooroordeeld zijn dan menselijke managers, in sommige opzichten. Het kan misschien wel geld besparen. Maar het kan ook leiden tot een gestage, maar sluipende uitsluiting uit de arbeidsmarkt van mensen met een hoger risico op depressie. Is dit het soort samenleving dat we willen, zonder zelfs maar te weten dat we dat hebben gedaan, omdat we besluitvorming delegeerden naar machines
Another problem is this:
die we niet helemaal begrijpen?
these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
Een ander probleem is dit: deze systemen worden vaak getraind met data gegenereerd door onze acties, menselijke indrukken. Nou, die zouden wel eens onze vooroordelen kunnen weerspiegelen, welke die systemen vervolgens vlekkeloos overnemen, ze versterken en weer aan ons terugkaatsen, terwijl we onszelf wijsmaken: "We maken objectieve, neutrale berekeningen."
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
Onderzoekers ontdekten dat op Google vrouwen minder kans hebben dan mannen om vacatures voor goedbetaalde banen te zien te krijgen. Het zoeken naar Afro-Amerikaanse namen geeft een grotere kans op advertenties die een criminele geschiedenis suggereren, zelfs wanneer er geen is. Dergelijke verborgen vooroordelen en zwarte-doosalgoritmen, die onderzoekers soms ontdekken maar soms ook niet, kunnen iemands leven diepgaand beïnvloeden.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
In Wisconsin werd een verdachte veroordeeld tot zes jaar gevangenis door te gaan lopen voor de politie. Misschien weten jullie dit niet, maar algoritmen worden steeds meer gebruikt bij voorwaardelijke invrijheidstelling en straftoemeting. Hij wilde weten hoe dat deze score berekend wordt. Het is een commerciële zwarte doos. Het bedrijf weigerde zijn algoritme in een openbare rechtszitting te laten betwisten. Maar ProPublica, een onderzoekende non-profit, testte dat algoritme met openbare gegevens die ze konden vinden, en vond dat de resultaten ervan bevooroordeeld waren en dat de voorspellende kracht onduidelijk en nauwelijks beter dan het toeval was. Ze labelde zwarte verdachten onterecht als toekomstige criminelen en wel twee keer zo vaak als blanken.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
Bekijk dit geval: deze vrouw was wat laat om een meisje op te pikken op een school in Broward County, Florida. Ze liep op straat met een vriendin. Op een veranda zagen ze een kinderfiets en een scooter. Zonder nadenken sprongen ze erop. Terwijl ze wegreden, kwam een vrouw naar buiten en zei: "Hé! Dat is de fiets van mijn kind!" Ze lieten hem vallen, liepen door, maar werden gearresteerd.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
Ze ging in de fout, ze was dom, maar ze was ook pas 18. Ze had een paar jeugdmisdrijven op haar naam. Ondertussen werd deze man gearresteerd voor winkeldiefstal in Home Depot -- 85 dollar aan spullen, soortgelijke kleine criminaliteit. Maar hij had twee eerdere veroordelingen voor gewapende overval. Het algoritme scoorde haar als hoog risico en hem niet. Twee jaar later vond ProPublica dat ze niet had gerecidiveerd. Maar ze vond wel moeilijk een baan met haar strafblad. Hij daarentegen recidiveerde en zit nu voor acht jaar in de gevangenis voor een latere misdaad. Het is duidelijk dat we onze zwarte dozen moeten controleren en ze niet dit soort ongecontroleerde macht moeten geven.
(Applause)
(Applaus)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
Audits zijn geweldig en belangrijk, maar ze lossen niet al onze problemen op. Neem Facebook's krachtige nieuwsfeed-algoritme -- je weet wel, hetgeen dat alles sorteert en beslist wat jij te zien krijgt van alle vrienden en pagina's die je volgt. Moet je nog een babyfoto voorgeschoteld krijgen?
(Laughter)
(Gelach)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
Een sombere opmerking van een kennis? Een belangrijk maar moeilijk nieuwsbericht? Er is geen juist antwoord. Facebook optimaliseert voor betrokkenheid op de site: wat je leuk vindt, deelt of becommentarieert.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
In augustus 2014 braken protesten uit in Ferguson, Missouri, na het doden van een Afro-Amerikaanse tiener door een blanke politieagent onder duistere omstandigheden. Het nieuws van de protesten was prominent aanwezig op mijn algoritmisch ongefilterde Twitter-feed, maar nergens op mijn Facebook. Waren het mijn Facebookvrienden? Ik schakelde het Facebookalgoritme uit, wat moeilijk is, want Facebook houdt je liever onder de controle van het algoritme. Ik zag dat mijn vrienden erover praatten. Maar het algoritme liet het me niet zien. Ik onderzocht dit en vond dat dit een wijdverbreid probleem was.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
Het verhaal van Ferguson was niet 'algoritmevriendelijk'. Het was niet 'sympathiek'. Wie gaat er een 'vind ik leuk' aan geven? Het is zelfs niet makkelijk te becommentariëren. Zonder vind-ik-leuk's en commentaar toonde het algoritme het waarschijnlijk aan nog minder mensen, zodat we het niet te zien kregen. In plaats daarvan benadrukte Facebook's algoritme die week dit: de ALS Ice Bucket Challenge. Giet ijswater, doneer aan een goed doel, allemaal fijn. Maar het was uiterst algoritmevriendelijk. De machine nam die beslissing voor ons. Een zeer belangrijk maar moeilijk gesprek zou zijn gesmoord, als Facebook het enige kanaal was geweest.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
Nu kunnen deze systemen ook verkeerd zijn op een manier die niet op menselijke systemen lijkt. Herinneren jullie zich Watson, IBM's machine-intelligentie-systeem dat op Jeopardy de vloer aanveegde met de menselijke deelnemers? Het was een geweldige speler. Maar in de finale kreeg Watson deze vraag: "Zijn grootste luchthaven is vernoemd naar een held uit WO II, zijn tweede grootste naar een slag uit WO II."
(Hums Final Jeopardy music)
(Neuriet Final Jeopardy-muziek)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
Chicago. De twee mensen hadden het goed. Maar Watson antwoordde "Toronto" -- voor een stad van de VS! Het indrukwekkende systeem maakte ook een fout die een mens nooit zou maken, die een zevenjarige niet zou maken.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
Onze machine-intelligentie kan mislukken op een manier die niet past in foutpatronen van mensen, op een onverwachte manier waarop we niet zijn voorbereid. Het zou stom zijn om een baan mis te lopen waarvoor je gekwalificeerd bent, maar het zou driedubbel stom zijn als het was vanwege een stack overflow in de een of andere subroutine.
(Laughter)
(Gelach)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
In mei 2010 ontstond een flash crash op Wall Street, aangewakkerd door een terugkoppeling in Wall Streets 'verkopen'-algoritme. Het wiste een biljoen dollar weg in 36 minuten. Ik wil er niet eens aan denken wat 'fout' betekent als het over dodelijke autonome wapens gaat.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
Dus ja, mensen hebben altijd vooroordelen. Beslissers en bewakers, in rechtbanken, in het nieuws, in de oorlog... maken ze fouten; maar dat is precies wat ik bedoel. We kunnen niet ontsnappen aan deze moeilijke vragen. We kunnen onze verantwoordelijkheden niet uitbesteden aan machines.
(Applause)
(Applaus)
Artificial intelligence does not give us a "Get out of ethics free" card.
Kunstmatige intelligentie stelt ons niet vrij van de ethische vraagstukken.
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
Datawetenschapper Fred Benenson noemt dit 'wiskunde-wassen'. We moeten het tegenovergestelde doen. Algoritmes verdienen een cultuur van achterdocht, controle en onderzoek. We moeten zorgen voor algoritmische verantwoording, auditing en betekenisvolle transparantie. We moeten accepteren dat het toepassen van wiskunde en berekening op rommelige, waardegeladen menselijke aangelegenheden geen objectiviteit met zich meebrengt, maar dat de complexiteit van menselijke aangelegenheden in de algoritmen sluipt. Ja, we kunnen en we moeten berekening gebruiken om ons te helpen om betere beslissingen te nemen. Maar het uiteindelijke oordeel blijft onze morele verantwoordelijkheid, en binnen dat kader kunnen we algoritmen gebruiken, niet als een middel om onze verantwoordelijkheden van mens tot mens te ontlopen.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
Machine-intelligentie is hier. Dat betekent dat we steeds strakker moeten vasthouden aan menselijke waarden en menselijke ethiek.
Thank you.
Dank je.
(Applause)
(Applaus)