So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
Az első munkám számítógép-programozás volt a főiskola legelső évében, amit még tizenévesként kezdtem.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
Kezdésem után nem sokkal szoftvereket írtam egy cégnek, amikor a cég egyik főnök odajött hozzám, és suttogva megkérdezte: "Ő tudja-e, ha hazudok?" Senki más nem volt a szobában.
"Can who tell if you're lying? And why are we whispering?"
"Kicsoda tudja-e, ha hazudsz? És miért suttogunk?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
A főnök a szobában lévő számítógépre mutatott. "Ő tudja-e, ha hazudok?" Hát, ennek a főnöknek viszonya volt a recepcióssal.
(Laughter)
(Nevetés)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
És én még csak tizenéves voltam. Hangosan visszasuttogtam: "Igen, a számítógép tudja, mikor hazudsz."
(Laughter)
(Nevetés)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
Kinevettem, de igazából engem kellene kinevetni. Manapság olyan számítógépes rendszerek vannak, amelyek kiszimatolják az érzelmi állapotot, sőt a hazugságot is az emberi arc tanulmányozásából. A reklámozók és a hatóságok is erősen érdeklődnek irántuk.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
Azért lettem számítógép-programozó, mert gyerekként megőrültem a matekért és a tudományért. De valamikor később tudomást szereztem a nukleáris fegyverekről, és komolyan aggódni kezdtem a tudomány etikájáért. Zavarban voltam. Ám családi körülményeim miatt minél hamarabb munkába kellett állnom. Úgyhogy azt gondoltam magamban: választok egy műszaki területet, ahol könnyen találok munkát, és ahol nem kell foglalkoznom semmilyen zavaró etikai kérdéssel. A számítógépeket választottam.
(Laughter)
(Nevetés)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
Hát, ha-ha-ha! Ki lehet engem nevetni. Manapság az informatikusok olyan felületeket építenek, amelyek azt irányítják, amit egymilliárd ember naponta lát. Autókat fejlesztenek, amelyek eldönthetik, kit ütnek el. Sőt, gépeket és fegyvereket gyártanak, amelyek háborúban embereket ölhetnek meg. Etika végestelen végig.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
A gépi intelligencia megérkezett. Ma a számítástechnikát mindenféle döntésre használjuk, újfajta döntésekre is. Olyan kérdéseket teszünk fel a gépeknek, amelyekre nincs egyetlen helyes válasz, szubjektív, nyitott és fontos kérdéseket.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
Ilyen kérdéseket teszünk fel: „Kit alkalmazzon a cég?”, „Melyik ismerős melyik frissítését mutassuk meg neked?”, „Melyik elítéltről valószínűbb, hogy újból bűnözik?”, „Melyik hírt vagy mozifilmet ajánljuk az embereknek?”
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
Már használjuk egy ideje a számítógépeket, de ez most más. Ez történelmi fordulat, mert a számítástechnikát nem tudjuk úgy kötni e szubjektív döntésekhez, ahogy összekapcsoljuk a légi közlekedéssel, a hídépítéssel, a holdra szállással. Biztonságosabbak a repülőgépek? Kilengett és összedőlt a híd? Ott vannak egyeztetett, elég világos viszonyítási alapjaink, és a természet törvényei irányítanak. A zűrös emberi viszonyokra vonatkozó döntésekhez nincsenek ilyen kapcsolódási és viszonyítási pontjaink.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
Hogy bonyolítsa a dolgokat, szoftverünk egyre erősebb, ugyanakkor kevésbé átlátható és egyre bonyolultabb lesz. Nemrég, az elmúlt évtizedben, a komplex algoritmusok nagyot léptek előre. Emberi arcokat ismernek fel. Kézírást silabizálnak ki. Hitelkártyacsalásokat ismernek fel, spamet szűrnek ki, és egyik nyelvről a másikra fordítanak. Az orvosi képalkotásban daganatokat ismernek fel. Megverik az embert sakkban és <i>gó</i>ban.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
A haladás zöme az ún. „gépi tanulás” módszerének köszönhető. A gépi tanulás különbözik a hagyományos programozástól, ahol a számítógépnek részletes, pontos, precíz utasításokat adunk. Inkább olyan, hogy egy rendszerbe beletöltünk egy csomó adatot, strukturálatlan adatokat is, amilyeneket digitális életünk hoz létre. A rendszer az adatok átfésüléséből tanul. Még egy alapvető dolog: e rendszerek nem az egyetlen válasz logikáját követik. Nem egy egyszerű választ szűrnek le, inkább valószínűséget: „Ez inkább hasonlít arra, amit keresel.”
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
A jó dolog ebben az, hogy a módszer valóban hatásos. A Google MI-rendszer vezetője így nevezte: „az adatok észszerűtlen hatékonysága”. A hátránya, hogy nemigen értjük, mit tanult a rendszer. Valójában ez az erőssége. Ez nem olyan, mint amikor utasításokat adunk egy számítógépnek, inkább olyan, mintha kiképeznénk egy gép-kutyus-szerű lényt, akit nemigen értünk, és nem tudunk irányítani. Ez a gondunk. Gond, ha ez az MI-rendszer valamit elszúr. Az is, ha nem szúrja el, mert nem is tudjuk, mi micsoda. ha szubjektív kérdésről van szó. Nem tudjuk, mit gondol ez a dolog.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
Vegyünk egy felvételi algoritmust, azaz felvételre való rendszert, amely gépi tanulási rendszert használ. A rendszert az eddigi alkalmazottak adatain tanították be, és arra utasították, hogy a cég jelenlegi jól teljesítő embereihez hasonlókat találjon és alkalmazzon. Jól hangzik. Részt vettem egyszer egy konferencián, ahol humánerőforrás-ügyintézők és -vezetők gyűltek össze, magas rangú emberek, ők ilyeneket használtak felvételhez. Rendkívül izgatottak voltak. Azt gondolták, hogy ez objektívabbá, pártatlanabbá teszi a felvételt, és jobb esélyt ad nőknek és a kisebbségeknek a részrehajló ügyintézőkkel szemben.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
De az emberek felvétele részrehajló. Én tudom. Az egyik korai munkahelyemen programozóként dolgoztam, és a kisfőnököm néha odajött hozzám nagyon korán reggel vagy nagyon késő délután, és azt mondta: „Zeynep, menjünk ebédelni!” Meglepett a fura időzítés. Délután négykor ebédeljünk? Le voltam égve, ingyenes az ebéd... Mindig vele mentem. Később rájöttem, mi történt. Kisfőnökeim nem vallották be feletteseiknek, hogy a komoly munkára felvett programozó egy tinilány, aki farmerben és surranóban jár munkába. Jól dolgoztam, de nem néztem ki elég jól, nem felelt meg a korom és a nemem.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
Ezért egy nemtől és rassztól független felvétel jól hangzik nekem. De elmondom, hogy e rendszerekkel a helyzet ennél miért bonyolultabb, Ma már a számítógép-rendszerek mindenfélét ki tudnak következtetni rólunk a digitális morzsáinkból, még akkor is, ha nem hoztuk nyilvánosságra őket. Ki tudják következtetni nemi orientációnkat, személyiségjegyeinket, politikai szimpátiáinkat. Előrejelző erejük nagy fokú pontossággal párosul. Figyelem: olyan dolgokról, amelyeket nem is közöltünk. Ez a kikövetkeztetés.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
Egyik barátnőm olyan számítógépes rendszereket fejlesztett, amelyek előrejelzik a szülés utáni vagy a súlyos depresszió valószínűségét a közösségi média adataiból. Az eredmények lenyűgözőek. Rendszere előrejelzi a depresszió valószínűségét hónapokkal a tünetek megjelenése előtt. Hónapokkal előtte! Nincs még tünet, de előrejelzés már van. Barátnőm reméli, hogy felhasználják majd a korai beavatkozáshoz. Nagyszerű! De nézzük ezt a felvételi szempontjából!
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
Az említett humánerőforrás-konferencián odamentem az egyik óriási cég magas rangú vezetőjéhez, és megkérdeztem tőle: „M van, ha az ön tudta nélkül rendszerük kiszűri azokat, akiknél a depresszió jövőbeni valószínűsége nagy? Mi van, ha kiszűri azokat, akik egy-két éven belül valószínűleg teherbe esnek, de most nem terhesek? Mi van, ha agresszív embereket vesz fel, mert a munkahelyi kultúrába beleillenek?" Ez nem derül ki a nemek szerinti bontásból. Az lehet, hogy rendben van. Mivel ez gépi tanulás, nem hagyományos kódolás, nincs „magas depressziókockázat”, „magas terhességi kockázat”, „agresszív pasi skála” nevű változó. Nemcsak azt nem tudjuk, mi alapján választ a rendszer, hanem azt sem, hol kezd el keresni. Ez egy fekete doboz. Előrejelző ereje van, de nem értjük.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
„Mi a biztosíték rá – kérdeztem, hogy a fekete doboz nem csinál valami kétes dolgot?” Úgy nézett rám, mintha megöltem volna a tanácselnököt.
(Laughter)
(Nevetés)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
Bámult rám, majd azt mondta: „Nem akarok erről hallani többet egy szót sem”. Sarkon fordult, és elment. Megjegyezném: nem volt durva. Világos volt: amiről nem tudok, az nem az én problémám, lelépek, bután nézek.
(Laughter)
(Nevetés)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
Egy ilyen rendszer, lehet, hogy kevésbé részrehajló, mint bizonyos esetekben az ügyintézők. Pénzügyileg megérheti. De ahhoz vezethet, hogy folyamatosan és alattomosan kizárja a munkaerőpiacról a magas depressziókockázatúakat. Ilyenfajta társadalmat akarunk építeni, még ha tudtunkon kívül is, csak mert olyan gépeknek adtuk át a döntéshozatalt, amelyeket nem is értünk?
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
Egy másik nehézség: a rendszerek tanítása gyakran tetteinkből létrehozott adatokkal, emberi lenyomatokkal történik. Lehet, hogy ezek tükrözik részrehajlásunkat, és a rendszerek eltanulják őket, felerősítik, és visszatükrözik nekünk, miközben azt mondjuk magunknak „Mi csak objektív, semleges számítástechnikát gyakorlunk.”
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
Kutatók kimutatták, hogy a Google nőknek kisebb valószínűséggel mutat jól fizetett állásokról szóló hirdetéseket, mint férfiaknak. Ha afroamerikai nevekre keresünk, gyakrabban hoz fel büntetett előéletet sejtető reklámokat, akkor is, ha nincs ilyenről szó. Az ilyen rejtett részrehajlásokat és „fekete doboz” algoritmusokat olykor felfedik a kutatók, de néha nem tudunk róluk, pedig következményeik megváltoztathatják az életet.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
Wisconsinban egy vádlottat hat év börtönre ítéltek, mert kijátszotta a rendőröket. Tán nem tudják: szabadlábra helyezési és büntetési döntésekhez egyre gyakrabban használnak algoritmust. Ez az ember meg akarta tudni, hogyan számítják a pontszámot. Ez egy kereskedelmi fekete doboz. A cég visszautasította, hogy nyilvános bíróság elé vigyék az algoritmusát. De a ProPublica nonprofit nyomozó szervezet auditálta az algoritmust a hozzáférhető nyilvános adatokkal, és az eredményeket részrehajlónak találta, az előrejelző képességét pedig pocséknak, alig jobbnak a véletlennél, kétszer olyan gyakran jelölte hibásan leendő bűnözőnek a fekete, mint a fehér elítélteket.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
Vegyünk egy másik esetet: egy nőnek el kellett hoznia keresztlányát az iskolából a floridai Broward megyében. Késésben volt, rohant az utcán a barátnőjével. Egy tornácon lezáratlan gyerekbiciklit és rollert láttak meg, meggondolatlanul felugrottak rá. Ahogy elhajtottak, kijött egy nő, s azt kiáltotta: „Hé! Az a gyerek biciklije!” Eldobták, továbbmentek, de letartóztatták őket.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
Rosszat tett, őrültség volt, de csak 18 éves volt. Volt néhány fiatalkori kihágása. Ugyanakkor letartóztattak egy férfit 85 dollár értékű áruházi lopásért, ez egy hasonló kisebb vétség. Volt viszont két korábbi ítélete fegyveres rablásért. Az algoritmus mégis a nőt értékelte magas kockázatúnak, nem a férfit. Két évvel később a ProPublica azt találta, hogy a nő nem követett el új vétséget. Csak nehéz volt munkát találnia a priusza miatt. A férfi viszont visszaeső volt, és most nyolcéves büntetését tölti egy későbbi bűncselekmény miatt. Világos, hogy auditálnunk kell a fekete dobozainkat, s nem engedhetjük, hogy ilyen korlátlan hatalmuk legyen.
(Applause)
(Taps)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
Az auditok nagyszerűek és fontosak, de nem oldják meg minden gondunkat. Vegyük a Facebook hatásos hírválogató algoritmusát, azt, amelyik mindent sorba rak, és eldönti, mit mutasson meg nekünk az összes követett ismerős és oldal közül. Mutasson még egy kisbabás képet?
(Laughter)
(Nevetés)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
Egy ismerős morcos megjegyzését? Egy fontos, de fajsúlyos hírt? Nincs helyes válasz. A Facebook az oldalon zajló tevékenységre optimalizál: lájk, megosztás, komment.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
2014 augusztusában tüntetések törtek ki a Missouribeli Fergusonban, miután egy fehér rendőr lelőtt egy afroamerikai tinédzsert, gyanús körülmények között. Tele volt a tüntetések híreivel az algoritmussal nem szűrt Twitter-fiókom, de a Facebookon nem volt semmi. A Facebook-ismerőseim az oka? Kikapcsoltam a Facebook algoritmusát, ami nehéz, mert a Facebook azt akarja, hogy az algoritmus irányítson minket. Láttam, hogy az ismerőseim beszélgetnek róla. Csakhogy az algoritmus azt nem mutatta meg nekem. Kutattam utána, és azt találtam, hogy ez egy elterjedt probléma.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
A fergusoni sztori nem volt szimpatikus az algoritmusnak. Nem lájkolható. Ki fog a lájkra kattintani? Még kommentelni sem könnyű. Lájkok és kommentek nélkül az algoritmus egyre kisebb valószínűséggel mutatta egyre kevesebbeknek, így nem láthattuk meg. Ehelyett azon a héten a Facebook algoritmusa előtérbe helyezte az ALS jeges vödör kihívást. Nemes cél: önts magadra jeges vizet, és adakozz; rendben. Ez szimpatikus volt az algoritmusnak. A gép ezt helyettünk döntötte el. Egy igen fontos, de nehéz beszélgetést fojtott volna el, ha a Facebook lett volna az egyetlen csatorna.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
S végül, e rendszerek úgy is hibázhatnak, ami nem hasonlít az emberi rendszerekre. Emlékeznek a Watsonra, az IBM gépi intelligencia rendszerére, amelyik felmosta a padlót a "Mindent vagy semmit" kvíz versenyzőivel? Nagyszerű játékos volt. De az utolsó fordulóban a következő kérdést tették fel a Watsonnak: „Legnagyobb repterét egy II. világháborús hősről nevezték el, a másodikat egy II. világháborús csatáról.”
(Hums Final Jeopardy music)
(Dúdolja a kvíz zenéjét)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
Chicago. A két ember eltalálta. A Watson válasza viszont Toronto volt – az USA-város kategóriában! A lenyűgöző rendszer olyan hibát ejtett, amilyet ember sosem tenne, egy másodikos gyerek sem.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
A gépi intelligenciánk olyan módon hibázhat, ami nem hasonlít az emberi hibamintákra, olyan módon, amire nem számítunk, nem vagyunk rá felkészülve. Ronda dolog lenne lemaradni egy munkáról, amire megvan a képesítésünk, de háromszoros szívás lenne, ha ezt egy szubrutinban túlcsordult verem okozná.
(Laughter)
(Nevetés)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
2010 májusában a Wall Street villámkrachja, amit a tőzsdei „eladási” algoritmus visszacsatolási hurka okozott, egybillió dollárnyi értéket tett semmivé 36 perc alatt. Bele sem akarok gondolni, mit jelent a „hiba” az autonóm halálos fegyverekkel összefüggésben.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
Igen, az emberek mindig részrehajlók voltak. Döntéshozók és kapuőrök a bíróságokon, hírekben, háborúban... hibáznak; de éppen erről beszélek. Nem szabadulhatunk meg e fogós kérdésektől. Nem szervezhetjük ki felelősségünket gépekbe.
(Applause)
(Taps)
Artificial intelligence does not give us a "Get out of ethics free" card.
A mesterséges intelligencia nem ment föl az etikus gondolkodás alól.
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
Fred Benenson adatkutató „math-washing”-nak nevezi ezt. Az ellenkezője szükséges. Gyanakodnunk kell az algoritmusokra, és vizsgálnunk kell őket. Gondoskodnunk kell róla, hogy az algoritmusok számon kérhetők, auditálhatók és észszerűen átláthatók legyenek. El kell fogadnunk, hogy a matek és az informatika bevonása a zavaros, értékeket hordozó emberi viszonyokba nem eredményez objektivitást; ehelyett az emberi viszonyok komplexitása átitatja az algoritmust. Igen, lehet és kell használnunk az informatikát, hogy segítsen jobb döntéseket hozni. De ítéleteinkért az erkölcsi felelősséget nekünk kell viselnünk, és az algoritmusokat azon keretek között kell használnunk, nem pedig arra, hogy lemondjunk az egymás iránti felelősségünkről, és azt kiszervezzük.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
A gépi intelligencia megérkezett. Ez azt jelenti, hogy még szigorúbban kell ragaszkodnunk az emberi értékekhez és etikához.
Thank you.
Köszönöm.
(Applause)
(Taps) (Üdvrivalgás)