So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
Zaczęłam pracować jako programistka na pierwszym roku studiów, jeszcze jako nastolatka.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
Niedługo później zaczęłam pracować dla firmy tworzącej oprogramowania. Pewnego razu jeden z managerów podszedł do mnie i wyszeptał: "Czy on wie kiedy kłamię?". Byliśmy sami w pokoju.
"Can who tell if you're lying? And why are we whispering?"
"Niby kto ma wiedzieć kiedy kłamiesz? I dlaczego szepczemy?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
Manager wskazał na komputer. "Czy on wie kiedy kłamię?" Ten menadżer miał romans z recepcjonistką.
(Laughter)
(Śmiech)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
Byłam nastolatką, więc odkrzyknęłam szeptem: "Tak, komputer wie kiedy kłamiesz!".
(Laughter)
(Śmiech)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
Wtedy się z tego śmiałam, ale teraz można śmiać się ze mnie. Obecnie istnieją programy, które potrafią ropoznawać stany emocjonalne i kłamstwo na podstawie zdjęć twarzy. Spece od marketingu i organy rządowe wyrażają zainteresowanie.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
Zostałam programistką, bo od dziecka uwielbiałam matematykę i naukę. Dowiedziawszy się o broni jądrowej, przejęłam się kwestią etyki w nauce. Byłam w kropce. Ze względu na sytuację rodzinną musiałam jak najszybciej zacząć pracować. Pomyślałam, że wybiorę dziedzinę, w której łatwo znajdę pracę i nie będę musiała myśleć o zawiłych kwestiach etycznych. Wybrałam informatykę.
(Laughter)
(Śmiech)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
Ha, ha, ha. Można się ze mnie nabijać. Programiści tworzą platformy, które kontrolują to, co każdego dnia widzą miliardy ludzi. Tworzą samochody, mogące zdecydować, kogo przejechać. Tworzą nawet broń mechaniczną, która mogłaby być użyta w czasie wojny. To są od początku do końca kwestie etyczne.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers,
Sztuczna inteligencja to rzeczywistość. Korzystamy z obliczeń komputerowych do podejmowania różnych decyzji, również decyzji nowego rodzaju. Próbujemy z pomocą komputerów, uzyskać odpowiedzi na pytania,
that are subjective and open-ended and value-laden.
na które nie ma jednej dobrej odpowiedzi, które są subiektywne, otwarte i wartościujące.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
Pytamy: "Kogo powinno się zatrudnić? Który i czyj post dana osoba powinna zobaczyć? Który skazaniec prawdopodobnie popełni kolejne przestępstwo? Jaka informacja lub film powinny być zarekomendowane widowni?".
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
Używamy komputerów od lat, ale to są kwestie innego rodzaju. To jest historyczna zmiana, bo nie możemy powiązać obliczeń z tak subiektywnymi kwestiami, w taki sam sposób gdy w grę wchodzi latanie samolotami, budowa mostów i wyprawy na Księżyc. Czy samoloty są bezpieczniejsze? Czy mosty chwieją się i walą? Dla takich spraw mamy jasne standardy i prawa natury, które wskazują drogę. Nie mamy takich standardów dla decyzji w pogmatwanych ludzkich sprawach.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
Tymczasem, oprogramowanie staje się coraz potężniejsze, ale również coraz mniej przejrzyste i bardziej złożone. W ciągu ostatnich dziesięcioleci skomplikowane algorytmy dokonały milowego kroku do przodu. Potrafią rozpoznawać twarze, odczytywać odręczne pismo, wykrywać kradzieże na kartach kredytowych, blokować spam, tłumaczyć teksty, wykryć guz w obrazowaniu medycznym i pokonać człowieka w szachy.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
Większą część tego postępu zawdzięczamy metodzie zwanej "samouczeniem maszyn". Samouczenie maszyn różni się od klasycznego programowania, w którym wydaje się komputerowi dokładną i szczegółową instrunkcję. Polega bardziej na wprowadzaniu dużej ilości danych do systemu, również danych przypadkowych, takich jakie generujemy w sieci. System uczy się, przedzierając się przez te dane. Najistotniejszy jest fakt, że te systemy nie pracują zgodnie z logiką jednoznacznych odpowiedzi. Nie dają prostej odpowiedzi, tylko określają prawdopodobieństwo: "To jest być może bardziej podobne, do tego czego szukasz".
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
Plusem jest to, że ta metoda ma bardzo duży potencjał. Szef systemów sztucznej inteligencji Google nazwał tę metodę "nieuzasadnioną skutecznością danych". Minusem jest to, że nie rozumiemy, czego nauczył się system i to właśnie stanowi jego siłę. To nie przypomina wydawania instrukcji komputerowi. Przypomina raczej trenowanie mechanicznego szczeniaczka, którego nie rozumiemy i nie potrafimy kontrolować. I to jest problem. Problem pojawia się, gdy ta sztuczna inteligencja się myli. Problem pojawia się również wtedy, gdy ma rację, ponieważ nie umiemy tego rozróżnić w przypadku subiektywnej kwestii. Nie mamy pojęcia, co ten system sobie myśli.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
Rozważmy algorytm odpowiedzialny za rekrutację pracowników. Algorytm rekrutujący oparty na metodzie samouczenia się maszyn. Taki system byłby oparty na danych pracowników danej firmy i miałby zatrudniać ludzi o takim profilu jak obecni najwydajniejsi pracownicy. Brzmi nieźle. Byłam raz na konferencji, na której obecne były także osoby zajmujące się rekrutacją, managerowie i dyrektorzy używający takich systemów. Wszyscy byli zachwyceni. Sądzili, że dzięki temu zatrudnianie stanie się bardziej obiektywne, mniej tendencyjne i gwarantujące kobietom i przedstawicielom mniejszości większe szanse zatrudnienia wobec tendencyjnych decyzji managerów.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
Ludzkie decyzje dotyczące zatrudnienia są stronnicze. W jednej z moich pierwszych prac, moja bezpośrednia przełożona czasem przychodziła do mnie bardzo wcześnie rano lub bardzo późnym popołudniem i mówiła: "Chodźmy na lunch!". Byłam zaskoczona dziwną porą, ale byłam też spłukana, więc zawsze się zgadzałam. Później zorientowałam się o co chodziło. Moi bezpośredni przełożeni nie przyznali się swoim szefom, że do poważnej roboty zatrudnili programistę-nastolatkę, noszącą jeansy i trampki do pracy. Robiłam dobrą robotę, ale wyglądałam nie tak, byłam w nieodpowiednim wieku i nieodpowiedniej płci.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
Popieram zatrudnianie bez uwzględniania płci czy rasy. Ale w przypadku tych systemów to wszystko jest bardziej skomplikowane. Obecnie, te systemy mogą wyciągnąć wiele wniosków na podstawie strzępów elektronicznej informacji, nawet jeśli te informacje nie są jawne. Mogą wnioskować na temat orientacji seksualnej, cech osobowości, przekonań politycznych. Te przewidywania są niezwykle trafne. Pamiętajcie - te przewidywania dotyczą spraw, których nawet nie ujawniliście. Moja przyjaciółka stworzyła system tego rodzaju, aby przewidywać
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
prawdopodobieństwo zapadnięcia na depresję kliniczną lub poporodową na podstawie danych zaczerpniętych z serwisów społecznościowych. Wyniki są imponujące. Jej system potrafi przewidzieć prawdopodobieństwo wystąpienia depresji miesiące przed wystąpieniem jakichkolwiek objawów. Miesiące przed. Nie ma objawów, jest przewidywanie. Moja przyjaciółka ma nadzieję, że system posłuży wczesnemu leczeniu. Wspaniale. Ale spójrzmy na to w kontekście zatrudniania.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
Na tamtej konferencji podeszłam do jednej wysokopostawionej managerki pracującej dla jednej z wielkich firm i powiedziałam: "Co jeśli twój system za twoimi plecami wyklucza osoby o większym prawdopodobieństwie zachorowania na depresję? Nie mają depresji teraz, ale być może w przyszłości. Co jeśli wyklucza kobiety, które prawdopodobnie za rok lub dwa mogą być w ciąży, ale teraz nie są? Co jeśli zatrudnia osoby agresywne, bo to odpowiada kulturze pracy w waszej firmie?". Nie można tego stwierdzić patrząc na zestawienia pracowników pod względem płci; te mogą się równoważyć. Ponieważ to jest uczenie maszynowe a nie klasyczne programowanie, nie ma zmiennych podpisanych: "depresja" "ciąża" lub "wysoki poziom agresji". Nie znasz kryteriów, na podstawie których twój system dokonuje wyboru. Nie wiesz nawet gdzie zacząć ich szukać. To jest technologia czarnej skrzynki. Potrafi przewidywać, ale nie rozumiesz jak działa.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
"Jakie masz zabezpieczenia, żeby upewnić się, że twoja czarna skrzynka nie robi czegoś podejrzanego?" Spojrzała na mnie jakbym nadepnęła na ogon szczeniaczkowi.
(Laughter)
(Śmiech)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
Popatrzyła na mnie i powiedziała: "Ani słowa więcej". Odwróciła się i odeszła. Uwaga - nie była niegrzeczna. Ewidentnie chciała powiedzieć: "Jeśli o czymś nie wiem, to nie jest mój problem, odejdź".
(Laughter)
Na odchodne rzuciła mordercze spojrzenie.
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
(Śmiech) Takie systemy mogą być mniej stronnicze niż managerowie. Mogą być również opłacalne. Ale mogą też prowadzić do stopniowego i niepostrzeżonego zamykania rynku pracy dla osób z większym ryzykiem zachorowań na depresję. Czy takie społeczeństwo chcemy budować, nie wiedząc nawet o tym, że to robimy, bo powierzamy proces decyzyjny systemom, których do końca nie rozumiemy?
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
Kolejny problem: te systemy pracują na danych opartych na ludzkich działaniach Mogą po prostu odzwierciedlać nasze własne uprzedzenia, wzmacniać je i zwracać w postaci wyniku, który będziemy interpretować jako obiektywne i neutralne obliczenia.
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
Udowodniono, że wyszukiwarka Google rzadziej pokazuje kobietom dobrze płatne oferty pracy. A wyszukiwanie afroamerykańskich nazwisk jest skorelowane z ogłoszeniami sugerującymi kryminalną przeszłość, nawet jeśli takowej nie ma. Tego typu ukryte uprzedzenia i algorytmy typu czarnej skrzynki, które czasem odkrywamy, a czasem nie, mogą diametralnie wpływać na ludzkie życie.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
Pewien pozwany został skazany na 6 lat więzienia za ucieczkę przed policją. Algorytmy są coraz częściej stosowane przy wydawaniu wyroków. Mężczyzna chciał wiedzieć, jak ten wynik jest obliczany. Używano komercyjnej czarnej skrzynki. Firma, która ją sprzedaje, sprzeciwiła się zweryfikowaniu algorytmu podczas otwartej rozprawy. Śledcza organizacja non-profit, ProPublica, zweryfikowała ten algorytm na podstawie publicznie dostępnych danych i dowiodła, że generowane przez niego wyniki były stronnicze, a jego moc przewidywania niewielka, niewiele lepsza od losowej, a algorytm bezzasadnie wskazywał czarnoskórych oskarżonych jako możliwych przyszłych przestępców dwukrotnie częściej niż białych.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
Kolejna sprawa: ta kobieta była spóźniona po odbiór chrześnicy ze szkoły. Biegła ulicą w towarzystwie przyjaciela i na jednym z ganków zauważyli niezapięty rowerek dziecięcy i hulajnogę, na które bezmyślnie wskoczyli. Gdy odjeżdżali, z domu wybiegła kobieta krzycząc: "To rowerek mojego dziecka!". Zostawili rower i hulajnogę i odeszli, ale zostali aresztowani. Dziewczyna postąpiła głupio i źle, ale miała tylko 18 lat.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
Miała już na koncie kilka młodzieńczych wykroczeń. W tym samym czasie aresztowano mężczyznę za kradzież towarów o wartości 85 dolarów, równie niewielkie wykroczenie. Ale on już wcześniej był dwukrotnie skazany za napad z bronią. Algorytm przypisał jej większe ryzyko ponownego popełnienia przestępstwa. Dwa lata później, ProPublica odkryła, że kobieta nie popełniła więcej wykroczeń, miała tylko problemy ze znalezieniem pracy z taką historią wykroczeń. Mężczyzna natomiast odsiadywał ośmioletni wyrok za przestępstwo, którego dopuścił się ponownie. Jest jasne, że musimy dokonywać rewizji czarnych skrzynek i ograniczać ich niekontrolowaną władzę.
(Applause)
(Brawa)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
Rewizje są dobre i potrzebne, ale nie rozwiążą wszystkich problemów. Spójrzmy na algorytm Facebooka, który nadaje wszystkiemu jakąś wagę i decyduje o tym, co powinniście zobaczyć spośród tego wszystkiego, co publikują wasi znajomi. Czy trzeba zobaczyć kolejne zdjęcie bobasa?
(Laughter)
(Śmiech)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
Ponury post jednego ze znajomych? Ważną i trudną informację? Nie ma jednej dobrej odpowiedzi. Facebook ocenia liczbę reakcji: komentarze, udostępnienia, polubienia.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
W sierpniu 2014 roku w Missouri wybuchł protest po śmierci afroamerykańskiego nastolatka zabitego przez białego policjanta w niejasnych okolicznościach. Wiadomości na ten temat zalały mój niefiltrowany profil na Tweeterze, ale nie było ich na moim Facebooku. Czyżby moi znajomi o tym nie rozmawiali? Zablokowałam algorytm Facebooka, co jest trudne, bo Facebook dąży do tego, żeby nas kontrolować i zobaczyłam, że przyjaciele rozmawiali o tej sprawie. Po prostu ja tego nie widziałam, bo Facebook mi tego nie pokazywał. Okazało się, że to rozległy problem.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
Ta historia nie była wysoko oceniona przez algorytm. Niełatwo ją "polubić". Nie jest nawet łatwo ją skomentować. Bez lajków i komentarzy algorytm prawdopodobnie pokazywał tę informację coraz mniejszej ilości osób i dlatego jej nie widzieliśmy. Równocześnie algorytm Facebooka wypromował Ice Bucket Challenge. Szlachetna sprawa: oblej się zimną wodą, ofiaruj pieniądze, super. To było wysoko ocenione przez algorytm. Maszyna podjęła za nas decyzję. Bardzo ważna lecz trudna dyskusja mogła zostać wyciszona, gdyby Facebook był jedynym medium.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
Te systemy mogą się też mylić w sposób, który nie przypomina ludzkich błędów. Pamiętacie Watsona, system sztucznej inteligencji IBM, który zmiażdżył uczestników konkursu wiedzy Jeopardy? To był świetny gracz. Ale w finałowym odcinku padło pytanie: "Największe lotnisko tego miasta nosi nazwę bohatera drugiej co do wielkości bitwy podczas II wojny światowej".
(Hums Final Jeopardy music)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
Chicago. Dwóch uczestników-ludzi odpowiedziało poprawnie. Watson odpowiedział "Toronto" w kategorii dotyczącej miast w USA. Ten imponujący system zrobił błąd, którego żaden człowiek by nie popełnił, nawet drugoklasista. Sztuczna inteligencja może zawieść w sposób,
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
który nie przypomina ludzkich pomyłek, którego się nie spodziewamy, i na który nie będziemy gotowi. Byłoby głupio nie dostać pracy, na którą się zasługuje, ale byłoby potrójnie beznadziejnie, gdyby to się stało z powodu nadmiaru danych w jakimś podprogramie.
(Laughter)
(Śmiech)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
W maju 2010 roku krach giełdy na Wall Street wzmocniony sprzężeniem zwrotnym algorytmu "sprzedaży" doprowadził do zniknięcia trylionów dolarów w 36 minut. Nie chcę nawet myśleć, co taka "pomyłka" oznaczałaby w przypadku automatycznej broni śmiercionośnej.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
Tak, ludzie są stronniczy. Ludzie podejmujący decyzje w sądach, mediach, na wojnie... popełniają błędy. Ale o tym właśnie mówię. Nie możemy uciec od tych trudnych kwestii. Nie możemy zrzucić naszej odpowiedzialności na maszyny.
(Applause)
(Brawa)
Artificial intelligence does not give us a "Get out of ethics free" card.
Sztuczna inteligencja nie zwalnia nas z myślenia etycznego.
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
Fred Benenson, specjalista od danych, nazywał to "matematycznym praniem mózgu". Potrzebujemy czegoś odwrotnego. Musimy rozwijać w sobie sceptycyzm wobec algorytmów i daleko posuniętą ostrożność oraz dokładność w ich badaniu. Musimy mieć pewność, że mamy algorytmiczną odpowiedzialność, rewizję i sensowną przejrzystość. Musimy zaakceptować, że wprowadzenie matematyki i obliczeń do zawikłanych i wymagających wartościowania ludzkich spraw nie wprowadza obiektywizacji. Przeciwnie: komplikacja ludzkich spraw najedzie algorytmy. Można i trzeba korzystać z obliczeń, aby móc podejmować lepsze decyzje. Ale trzeba uznać moralną odpowiedzialność za podejmowanie decyzji i używać algorytmów w jej granicach, a nie jako środek do zrzeczenia się i odrzucenia tej odpowiedzialności.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
Sztuczna inteligencja jest faktem. To oznacza, że tym mocniej musimy trzymać się ludzkich wartości i etyki. Dziękuję
Thank you.
(Brawa)
(Applause)