So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
Bilgisayar programcısı olarak ilk çalışmaya başladığımda üniversite birinci sınıftaydım, yani yeni yetme sayılırdım.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
Bir şirkette program yazma göreviyle işe girdikten kısa süre sonra şirkette çalışan bir müdür yanıma geldi ve fısıltıyla sordu: "Yalan söylediğimi anlayabilir mi?" Odada başka kimse yoktu.
"Can who tell if you're lying? And why are we whispering?"
"Yalanı kim anlayabilir mi? Ayrıca neden fısıldaşıyoruz?" dedim.
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
Müdür, odada bulunan bilgisayarı gösterdi. "Yalan söyleyip söylemediğimi anlar mı?" Bu müdür danışmada çalışan biriyle ilişki yaşıyordu.
(Laughter)
(Gülüşmeler)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
Ben de yeni yetmeyim tabii. Fısıltıyla bağırır gibi cevap verdim: "Evet, yalan söylerseniz bilgisayar anlar." dedim.
(Laughter)
(Gülüşmeler)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
Gülüyordum ama aslında gülünmesi gereken bendim. Günümüzde insan yüzlerini işlemden geçirerek ruh hâlini ve hatta yalan söylediğini tespit eden bilgisayar programları var. Reklamcılar, hatta devletler de çok ilgi duyuyor.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
Matematik ve fen bilgisini çok seven bir çocuk olduğum için bilgisayar programcısı olmuştum. Fakat o sıralarda nükleer silahlara dair bilgi edinmiş ve bilim etiğine de çok ilgi duymaya başlamıştım. Sorunlarım vardı. Ne yazık ki ailevi durumlar yüzünden mümkün olduğu kadar çabuk işe girmem gerekiyordu. Kendi kendime düşündüm; kolaylıkla iş bulabileceğim teknik bir alan seçeyim ki sıkıcı etik problemlerle uğraşmak zorunda kalmayayım dedim. Böylelikle bilgisayarı seçtim.
(Laughter)
(Gülüşmeler)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
Ha, ha, ha! Herkes bana gülüyordur. Günümüzde bilgisayar uzmanları her gün milyarlarca insanın göreceği şeyleri kontrol eden programlar kuruyor. Kime çarpacağına karar verebilecek arabalar geliştiriyorlar. Savaşta insanları öldürecek türden makineler, silahlar bile geliştiriyorlar. Etik tamamen ortadan kalkıyor.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
Makine zekâsı işin içinde. Artık herhangi bir karar verirken bilgisayar kullanıyoruz, üstelik yeni kararlar alırken bile. Bilgisayara tek bir doğru cevabı olmayan, öznel, açık uçlu ve değer yüklü sorular soruyoruz.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
Mesela şu gibi sorular: "Şirket kimi işe almalı?" "Hangi arkadaştan hangi güncellemeyi görmelisiniz?" "Hangi mahkûm tekrar suç işlemeye yatkın?" "İnsanlara hangi haber ya da film tavsiye edilmeli?"
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
Bakın, evet bir süredir bilgisayar kullanıyoruz, ama bu farklı bir durum. Bu tarihi bir hata, çünkü böyle öznel kararlarda bilgisayara güvenemeyiz, bilgisayara uçak uçurmada, köprü inşa etmede, aya gitmede güvendiğimiz gibi güvenemeyiz. Uçaklar daha güvenli mi? Köprü sallanıp çöker miydi? Burada üzerinde anlaşılan, açık ölçütler ve bize yol gösteren doğa kanunları olduğu konusunda hemfikiriz. Karmaşık insan ilişkilerinde karar verirken bu tür dayanak ve ölçütler yok.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
İşleri daha çetrefilli hâle getirmek için yazılımımız gittikçe güçleniyor, fakat aynı zamanda daha az şeffaflaşıp daha karmaşık oluyor. Son on yıl içerisinde, kompleks algoritmalar büyük aşamalar katetti. İnsan yüzlerini tanıyabiliyorlar. El yazılarını çözebiliyorlar. Kredi kartı dolandırıcılığını tespit edip spam postaları engelliyor ve diller arası çeviri yapabiliyorlar. Tıbbi görüntülemelerde tümörleri teşhis edebiliyorlar. Go ve satrançta insanları yenebiliyorlar.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
Bu gelişmelerin çoğu "makine öğrenimi" denilen bir yöntemden geliyor. Makine öğrenimi, bilgisayara detaylı, doğru ve itinalı talimatlar verdiğiniz geleneksel programlamadan farklıdır. Daha çok sistemi kavrayıp onu dijital yaşamlarımızda ürettiğimiz türden yapısal olmayan veri dahil bir sürü veriyle desteklemeniz gibidir. Sistem bu bilgileri baştan sona karıştırarak öğrenir. Ayrıca en önemlisi bu sistemlerin tek cevaplı mantıkla çalışmadığıdır. Tek bir cevap üretmezler, daha çok olasılık vardır: "Belki de aradığınız şey bu olabilir."
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
Şimdi avantajı şu: Bu yöntem gerçekten çok güçlüdür. Google'ın Yapay Zeka'sının dediği gibi "verinin akıl almaz etkinliği"dir. Dezavantajı ise, sistemin ne öğrendiğini tam olarak anlamıyor olmamızdır. Aslında bu onun gücü. Bu, bir bilgisayara talimat vermek gibi değildir; nasıl kontrol edeceğimizi bilmediğimiz bir içecek sıkma makinesini çalıştırmak gibidir. Yani sorunumuz bu. Yapay zeka sistemi bir şeyleri yanlış anladığında problem olur. Aynı zamanda doğru anladığında da problem olur, çünkü öznel bir problem olduğunda hangisinin hangisi olduğunu bilmiyoruz. Bu şeyin ne düşündüğünü bile bilmiyoruz.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
Şimdi, insanları işe almak için kullanılan makine öğrenimi sistemlerinden yararlanan bir işe alım algoritma sistemi düşünün. Böyle bir sistem önceki çalışanların verilerine ayarlı ve şirketteki yüksek performansı olan çalışanlar gibi insanlar bulmaya ve işe almaya kurulmuş olmalı. İyi fikir. Bir keresinde bir konferansa katıldım, işe alımda bu sistemi kullanan insan kaynakları uzmanları ile yöneticileri, üst düzey insanları buluşturuyordu. Çok heyecanlıydılar. Bu yöntemin işe alımı daha nesnel, daha az ön yargılı yapacağını ve kadın ve azınlıkları ön yargılı insan kaynakları karşısında daha şanslı hâle getireceğini düşünüyorlardı.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
İşe alımda ön yargılı davranılır. Biliyorum. Yani, programcı olarak çalıştığım ilk işlerimden birinde ilk patronum bazen sabah çok erken ya da öğleden sonra çok geç saatlerde yanıma gelir ve "Zeynep, hadi yemeğe çıkalım!" derdi. Garip zamanlamasına şaşırırdım. Saat dört. Öğle yemeği mi? Param yoktu, bedava öğle yemeği vardı. Her zaman giderdim. Neler olduğunu daha sonraları anladım. Amirlerim kendi üst düzey müdürlerine çok ciddi bir iş için işe aldıkları programcının kot pantolon ve spor ayakkabı giyen yeni yetme bir kız olduğunu söylememişlerdi. İyi iş çıkarıyordum, ama yanlış görünüyordum, yanlış yaşta ve cinsiyetteydim.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
Dolayısıyla cinsiyet ve ırk gözetilmeksizin işe alım bence kesinlikle iyi fikir. Ancak bu sistemlerle konu daha karmaşık oluyor, nedeni şu: Şimdilerde bilgisayar sistemleri paylaşmadığınız şeyler bile olsa dijital kırıntılarınızdan hakkınızda birçok çıkarım yapabilir. Cinsel yöneliminizi, kişilik özelliklerinizi, siyasi görüşünüzü anlayabiliyor. Yüksek doğruluk oranlı öngörü güçleri var. Unutmayın - paylaşmadığınız şeyleri bile. Bu, çıkarımda bulunmaktır.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
Sosyal medya verilerinden klinik depresyon veya doğum sonrası depresyon ihtimalini öngören sayısal sistemler geliştiren bir arkadaşım var. Sonuçlar etkileyici. Sistem depresyon ihtimalini semptomların başlamasından aylar öncesinden öngörebiliyor, aylar öncesinden. Hiçbir semptom yok, ama öngörü var. Erken müdahalede kullanılacağını umuyor. Muhteşem! Şimdi de bunu işe alım kavramına uygulayın.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
Bu insan kaynakları yöneticileri konferansında büyük bir şirketin üst düzey bir yöneticisiyle görüştüm. Ona, "Peki sisteminiz size bildirmeden gelecekte yüksek depresyon ihtimali olan insanları ayıklıyorsa? Şu an psikolojik bozuklukları yok, ancak belki ileride olabilir. Peki şu an hamile olmayan ancak gelecek bir ya da iki yıl içinde hamile kalma ihtimali olan kadınları ayıklıyorsa? İş yeri kültürünüz öyle olduğu için agresif insanları işe alıyorsa?" dedim. Bunu cinsiyet analizlerine bakarak anlayamazsınız. Dengelenmiş olabilirler. Ayrıca bu geleneksel kodlama değil makine öğrenimi olduğu için "yüksek depresyon riski", "yüksek hamilelik riski", "agresiflik ölçümü" gibi etiket taşıyan değişkenler yok. Sadece sisteminizin neyi seçtiğini değil, nereden bakmaya başlayacağınızı bile bilmiyorsunuz. Bir kara kutu. Tahmin gücüne sahip ancak onu anlamıyorsunuz.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
"Ne güvenlikleri var?" diye sordum, "kara kutunuzun gizli bir şey yapmadığından emin olmak için?" Kuyruğuna basmışım gibi bakakaldı.
(Laughter)
(Gülüşmeler)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
Dik dik baktı ve "buna dair başka bir şey duymak istemiyorum." dedi. Arkasını dönüp gitti. Gerçi kaba değildi. Açıklaması şu: Bilmediğim şey benim sorunum değil, bas git, öldürücü bakış.
(Laughter)
(Gülüşmeler)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
Bakın böyle bir sistem bazı açılardan insan yöneticilerden daha az ön yargılı olabilir. Parasal anlam taşıyabilir. Ancak depresyon riski yüksek olan insanların iş piyasasına istikrarlı ve gizli olarak girmesini engellemeye sebep olabilir. Ne yapmış olduğumuzu bile bilmeden kurmak istediğimiz toplum modeli bu mu? Çünkü karar verme işini tam olarak anlamadığımız makinelere bırakıyoruz.
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
Diğer bir problemse şu: Bu sistemler çoğunlukla bizim davranışlarımızla; insan izleri tarafından üretilen bilgilerle test edilir. Ön yargılarımızı yansıtıyor olabilirler. Bu sistemler ön yargılarımıza dönüp onları büyütüp bize tekrar gösteriyor olabilir, biz ise bu arada kendimize "Sadece nesnel, tarafsız hesap yapıyoruz." diyoruz.
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
Araştırmacılar Google'da yüksek maaşlı iş ilanlarını kadınların görme ihtimalinin erkeklerden daha az olduğunu tespit etti. Afro-Amerikan isimleri araştırırken alakası olmasa bile sabıka geçmişi ile ilgili ilanları öne sürmesi daha muhtemeldir. Araştırmacıların bazen ortaya çıkardığı ancak bazen bizim bilmediğimiz bu tür gizli ön yargıların ve kara kutu algoritmalarının hayat değiştiren sonuçları var.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
Wisconsin'de bir sanık, altı yıl hapse mahkûm edildi, polisten kaçtığı için. Belki bilmiyorsunuzdur, algoritmaların şartlı tahliye ve ceza kararlarında kullanımı giderek artıyor. Şunu öğrenmek istiyordu: Bu sonuç nasıl hesaplanmıştı? Ticari bir kara kutu. Şirket, halka açık duruşmada işlemlerinin sorgulanmasını reddetmişti. Kâr amacı gütmeyen araştırmacı kurum ProPublica, bu algoritmayı bulabildiği kamusal verilerle inceledi ve sonuçlarının ön yargılı olduğunu, öngörü gücününse kötü, olasılıktan biraz iyi olduğunu ve siyahi sanıkları haksız yere beyaz sanıklardan iki kat fazla bir oranla geleceğin suçluları olarak etiketlediğini bulguladı.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
Şu olayı göz önüne alın: Bu kadın, vaftiz kardeşini Florida'nın Broward bölgesindeki bir okuldan almaya geç kalmış, bir arkadaşıyla caddede ilerliyorlar. Verandada duran kilitsiz bir çocuk bisikleti ve bir kaydırak görüyor ve düşünmeden biniyorlar. Tam yola koyulacakken kadının biri çıkıyor ve "Hey! Bu benim çocuğumun bisikleti!" diyor. Bırakıp gidiyorlar, ancak tutuklanıyorlar.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
Haksızdı, aptalca davranmıştı, ama henüz 18 yaşındaydı. Çocukken ciddi olmayan bir iki suç işlemişti. Bu arada, adam da Home Depot'da hırsızlık yapmaktan tutuklanmıştı. 85 dolar değerinde, benzeri bir hafif suç. Ama öncesinde iki silahlı soygun sabıkası vardı. Ancak algoritma, adamı değil kadını yüksek riskli olarak işaretledi. İki yıl sonra ProPublica kadının tekrar suç işlemediğini tespit etti. Sabıka puanıyla iş bulması çok zordu. Öte yandan adam tekrar suç işlemişti ve şimdi daha sonra işlediği bir suç yüzünden sekiz yıllık hapis cezasında. Belli ki kara kutularımızı kontrol etmemiz ve onlara böyle kontrolsüz güç vermememiz gerekiyor.
(Applause)
(Alkışlar)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
Kontroller önemli ve etkili, ancak tüm sorunlarımızı çözmüyorlar. Facebook'un muhteşem haber akışı algoritmasına bakın, yani takip ettiğiniz tüm arkadaşlarınız ve sayfalardan her şeyi sıralayıp size ne göstereceğine karar veren algoritma. Başka bir bebek fotoğrafı görmeli misiniz?
(Laughter)
(Gülüşmeler)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
Bir tanıdıktan somurtkan bir not? Önemli ama üzücü haberler? Doğru bir cevap yok. Facebook meşgul olacaklarınızı en uygun hâle getiriyor: Beğeniler, paylaşımlar, yorumlar.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
Ağustos 2014'te, Missouri, Ferguson'da Afro-Amerikan bir gencin beyaz bir polis tarafından şüpheli bir şekilde öldürülmesi sonrası protestolar başladı. Protesto haberleri algoritmik olarak filtrelenmeyen Twitter akışımda vardı ancak Facebook'ta hiçbir yerde yoktu. Facebook arkadaşlarım ne hâldeydi? Facebook'un algoritmasını devre dışı bıraktım, ki bu çok zordur, çünkü Facebook sizi algoritmanın kontrolü altında tutmak ister. Baktım ki arkadaşlarım da bunu konuşuyor. Bunu bana göstermeyen algoritmanın ta kendisiydi. Bunu araştırdım ve yaygın bir problem olduğunu gördüm.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
Ferguson haberi algoritma dostu değildi. "Beğenilebilir" değildi. Kim "beğen"e tıklayacaktı? Yorum yapılması bile kolay değildi. Beğeniler ve yorumlar olmayınca algoritma bunu daha az insana gösteriyor olmalıydı, dolayısıyla görmüyorduk. Onun yerine, o hafta Facebook'un algoritması şunu ön plana çıkardı: ALS Buz Kovası Düellosu. İyi bir sebep; buzlu su dök, bağış yap, tamam. Fakat süper algoritma dostuydu. Makine bu kararı bizim için almıştı. Facebook tek kanal olsaydı çok önemli ancak etkili bir sohbet engellenmiş olabilirdi.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
Şimdi sonuç olarak bu sistemler insan sistemlerine benzememesi bakımından da yanlış olabilir. Watson'ı hatırlıyor musunuz? IBM'in Riziko'da insan rakiplerini yenilgiye uğratan makine zekâsı sistemini? Harika bir oyuncuydu. Ancak o zaman, Riziko'nun finalinde Watson'a şu soru soruldu: "En büyük havaalanı adını İkinci Dünya Savaşı kahramanından alır, ikincisi İkinci Dünya Savaşı savaşından.
(Hums Final Jeopardy music)
(Final Riziko müziği çalar)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
Chicago. İki insan soruyu doğru anladı. Buna karşın Watson, Birleşik Devletler şehri olarak "Toronto" cevabını verdi. Bu etkileyici sistem bir insanın, ikinci sınıfa giden birinin asla yapmayacağı bir hata yapmıştı.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
Makine zekâmız insanların hata şekline uymayan şekilde, beklemediğimiz ve hazırlıksız olduğumuz şekilde hata yapabilir. Kalifiye biri için işe alınmamak kötü olabilirdi, fakat bu, bazı alt programlarda bellek dolu dediği için oluyorsa üç kat daha kötü olurdu.
(Laughter)
(Gülüşmeler)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
Mayıs 2010'da Wall Steet'te olan Wall Street'in "satış" algoritmalarını bir geri bildirim döngüsünün körüklediği ani bir düşüş 36 dakika içinde trilyon dolarları sildi. Ölümcül otonom silahlar bağlamında "hata yapmak" ne demek bunu düşünmek bile istemiyorum.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
Evet, insanlar her zaman ön yargıda bulunur. Karar vericiler ve geçit deneticiler mahkemelerde, haberlerde, savaşlarda... Hata yaparlar; işte benim asıl dikkat çekmek istediğim bu. Bu zor sorulardan kaçamayız. Kendi sorumluluklarımızı makinelere yaptıramayız.
(Applause)
(Alkışlar)
Artificial intelligence does not give us a "Get out of ethics free" card.
Yapay zekâ bize "etikten kurtul geç" kartı vermiyor.
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
Veri uzmanı Fred Benenson buna matematiksel yıkama diyor. Tam tersine ihtiyacımız var. Algoritmayı şüphe, gözlem ve inceleme ile desteklemeliyiz. Algoritmik izlenebilirlik, denetim ve anlamlı şeffaflığımız olduğundan emin olmamız gerek. Matematik ve programlamayı karmaşık, değer yüklü insani ilişkilere uygulamanın nesnellik getirmeyeceğini kabul etmemiz gerekiyor; aksine, insan ilişkilerinin karmaşıklığı algoritmaları ele geçiriyor. Tabii ki daha iyi kararlar almamız için bilgisayar kullanabiliriz, kullanmalıyız da. Ancak doğru karar vermek için, ahlaki sorumluluk alıp algoritmaları bu çerçevede kullanmak zorundayız, insan olarak birbirimize karşı olan sorumluluklarımızı üstümüzden atıp dış kaynaktan temin etmenin bir yolu gibi görmemeliyiz.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
Makine zekâsı işte böyledir. Bu demektir ki, insani değerlere ve etiğe hiç olmadığı kadar sıkı sarılmamız gerekiyor.
Thank you.
Teşekkür ederim.
(Applause)
(Alkışlar)