Algorithms are everywhere. They sort and separate the winners from the losers. The winners get the job or a good credit card offer. The losers don't even get an interview or they pay more for insurance. We're being scored with secret formulas that we don't understand that often don't have systems of appeal. That begs the question: What if the algorithms are wrong?
Algoritmalar her yerde. Kazananları kaybedenlerden ayırıyor. Kazananlar ya işi alıyor ya da iyi bir kredi kartı teklifi. Kaybedenler iş görüşmesine bile çağrılmaz veya sigorta primi için daha fazla ödeme yaparlar. Doğrulama sistemi olmayan, anlamadığımız gizli formülasyonlar ile puanlanıyoruz. Burada şu soru akla geliyor: Peki ya algoritmalar hatalıysa?
To build an algorithm you need two things: you need data, what happened in the past, and a definition of success, the thing you're looking for and often hoping for. You train an algorithm by looking, figuring out. The algorithm figures out what is associated with success. What situation leads to success?
Algoritma oluşturmak için 2 şey gerekli: Geçmişte ne olduğunu gösteren veri, o her zaman aradığınız ve bulmayı umduğunuz başarı tanımına. Sonuca ulaşmak için algoritma çalıştırırsınız. Algoritma başarı ile nelerin bağlantılı olduğunu keşfeder. Hangi durum başarıya ulaştırır?
Actually, everyone uses algorithms. They just don't formalize them in written code. Let me give you an example. I use an algorithm every day to make a meal for my family. The data I use is the ingredients in my kitchen, the time I have, the ambition I have, and I curate that data. I don't count those little packages of ramen noodles as food.
Aslında herkes algoritma kullanır. Sadece yazılı olarak formüle etmezler. Size bir örnek vereyim. Aileme yemek yapmak için her gün algoritma kullanırım. Kullandığım veri mutfağımdaki malzemeler, zaman, tutkudur ve bu verileri düzene koyarım. Bu arada, Japon erişte paketlerini yemekten saymıyorum.
(Laughter)
(Kahkahalar)
My definition of success is: a meal is successful if my kids eat vegetables. It's very different from if my youngest son were in charge. He'd say success is if he gets to eat lots of Nutella. But I get to choose success. I am in charge. My opinion matters. That's the first rule of algorithms.
Başarı tanımım şudur: Çocuklarım sebzeleri yerse yemeğim başarılıdır. En küçük oğluma sorulsaydı bu tanım farklı olurdu. Onun başarı tanımı çok miktarda Nutella yemek. Ama başarıya ben ulaşmalıyım. Bu iş benim sorumluluğumda. Görüşüm önemli. Bu, algoritmaların ilk kuralı.
Algorithms are opinions embedded in code. It's really different from what you think most people think of algorithms. They think algorithms are objective and true and scientific. That's a marketing trick. It's also a marketing trick to intimidate you with algorithms, to make you trust and fear algorithms because you trust and fear mathematics. A lot can go wrong when we put blind faith in big data.
Algoritmalar, kodların içine gömülmüş fikirlerdir. İnsanların algoritmalar hakkındaki görüşlerinden farklı bir şey bu. İnsanlar algoritmaların tarafsız, doğru ve bilimsel olduğunu düşünür. Bu bir pazarlama hilesi. Algoritmalara güvenmeniz ve onlardan korkmanız için bir pazarlama hilesidir çünkü matematikten de korkarsınız ama sayılara güvenirsiniz. Büyük veriye körü körüne inanırsak çok şey yanlış gidebilir.
This is Kiri Soares. She's a high school principal in Brooklyn. In 2011, she told me her teachers were being scored with a complex, secret algorithm called the "value-added model." I told her, "Well, figure out what the formula is, show it to me. I'm going to explain it to you." She said, "Well, I tried to get the formula, but my Department of Education contact told me it was math and I wouldn't understand it."
Bu Kiri Soares. Brooklyn'de okul müdürü. 2011'de öğretmenlerin 'katma değer modeli' adında gizli, karışık bir algoritma ile puanlandıklarını söyledi. "Formülasyonu bana göster, sana içeriğini açıklayayım" dedim. Cevap verdi: "Doğrusu formülasyonu almaya çalıştım fakat eğitim birimi bana bunun matematiksel olduğunu ve içeriğini anlamayacağımı söyledi".
It gets worse. The New York Post filed a Freedom of Information Act request, got all the teachers' names and all their scores and they published them as an act of teacher-shaming. When I tried to get the formulas, the source code, through the same means, I was told I couldn't. I was denied. I later found out that nobody in New York City had access to that formula. No one understood it. Then someone really smart got involved, Gary Rubinstein. He found 665 teachers from that New York Post data that actually had two scores. That could happen if they were teaching seventh grade math and eighth grade math. He decided to plot them. Each dot represents a teacher.
Daha kötüye gidiyor. The New York Post, "Bilgiye Özgürlük Hareketi" kapsamındaki talebi sonucu öğretmenlerin isim ve puanlarını temin edip adeta öğretmen ayıplama eylemi olarak sonuçları yayımladı. Aynı yollarla formül ve kaynak kodunu almaya çalıştığımda bunu alamayacağım söylendi. Talebim reddedildi. Sonra New York'ta hiç kimsenin bu formüle erişimi olmadığını öğrendim. Kimse içeriğini bilmiyor, anlamıyor. Sonra Gary Rubinstein adında zeki biri olaya dâhil oldu. Rubinstein, New York Post verisindeki 665 öğretmenin aslında iki tane yani mükerrer puanı olduğunu keşfetti. Bu ancak, öğretmenler 7 ve 8'inci sınıflara ders veriyor olsaydı oluşabilirdi. Rubinstein, sonuçların grafiğini çizdi. Her nokta bir öğretmeni temsil ediyor.
(Laughter)
(Kahkahalar)
What is that?
Nedir bu?
(Laughter)
(Kahkahalar)
That should never have been used for individual assessment. It's almost a random number generator.
Bu asla kişileri değerlendirmek için kullanılmamalıydı. Tıpkı rasgele bir sayı üreticisi gibi.
(Applause)
(Alkışlar)
But it was. This is Sarah Wysocki. She got fired, along with 205 other teachers, from the Washington, DC school district, even though she had great recommendations from her principal and the parents of her kids.
Ama kullanıldı. Bu Sarah Wysocki. Diğer 205 öğretmen ile birlikte Washington'ta görevine son verildi. Oysa okul müdürü ve veliler kendisinden çok memnundu.
I know what a lot of you guys are thinking, especially the data scientists, the AI experts here. You're thinking, "Well, I would never make an algorithm that inconsistent." But algorithms can go wrong, even have deeply destructive effects with good intentions. And whereas an airplane that's designed badly crashes to the earth and everyone sees it, an algorithm designed badly can go on for a long time, silently wreaking havoc.
Burada başta yapay zeka uzmanları ve veri bilimciler olmak üzere ne düşündüğünüzü biliyorum. Muhtemelen "Böyle tutarsız bir algoritma oluşturmazdım" diyorsunuz. Oysa algoritmalar hatalı kurulabilir ve kötü niyetle oluşturulmasalar da yıkıcı sonuçları olabilir. Kötü tasarlanmış bir uçak kaza yapar ve herkes hatayı görür, oysa algoritma kötü tasarlandığında zarar vermeye sessizce, uzun süre devam edebilir.
This is Roger Ailes.
Bu Roger Ailes.
(Laughter)
(Kahkahalar)
He founded Fox News in 1996. More than 20 women complained about sexual harassment. They said they weren't allowed to succeed at Fox News. He was ousted last year, but we've seen recently that the problems have persisted. That begs the question: What should Fox News do to turn over another leaf?
Fox News kanalını 1996'da kurdu. Kanalda 20'den fazla kadın taciz iddiasıyla şikayetçi oldu. Haber kanalında başarıya ulaşmalarının engellendiğini söylediler. Görevi geçen sene sonlandırıldı ama problemlerin devam ettiğini öğrendik. Bu, şu soruyu akla getiriyor: Fox News, temiz bir sayfa açmak için ne yapmalı?
Well, what if they replaced their hiring process with a machine-learning algorithm? That sounds good, right? Think about it. The data, what would the data be? A reasonable choice would be the last 21 years of applications to Fox News. Reasonable. What about the definition of success? Reasonable choice would be, well, who is successful at Fox News? I guess someone who, say, stayed there for four years and was promoted at least once. Sounds reasonable. And then the algorithm would be trained. It would be trained to look for people to learn what led to success, what kind of applications historically led to success by that definition. Now think about what would happen if we applied that to a current pool of applicants. It would filter out women because they do not look like people who were successful in the past.
İşe alım süreçlerini makine öğrenmesine dayalı bir algoritma ile değiştirseler ne olur? Kulağa iyi geliyor, değil mi? Bir düşünün. Veri ne olurdu? Son 21 yılda kanala yapılan iş başvuruları veri seçimi için mantıklı olur. Peki ya buradaki 'başarının tanımı' nedir? Makul bir karar şöyle olurdu; Fox News'da kim başarılı? Diyelim ki 4 sene orada kalmış, en az 1 kez terfi almış kişiler. Kulağa mantıklı geliyor. Sonra algoritma oluşturulurdu. Kimlerin başarıya ulaştığını öğrenmek, geçmişte ne tür başvuruların başarıya ulaştığını görmek için algoritma oluşturulurdu. Mevcut iş başvurularının bulunduğu havuza bu yöntem uygulansa ne olabilirdi, düşünün. Geçmişte başarılı olanlar gibi görünmeyen kadınları filtreleyebilirdi.
Algorithms don't make things fair if you just blithely, blindly apply algorithms. They don't make things fair. They repeat our past practices, our patterns. They automate the status quo. That would be great if we had a perfect world, but we don't. And I'll add that most companies don't have embarrassing lawsuits, but the data scientists in those companies are told to follow the data, to focus on accuracy. Think about what that means. Because we all have bias, it means they could be codifying sexism or any other kind of bigotry.
Eğer sadece umarsızca kör bir şekilde kullanırsanız algoritmalar süreçleri daha adil hale getirmez. Geçmişteki uygulamalarımızı, kalıplarımızı tekrarlar durur. Otomatikmen kalıcı hale gelir. Mükemmel bir dünyada yaşasaydık bu iyi olurdu fakat dünya mükemmel değil. Şunu da söyleyeyim, pek çok şirketin yüz kızartıcı davası yoktur fakat veriyi takip etmeleri ve veriye odaklanmaları söylenen veri bilimcileri vardır. Bunun ne anlama geldiğini düşünün. Çünkü hepimizin ön yargıları var, ki bu cinsiyetçiliği veya başka bir ayrımcılığın kodlanabileceği anlamına gelebilir.
Thought experiment, because I like them: an entirely segregated society -- racially segregated, all towns, all neighborhoods and where we send the police only to the minority neighborhoods to look for crime. The arrest data would be very biased. What if, on top of that, we found the data scientists and paid the data scientists to predict where the next crime would occur? Minority neighborhood. Or to predict who the next criminal would be? A minority. The data scientists would brag about how great and how accurate their model would be, and they'd be right.
Düşünce deneyi yapalım çünkü bunu seviyorum: Tüm şehirler ve mahallelerinin ırk bakımından ötekileştirildiği bir toplumda polisler suç aramak için sadece azınlık mahallelerine gidiyor. Yakalamalar epey taraflı olurdu. Bu sürecin yönetiminde gelecek suçların nerede olacağını öngören ve maaş ödenen veri bilimcileri olsa ne olurdu? Azınlık mahalleleri. Veya bir sonraki suçlunun kim olacağını öngörmek için? Bir azınlık. Veri bilimcileri, modellerinin ne kadar iyi ve uygulanabilir olduğu konusunda övünürlerdi ve haklı olurlardı da.
Now, reality isn't that drastic, but we do have severe segregations in many cities and towns, and we have plenty of evidence of biased policing and justice system data. And we actually do predict hotspots, places where crimes will occur. And we do predict, in fact, the individual criminality, the criminality of individuals. The news organization ProPublica recently looked into one of those "recidivism risk" algorithms, as they're called, being used in Florida during sentencing by judges. Bernard, on the left, the black man, was scored a 10 out of 10. Dylan, on the right, 3 out of 10. 10 out of 10, high risk. 3 out of 10, low risk. They were both brought in for drug possession. They both had records, but Dylan had a felony but Bernard didn't. This matters, because the higher score you are, the more likely you're being given a longer sentence.
Şu an gerçeklik bu kadar keskin değil, ama pek çok bölgede taraflı davranıldığını gösteren polis ve hukuk sistemi verisi ayrımcılık yapıldığını gösteriyor. Aslına bakılırsa suçların meydana geleceği sıcak bölgeleri öngörüyoruz. Hatta bireysel suçluluk konusunda da öngörü yapıyoruz. ProPublica isimli organizasyon Florida'da hakimlerce kullanılan, 'suçun tekrarlama riski' adı verilen algoritmaya baktılar. Algoritmada Bernard, soldaki siyah kişi, 10 üzerinden 10 puan aldı. Dylan, sağdaki kişi, 10 üzerinden 3 puan. 10 üzerinden 10 yüksek risk. 10 üzerinden 3 düşük risk. Her ikisi de uyuşturucu bulundurmaktan göz altına alındı. Her ikisinin de sabıka kaydı var. Ama Dylan'ın ağır suçu varken Bernard'ın yoktu. Bu önemli çünkü puan yükseldikçe uzun süreli ceza alma ihtimali artıyor.
What's going on? Data laundering. It's a process by which technologists hide ugly truths inside black box algorithms and call them objective; call them meritocratic. When they're secret, important and destructive, I've coined a term for these algorithms: "weapons of math destruction."
Neler oluyor? Veri manipülasyonu. Bu, teknoloji uzmanlarının çirkin gerçekleri kara kutulu algoritmalarla gizledikleri bir süreç. Bunun objektif ve ideal olduğunu söylüyorlar. Gizli, önemli ve yıkıcı sonuçları olan algoritmalar için bir deyim türettim: "Matematiksel yıkım silahları"
(Laughter)
(Kahkahalar)
(Applause)
(Alkışlar)
They're everywhere, and it's not a mistake. These are private companies building private algorithms for private ends. Even the ones I talked about for teachers and the public police, those were built by private companies and sold to the government institutions. They call it their "secret sauce" -- that's why they can't tell us about it. It's also private power. They are profiting for wielding the authority of the inscrutable. Now you might think, since all this stuff is private and there's competition, maybe the free market will solve this problem. It won't. There's a lot of money to be made in unfairness.
Bunlar her yerdeler ve her yerde olmaları hata sonucu değil. Bunlar özel amaç için özel algoritmalar üreten özel şirketler. Öğretmenler ve polisler ile ilgili söylediklerim bile özel şirketler tarafından üretilip kamu kurumlarına satıldı. Buna onların "özel tarifi" diyorlar ve bu yüzden içeriği ile ilgili konuşmuyorlar. Bu bir tür özel güç. Kamu otoritesini kullanarak kar ediyorlar. Tüm bunların özel sektörde olduğu ve sektörde rekabet olduğu için serbest piyasanın bu sorunu çözeceğini düşünüyorsanız sorunu çözmeyecek. Adaletsizlik ile elde edilen önemli miktarda para var.
Also, we're not economic rational agents. We all are biased. We're all racist and bigoted in ways that we wish we weren't, in ways that we don't even know. We know this, though, in aggregate, because sociologists have consistently demonstrated this with these experiments they build, where they send a bunch of applications to jobs out, equally qualified but some have white-sounding names and some have black-sounding names, and it's always disappointing, the results -- always.
Ayrıca ekonomik olarak rasyonel karar alıcılar değiliz. Farkında olmadığımız ön yargılarımız var. Farkında olmasak ve öyle olmayı dilemesek bile kafa tasçı ve dar kafalıyız. Bunun böyle olduğunuz biliyoruz, çünkü sosyologlar yaptıkları deneyler ile öyle olduğumuzu gösterdiler. Deneyde aynı yeteneklere sahip insanların çok sayıda iş başvurusu vardı. Kimi başvurular siyah, kimi başvurular beyaz insanı andıran isimlerle yapıldı. Sonuç her zaman hayal kırıklığıydı.
So we are the ones that are biased, and we are injecting those biases into the algorithms by choosing what data to collect, like I chose not to think about ramen noodles -- I decided it was irrelevant. But by trusting the data that's actually picking up on past practices and by choosing the definition of success, how can we expect the algorithms to emerge unscathed? We can't. We have to check them. We have to check them for fairness.
Bizler farkında olmasak da taraflıyız ve taraflılığımızı, seçtiğimiz veriler ile algoritmalara dahil ediyoruz. Mesela ben erişteleri es geçtim. Onların yemek olmadığını düşündüm. Ancak geçmiş deneyimleri ve başarı tanımlarını baz alarak seçtiğimiz veriye nasıl güvenebiliriz ve algoritmaların sağlıklı olacağını nasıl bekleyebiliriz? Bunu yapamayız. Algoritmaları test etmemiz gerekir. Algoritmaların doğruluklarını test etmeliyiz.
The good news is, we can check them for fairness. Algorithms can be interrogated, and they will tell us the truth every time. And we can fix them. We can make them better. I call this an algorithmic audit, and I'll walk you through it.
İyi haber şu ki bunu yapabiliriz. Algoritmalar kontrol edilebilir ve kontroller bize gerçeği söyleyebilir. Algoritmaların hatalarını giderebiliriz. Ben buna, 'algoritma denetimi' adını veriyorum ve size bundan bahsedeyim.
First, data integrity check. For the recidivism risk algorithm I talked about, a data integrity check would mean we'd have to come to terms with the fact that in the US, whites and blacks smoke pot at the same rate but blacks are far more likely to be arrested -- four or five times more likely, depending on the area. What is that bias looking like in other crime categories, and how do we account for it?
Öncelikle verinin doğruluğu testi. Bahsettiğim suçun tekrarlama riski algoritmasında verinin doğruluğu testi şu anlama gelir: Amerika'da beyaz ve siyahlar arasında esrar tüketimi aynı ölçüde yaygın, oysa siyahların tutuklanma ihtimalleri bölgeye bağlı olarak dört veya beş kat fazla. Diğer suçlarda bu tür bir taraflılık nasıldır ve bunu nasıl inceleriz?
Second, we should think about the definition of success, audit that. Remember -- with the hiring algorithm? We talked about it. Someone who stays for four years and is promoted once? Well, that is a successful employee, but it's also an employee that is supported by their culture. That said, also it can be quite biased. We need to separate those two things. We should look to the blind orchestra audition as an example. That's where the people auditioning are behind a sheet. What I want to think about there is the people who are listening have decided what's important and they've decided what's not important, and they're not getting distracted by that. When the blind orchestra auditions started, the number of women in orchestras went up by a factor of five.
İkincisi başarının tanımı hakkında düşünüp onu gözden geçirmeliyiz. İşe alım algoritmasından bahsetmiştim, hatırlayın. Şirkette 4 yıl kalıp en az bir kez terfi alan kişi. Kendisini başarılı tanımlamıştık ama kendisi ayrıca kültürlerince desteklenen bir kişi. Bu da aslında bir taraflılık olabilir. Bu iki şeyi ayırmamız gerekiyor. Mesela orkestralara yönelik 'kör seçim' adı verilen seçimlere bakalım. Bu uygulamada ses sınavında olan kişiler perdenin arkasında bulunduğundan görünmüyor. Sadece dinlediği konusunda bir sonuca ulaşan insanları düşünün. Herhangi bir şeyden dikkatleri dağılmıyor. Orkestra için 'kör seçim' başladığından beri orkestralardaki kadın sayısı 5 kat arttı.
Next, we have to consider accuracy. This is where the value-added model for teachers would fail immediately. No algorithm is perfect, of course, so we have to consider the errors of every algorithm. How often are there errors, and for whom does this model fail? What is the cost of that failure?
Sonra kesinliği göz önünde bulundurmalıyız. Bu öğretmenlere için katma değer modelinin anında başarısız olacağı aşama olurdu. Elbette hiçbir algoritma mükemmel değil, bu yüzden her algoritmanın hatalarını dikkate almalıyız. Bu hatalar ne sıklıkla oluşuyor, hangileri modeli başarısız kılıyor? Başarısızlığın maliyeti ne?
And finally, we have to consider the long-term effects of algorithms, the feedback loops that are engendering. That sounds abstract, but imagine if Facebook engineers had considered that before they decided to show us only things that our friends had posted.
Son aşamada algoritmaların uzun dönemli etkilerini, geri besleme döngülerini göz önünde bulundurmalıyız. Kulağa soyut geliyor ama Facebook yazılımcıları sadece arkadaşlarımızın paylaşımını görmemize karar vermeden önce bunun üzerinde düşünseydi nasıl olurdu, hayal edin.
I have two more messages, one for the data scientists out there. Data scientists: we should not be the arbiters of truth. We should be translators of ethical discussions that happen in larger society.
İki mesajım var. Birincisi veri bilimciler için: Bizler neyin doğru olduğuna karar verenler olmamalıyız. Bizler toplumlarda meydana gelen etik tartışmaların tercümanları olmalıyız.
(Applause)
(Alkışlar)
And the rest of you, the non-data scientists: this is not a math test. This is a political fight. We need to demand accountability for our algorithmic overlords.
Ve geri kalanlar, veri bilimci olmayanlar: Bu herhangi bir matematik testi değil. Bu bir politik mücadele. Bizler algoritma amirlerinden sorumluluk talep etmeliyiz.
(Applause)
(Alkışlar)
The era of blind faith in big data must end.
Büyük verideki kör inanç dönemi bitmeli.
Thank you very much.
Teşekkür ederim.
(Applause)
(Alkışlar)