Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Bugün, teknoloji ve toplum hakkında konuşacağım. Ulaştırma Bakanlığı verilere göre geçen sene yalnızca ABD'de 35.000 insanın trafik kazalarında yaşamını yitirdiğini bildirdi. Dünya çapında, her yıl 1.2 milyon insan trafik kazalarında hayatını kaybediyor. Bu kazaların yüzde 90'ını ortadan kaldırabileceğimiz bir yöntem olsaydı, bunu destekler miydiniz? Elbette desteklerdiniz. Sürücüsüz araba teknolojisi işte bunu vadediyor; kazaların ana sebebini, yani insan hatasını ortadan kaldırmayı.
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
Şimdi kendinizi 2030 yılında sürücüsüz bir araba içerisinde hayal edin, arkada oturuyor ve bu nostaljik TEDxCambridge videosunu izliyorsunuz.
(Laughter)
(Gülüşmeler)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
Aniden, arabada mekanik bir arıza oluyor ve duramıyor. Araba sürüşe devam ederse, yoldan geçen bir grup insana çarpacak, fakat araç direksiyon kırabilir, görgü tanıklarından birine çarpar ve böylece daha çok yaya kurtulmuş olur. Araba ne yapmalı ve buna kim karar vermeli? Farz edelim ki, araba direksiyonu bir duvara kırıyor, diğer yayaları kurtarmak adına, duvara çarparak arabadaki yolcuyu yani sizi öldürüyor. Bu senaryo, bundan 30-40 yıl önce ahlak kuramını irdelemek adına filozoflarca yaratılan tren ikileminden esinlenerek ortaya konmuş.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Bu probleme bakış açımız önem taşıyor. Mesela, hiç üzerine kafa yormayabiliriz. Bu senaryonun gerçekçi olmadığını, son derece olağan dışı olduğunu veya aptalca olduğunu düşünebiliriz. Fakat bu eleştirinin, işin özünü kaçırdığını düşünüyorum, çünkü senaryoyu fazla direkt yorumluyorlar. Elbette hiçbir kaza bu şekilde olmaz, herkesin o veya bu şekilde öldüğü iki üç olasılığa indirgenemez. Buna karşın araba, vuracağı kişi sayısı gibi kendi içinde hesaplamalara gidecek, direksiyonu çevireceği yönleri kıyaslayarak yolcu veya diğer sürücülere vereceği hasarı, yayalara oranla nispeten arttırabilir. Çok daha karmaşık bir hesaplama olacaktır, ama yine de risk oranını hesaba katmış olacaktır ve risk oranları, sıklıkla ahlak kuramı içindedir.
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
Şu şekilde düşünebiliriz, ''Peki, o hâlde daha fazla uzatmayalım. Teknolojinin tamamen hazır olmasını, %100 güvenli hâle gelmesini bekleyelim.'' Gelecek 10 yılda, bu kazaların %90'ını ve hatta %99'unu önleyebildiğimizi farz edelim. Peki ya diğer %10'luk kaza dilimini önleyebilmek, 50 yıllık bir çalışma daha gerektiriyor olsaydı? Teknolojiyi uyarlamamız gerekmez mi? Mevcut oranı korursak, bu 60 milyon insanın araba kazalarında canlarını yitirdiği anlamına geliyor. Demek istediğim şu ki, tamamen güvenliği sağlamak için beklemek bir seçenek, fakat aynı zamanda, kendi içinde risk taşıyor.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
Sosyal medyada insanlar, bu problemi düşünmemek için türlü fikirler öne sürüyorlar. Bir kişi arabanın bir şekilde, yaya ile tanık arasından geçmesi fikrini
(Laughter)
(Gülüşmeler)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
öne sürdü. Elbette araba eğer bunu yapabiliyorsa, bunu yapması gerekir. Böyle bir çözümün mümkün olmadığı senaryolardan bahsediyoruz. Bir blog yazarınca öne sürülen, şahsen benim en sevdiğim öneride, arabada basılabilen fırlatma tuşu ile
(Laughter)
(Gülüşmeler)
just before the car self-destructs.
arabanın devamında kendini imha etmesi çözümüydü.
(Laughter)
(Gülüşmeler)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Arabaların trafikte risk oranı tahlili yapacağını kabul edecek olursak, bu risk oranı tahlilleri hakkında nasıl düşüneceğiz ve nasıl karar vereceğiz? Belki de toplumun ne istediğini anlamak için bir anket düzenlemeliyiz, çünkü nihayetinde, düzenlemeler ve yasalar toplumsal değerlerin bir yansımasıdır.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Böyle yaptık. Ekip arkadaşlarım ile birlikte, Jean-François Bonnefon ve Azim Shariff, bir anket yaptık ve bu ankette insanlara bu tarz senaryolar sunduk. Onlara, iki filozoftan ilham aldığımız iki seçenek sunduk: Jeremy Bentham ve Immanuel Kant. Bentham'a göre, araba faydacı bir etiğe göre hareket etmeli: büyük çaptaki hasarı en aza indirgeyecek şekilde hareket etmeli, bu eylem bir tanığı öldürecek olsa da, bu eylem bir yolcuyu öldürecek olsa da. Immanuel Kant'a göre araba, vazifesinin icabına göre hareket etmeli, ''Öldürmeyeceksin'' gibi. Bariz bir şekilde, bir insana zarar verecek şekilde hareket etmemeli ve araba kendi hâline bırakılmalı, daha fazla insana zarar verecek olsa bile.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
Siz ne düşünüyorsunuz? Bentham mı, Kant mı? Bizim bulgumuzu paylaşayım. Çoğu insan Bentham'a hak verdi. Öyle ki, insanlar arabaların faydacı olmalarını istiyorlar gibi görünüyor, toplam zararı en aza indirgemesini, ki bu hepimizin yapması gereken şey aslında. Sorun çözüldü. Dikkat etmemiz gereken bir nokta var. İnsanlara bu tarz arabaları satın alma durumlarını sorduğumuzda, ''Kesinlikle hayır.'' dediler.
(Laughter)
(Gülüşmeler)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Kendilerini her an koruyan arabalar satın almak isterken, diğer herkesin zararı en aza indirgeyen arabalardan almalarını istiyorlar.
(Laughter)
(Gülüşmeler)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Bu problemle daha önce karşılaşmıştık. Buna ''toplumsal ikilem'' deniyor. Toplumsal ikilemi anlayabilmek için, biraz eskilere gitmemiz gerekir. 1800'lerde, İngiliz iktisatçı William Forster Lloyd, şu senaryoyu aktaran bir broşür yayınladı: Bir grup çiftçi var, İngiliz çiftçiler, koyunlarını otlatmak için umumi bir araziyi paylaşıyorlar. Her bir çiftçi, belirli sayıda koyun getirirse - 3 koyun diyelim - toprak yenilenmiş olacak, çiftçiler mutlu, koyunlar mutlu, her şey iyi olacak. Fakat bir çiftçi, fazladan bir koyun daha getirirse, o çiftçinin işleri için daha iyi olacak ve bu kimseye zarar vermeyecek. Ama her bir çiftçi, bireysel olarak bu mantıklı kararı verecek olursa, alan istilaya uğramış olacak ve yeşillik tükenecek, bu da her çiftçinin zararına olacak ve tabii ki koyunların da zararına olacak.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Bu sorun ile birçok kez karşılaşıyoruz: aşırı balık avlanması hususunda, ya da iklim değişikliğini azaltmak adına karbon salınımını azaltmada. Sürücüsüz araba hukukuna baktığımızda, umumi alan toplum güvenliği oluyor - yani kamu yararı - ve çiftçiler yolcular oluyor veya o arabaları kullanmayı tercih eden araç sahipleri oluyor. Ve kendi güvenliklerine öncelik tanıyan, bireysel mantıklı seçimlerini yaparak hep birlikte genelin iyiliğini azaltarak toplam zarar riskini aza indirgemeyi düşürüyor olabilirler. Buna bilindiği üzere ortak malların trajedisi deniyor, fakat bana kalırsa, sürücüsüz araba hususunda sorun biraz daha derin olabilir, çünkü temelde bu kararları veren bir insan söz konusu değil. Araba imalatçıları, müşterileri için üst düzey güvenlik önlemleri alan araba programlayabilirler ve bu arabalar, otomatik olarak bu seçimleri yapmanın yayalar için riskleri bir nebze de olsa arttırdığını öğrenebilir. Koyun benzetmesine dönecek olursak, şu anda kendi fikirlerini verebilen elektrikli koyunlara sahibiz diyebiliriz.
(Laughter)
(Gülüşmeler)
And they may go and graze even if the farmer doesn't know it.
Ve kendi başlarına kaçıp çiftçinin haberi olmadan otlanabilirler.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
Bunu da şu şekilde ifade edebiliriz: algoritmik ortak malların trajedisi. Beraberinde yeni zorluklar getiriyor. Genellikle, çoğunlukla, bu tür toplumsal ikilemleri yasalar nezdinde çözüme kavuştururuz; ya hükümet ya da topluluklar bir araya gelir ve hep birlikle ne tür bir sonuç elde etmek istediklerine karar verirler ve bireysel davranışlarda, ne tür kısıtlamalara gidilmesi gerektiğini kararlaştırırlar. Gözlem ve yürürlülüğü kullanarak kamu yararının korunduğuna emin olurlar. Düzenleyiciler olarak, neden bütün arabalara zararı en aza indirgeme statüsü kazandırmıyoruz? Nihayetinde, herkes bunu istediğini dile getiriyor. Daha da önemlisi, bir birey olarak eminim ki çok nadir bir durumda beni gözden çıkarabilecek bir araba alırsam, diğer herkes koşulsuz korumanın keyfini çıkarırken bunu yapan tek keriz ben olmam.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
Ankette insanlara, yasal düzenlemeye destek verip vermeyeceklerini sorduk ve sonuç şu şekildeydi. İlk önce, insanlar yasaya hayır dediler ve sonra dediler ki, ''Arabaları bunun için ve toplam zararı en aza indirgemek için düzenlersek, bu arabaları satın almam.'' İşe bakın ki, zararı en aza indirgemek için arabaları düzenleyerek daha fazla zarara sebebiyet verebiliriz, çünkü insanlar daha güvenli olan bu teknolojiye dahil olmak istemeyebilirler, insan sürücülerden daha güvenli olsa bile.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
Bu bilmeceye nihai bir cevabım yok, ama başlangıç noktası olarak, toplumun bir araya gelip risk oranı dengesinde ortak bir noktada karara varması gerekir ve bu denge unsurunun uygulamasında izleyeceğimiz yol belirlenebilir.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Başlangıç noktası olarak, benim parlak öğrencilerim Edmond Awad ve Sohan Dsouza, Ahlak Makinesi internet sitesini kurdu. Bu site size rastgele senaryolar sunuyor, bir dizi ikilemler yöneltiyor ve verilen bu senaryoda, arabanın ne yapması gerektiğine karar veriyorsun. Yaşları ve hatta farklı kurbanların türlerini bile çeşitlendirdik. Şu ana kadar, site üzerinden dünya genelinde bir milyonu aşkın insan tarafından beş milyonun üzerinde karar topladık. Bu bulgular, kültürler arası bile insanların neleri feda edebileceklerini ve onlar için önem arz eden şeyleri anlayıp bir temel oluşturmamızda yardımcı oluyor. Ama daha önemlisi, bu araştırma insanlara, bu seçimleri yapmanın ne kadar zor olduğunu ve yasal düzenlemelerin, imkânsız seçimler ile çevrelendiğini hatırlatıyor. Bu belki de toplum olarak, nihayetinde yasalara işlenecek türde risk oranı tahlilini anlamamıza yardımcı olabilir.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
Geçtiğimiz hafta, Ulaştırma Bakanlığı tarafından yapılan ilk yasal düzenlemelerden haberdar olduğuma çok sevindim. Tüm araba üreticilerinin sağlaması gereken 15 maddelik bir kontrol listesine sahip ve 14. madde işin ahlaki boyutu ile alakalıydı, bu sorumluluğu nasıl taşıyabileceğimizle alakalıydı. İnsanlara, seçimlerinin sonuçlarını özet şeklinde sunarak kendi kararlarının getirilerini gösterdik. Sizlere bir örnek vereceğim. Belirtmeliyim ki bu genel bir örnek, genel bir kullanıcı değil. Bu kişi için en çok kurtarılan (kedi) ve feda edilen (bebek) görüldüğü gibi.
(Laughter)
(Gülüşmeler)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Bazılarınız bu kişiye katılıyor olabilir, bilmiyoruz. Bu kişi aynı zamanda seçimlerinde, yayalara karşın yolcuları daha çok tutuyor gibi gözüküyor ve kırmızı ışıkta geçenleri cezalandırmaktan memnuniyet duyuyor.
(Laughter)
(Gülüşmeler)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Konuyu toparlayalım. Arabanın belirli bir senaryoda ne yapması gerektiğini irdeleyen bir soruyla, daha doğrusu ahlaki bir ikilemle başladık: dönecek mi, kalacak mı? Fakat sonra, sorunun farklı bir şey olduğunu fark ettik. Toplum olarak, risk durumunda insanların nelerden fedakarlık yapabileceklerine uzlaşma ve uygulama sorunu. Toplumsal bir ikilemden bahsediyoruz.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
1940'larda, Isaac Asimov o meşhur Üç Robot Yasasını kaleme aldı. Robot, bir insana zarar veremez, robot bir insana itaatsizlik edemez ve robot kendisini gelecek zararlardan korumakla yükümlüdür, bu önem sırasına göre. 40 yıl kadar sonra, bu yasaların sınırlarını zorlayan birçok hikâyenin ardından Asimov, diğer bütün yasalara üstünlük gösteren sıfırıncı yasasını yayınladı; bu yasa bir robotun genel olarak insanlığa zarar veremeyeceğini belirtiyor. Bu yasanın, sürücüsüz arabalar konusunda veya belirli bir durumdaki yerini bilmiyorum. Bunu nasıl yürürlüğe koyacağımızı da bilmiyorum, fakat sürücüsüz araba düzenlemesinin, yalnızca bir teknolojik problem olduğunu değil de, aynı zamanda toplumsal uzlaşma problemi olduğunu kabul edersek, umuyorum ki, en azından sonunda doğru soruları sormaya başlayabileceğiz.
Thank you.
Teşekkürler.
(Applause)
(Alkışlar)