Today I'm going to talk about technology and society. The Department of Transport estimated that last year 35,000 people died from traffic crashes in the US alone. Worldwide, 1.2 million people die every year in traffic accidents. If there was a way we could eliminate 90 percent of those accidents, would you support it? Of course you would. This is what driverless car technology promises to achieve by eliminating the main source of accidents -- human error.
Hôm nay tôi sẽ nói về công nghệ và xã hội. Bộ giao thông vận tải ước tính rằng năm ngoái 35,000 người ở Mỹ chết vì tai nạn giao thông Trên thế giới mỗi năm có 1.2 triệu người chết vì tai nạn giao thông. Nếu có cách để loại trừ 90% những tai nạn trên, bạn có ủng hộ không? Tất nhiên là có. Những gì công nghệ xe không người lái hứa hẹn đạt được bằng cách loại trừ nguyên nhân chính gây tai nạn--
Now picture yourself in a driverless car in the year 2030, sitting back and watching this vintage TEDxCambridge video.
sự vô ý của con người. Bây giờ hãy đặt mình vào một chiếc xe không người lái trong năm 2030. Thư giãn và xem video cổ điển này của TEDxCambridge.
(Laughter)
(Cười)
All of a sudden, the car experiences mechanical failure and is unable to stop. If the car continues, it will crash into a bunch of pedestrians crossing the street, but the car may swerve, hitting one bystander, killing them to save the pedestrians. What should the car do, and who should decide? What if instead the car could swerve into a wall, crashing and killing you, the passenger, in order to save those pedestrians? This scenario is inspired by the trolley problem, which was invented by philosophers a few decades ago to think about ethics.
Đột nhiên, chiếc xe gặp sự cố và không thể dừng lại. Nếu tiếp tục chạy, nó sẽ tông vào một nhóm người đi bộ đang qua đường, nhưng nó có thể chuyển hướng, tông vào một người ngoài cuộc, và người này sẽ thay chỗ của những khách bộ hành trên. Chiếc xe nên làm gì, và ai nên quyết định? Điều gì sẽ xảy ra nếu thay vào đó chiếc xe tông vào một bức tường, giết chết bạn, hành khách, để cứu lấy những khách bộ hành kia? Viễn cảnh này lấy cảm hứng từ thí nghiệm "xe đẩy mất phanh", được sáng chế bởi các triết gia vài thập kỉ trước để tư duy về đạo đức.
Now, the way we think about this problem matters. We may for example not think about it at all. We may say this scenario is unrealistic, incredibly unlikely, or just silly. But I think this criticism misses the point because it takes the scenario too literally. Of course no accident is going to look like this; no accident has two or three options where everybody dies somehow. Instead, the car is going to calculate something like the probability of hitting a certain group of people, if you swerve one direction versus another direction, you might slightly increase the risk to passengers or other drivers versus pedestrians. It's going to be a more complex calculation, but it's still going to involve trade-offs, and trade-offs often require ethics.
Cách chúng ta nghĩ về vấn đề này cũng khá quan trọng. Chúng ta có lẽ không băn khoăn gì về chúng cả. Chúng ta có thể nói viễn cảnh này là không thực tế, khó tin, hoặc đơn giản là ngớ ngẩn. Nhưng tôi nghĩ những đánh giá đó không đúng cho lắm bởi lẽ nó làm viễn cảnh ấy quá chân thực. Tất nhiên, không một tai nạn nào sẽ diễn ra như vậy; không tai nạn nào có hai hoặc ba lựa chọn cho việc người ta chết như thế nào. Thay vào đó, chiếc xe sẽ tính toán một số thứ như khả năng tông vào một nhóm người nhất định, nếu nó chuyển từ hướng này sang hướng khác nó có thể gây nguy hiểm cho hành khách hay tài xế khác hơn là cho người đi bộ. Có lẽ nó sẽ tính toán phức tạp hơn nữa nhưng cuối cùng nó vẫn sẽ dính vào các thỏa hiệp và thỏa hiệp thì thường yêu cầu đạo đức
We might say then, "Well, let's not worry about this. Let's wait until technology is fully ready and 100 percent safe." Suppose that we can indeed eliminate 90 percent of those accidents, or even 99 percent in the next 10 years. What if eliminating the last one percent of accidents requires 50 more years of research? Should we not adopt the technology? That's 60 million people dead in car accidents if we maintain the current rate. So the point is, waiting for full safety is also a choice, and it also involves trade-offs.
Chúng ta có thể nói rằng, “Đừng lo lắng về điều đó nữa, cứ chờ đến khi công nghệ hoàn toàn thích hợp và 100% an toàn”. Giả sử chúng ta có thể thực sự giảm thiểu 90% ca tai nạn hoặc thậm chí là 99% trong 10 năm tới. Nhưng nếu việc loại bỏ hoàn toàn 1% còn lại đó cần thêm hơn 50 năm để nghiên cứu? Chúng ta không nên tiếp thu công nghệ? Sẽ có 60 triệu người chết vì tai nạn xe hơi nếu chúng ta duy trì tỉ lệ hiện tại. Vấn đề là, chờ đợi sự an toàn tuyệt đối là một sự lựa chọn và nó cũng có trong đó sự đánh đổi.
People online on social media have been coming up with all sorts of ways to not think about this problem. One person suggested the car should just swerve somehow in between the passengers --
Cư dân mạng đã tìm ra một số cách để không nghĩ về vấn đề này. Có người đề nghị chiếc xe nên chuyển hướng vào nơi nào đó giữa những người đi bộ
(Laughter)
(Cười)
and the bystander. Of course if that's what the car can do, that's what the car should do. We're interested in scenarios in which this is not possible. And my personal favorite was a suggestion by a blogger to have an eject button in the car that you press --
và người đứng xem. Tất nhiên, nếu chiếc xe có thể làm điều đó. Chúng ta đang tính đến viễn cảnh mà điều đó không xảy ra. Và đề xuất mà tôi ưa thích là của một blogger về nút bung dù mà bạn có thể nhấn
(Laughter)
(Cười)
just before the car self-destructs.
ngay trước khi chiếc xe tự hủy.
(Laughter)
(Cười)
So if we acknowledge that cars will have to make trade-offs on the road, how do we think about those trade-offs, and how do we decide? Well, maybe we should run a survey to find out what society wants, because ultimately, regulations and the law are a reflection of societal values.
Vậy nếu ta biết đến những đánh đổi mà chiếc xe đã cân nhắc đưa ra, chúng ta nghĩ gì về các đánh đổi ấy, và chúng ta sẽ quyết định thế nào? Có lẽ chúng ta nên làm một cuộc khảo sát để xem thử xã hội muốn gì, bởi vì cuối cùng, quy tắc và luật lệ phản ánh những giá trị xã hội.
So this is what we did. With my collaborators, Jean-François Bonnefon and Azim Shariff, we ran a survey in which we presented people with these types of scenarios. We gave them two options inspired by two philosophers: Jeremy Bentham and Immanuel Kant. Bentham says the car should follow utilitarian ethics: it should take the action that will minimize total harm -- even if that action will kill a bystander and even if that action will kill the passenger. Immanuel Kant says the car should follow duty-bound principles, like "Thou shalt not kill." So you should not take an action that explicitly harms a human being, and you should let the car take its course even if that's going to harm more people.
Vậy nên đây là những thứ chúng ta đã làm. Với những cộng tác viên của tôi, Jean-François Bonnefon và Azim Shariff, chúng tôi thực hiện khảo sát trong đó chúng tôi đưa ra những viễn cảnh trên. Chúng tôi cho họ hai lựa chọn được lấy cảm hứng từ hai triết gia: Jeremy Bentham và Immanuel Kant. Bentham nói rằng chiếc xe nên làm theo đạo đức thực tế nó nên hành động nhằm giảm thiểu tổng thiệt hại thậm chí nếu hành động đó giết chết một người đi đường hay giết chết hành khách. Immanuel Kant nói rằng chiếc xe nên tuân theo mệnh lệnh tuyệt đối, như " Người đó sẽ không bị giết". Vì thế bạn không nên thực hiện hành động mà rõ ràng nó gây hại đến con người, và bạn nên để chiếc xe đi theo hướng cũ dù rằng nó có thể gây hại cho nhiều người hơn.
What do you think? Bentham or Kant? Here's what we found. Most people sided with Bentham. So it seems that people want cars to be utilitarian, minimize total harm, and that's what we should all do. Problem solved. But there is a little catch. When we asked people whether they would purchase such cars, they said, "Absolutely not."
Bạn nghĩ thế nào? Bentham hay Kant? Đây là những điều chúng tôi tìm được. Nhiều người ủng hộ Bentham. Do vậy có vẻ như những người này muốn chiếc xe phải thực tế, tối thiểu thiệt hại, và đó là tất cả những gì ta nên làm. Vấn đề đã được giải quyết. Nhưng có một vấn đề nhỏ. Khi chúng tôi hỏi một số người liệu họ có muốn mua chiếc xe như vậy, họ nói, "Chắc chắn không".
(Laughter)
(Cười)
They would like to buy cars that protect them at all costs, but they want everybody else to buy cars that minimize harm.
Họ sẽ muốn mua những chiếc xe bảo vệ họ bằng mọi giá, Nhưng họ lại muốn những người khác mua chiếc xe có thể giảm thiểu thiệt hại.
(Laughter)
(Cười)
We've seen this problem before. It's called a social dilemma. And to understand the social dilemma, we have to go a little bit back in history. In the 1800s, English economist William Forster Lloyd published a pamphlet which describes the following scenario. You have a group of farmers -- English farmers -- who are sharing a common land for their sheep to graze. Now, if each farmer brings a certain number of sheep -- let's say three sheep -- the land will be rejuvenated, the farmers are happy, the sheep are happy, everything is good. Now, if one farmer brings one extra sheep, that farmer will do slightly better, and no one else will be harmed. But if every farmer made that individually rational decision, the land will be overrun, and it will be depleted to the detriment of all the farmers, and of course, to the detriment of the sheep.
Chúng tôi đã thấy vấn đề này trước đây. Nó gọi là tình huống tiến thoái lưỡng nan của xã hội. Và để hiểu được vấn đề xã hội này, chúng ta phải trở về quá khứ một chút. Trong những năm 1800, nhà kinh tế học người Anh William Forster Lloyd đã xuất bản một quyển sách nói về tình huống sau: Bạn có một nhóm nông dân - những nông dân người Anh đang chia sẻ một mảnh đất chung để chăn cừu. Nếu mỗi người nông dân mang đến một số lượng cừu nhất định ví dụ ba con cừu mảnh đất trở nên sống động hơn, người nông dân sẽ vui lên, cừu cũng vui lên, mọi thứ sẽ tốt đẹp. Bây giờ, nếu một người nông dân mang thêm một con cừu nữa, người nông dân đó sẽ làm tốt hơn một chút, và không ai khác bị tổn hại. Nhưng nếu người nông dân nào cũng chỉ muốn được lợi cho mình mảnh đất sẽ bị tàn phá, và nó sẽ gây ra tổn thất cho những người nông dân, và tất nhiên, tổn thất cho đàn cừu.
We see this problem in many places: in the difficulty of managing overfishing, or in reducing carbon emissions to mitigate climate change. When it comes to the regulation of driverless cars, the common land now is basically public safety -- that's the common good -- and the farmers are the passengers or the car owners who are choosing to ride in those cars. And by making the individually rational choice of prioritizing their own safety, they may collectively be diminishing the common good, which is minimizing total harm. It's called the tragedy of the commons, traditionally, but I think in the case of driverless cars, the problem may be a little bit more insidious because there is not necessarily an individual human being making those decisions. So car manufacturers may simply program cars that will maximize safety for their clients, and those cars may learn automatically on their own that doing so requires slightly increasing risk for pedestrians. So to use the sheep metaphor, it's like we now have electric sheep that have a mind of their own.
Chúng ta thấy vấn đề này trong nhiều nơi: trong khó khăn của việc quản lí khai thác cá quá mức, hoặc trong việc cắt giảm khí thải CO2 để hạn chế biến đổi khí hậu. Khi nói đến quy tắc của xe không người lái mảnh đất chung giờ đây là sự an toàn của cộng đồng đó là điểm tốt chung và người nông dân là hành khách hoặc người chủ xe người mà đang chọn lái những chiếc xe đó. Và bằng cách chọn những quyết định có lợi cho bản thân mình hoặc nói cách khác, ưu tiên cho sự an toàn của chính họ, họ có thể loại bỏ điểm tốt chung cái mà tối thiểu tổng thiệt hại. Nó được gọi là “Bi kịch của mảnh đất công”, thường là vậy, nhưng tôi nghĩ trong trường hợp của những chiếc xe không người lái, vấn đề có một chút hóc búa hơn bởi lẽ không cần một cá nhân riêng rẽ nào quyết định những quyết định đó. Vì vậy các nhà sản xuất xe hơi chỉ đơn thuần lập trình chiếc xe có thể tối đa hóa sự an toàn cho khách hàng của họ, và những chiếc xe đó có thể tự học rằng làm vậy sẽ gia tăng nguy hiểm cho người đi bộ. Sử dụng phép ẩn dụ con cừu, coi như chúng ta có một chú cừu điện có bộ óc của riêng nó.
(Laughter)
(cười)
And they may go and graze even if the farmer doesn't know it.
Và chúng có lẽ tự đi gặm cỏ mà người nông dân không hề hay biết.
So this is what we may call the tragedy of the algorithmic commons, and if offers new types of challenges. Typically, traditionally, we solve these types of social dilemmas using regulation, so either governments or communities get together, and they decide collectively what kind of outcome they want and what sort of constraints on individual behavior they need to implement. And then using monitoring and enforcement, they can make sure that the public good is preserved. So why don't we just, as regulators, require that all cars minimize harm? After all, this is what people say they want. And more importantly, I can be sure that as an individual, if I buy a car that may sacrifice me in a very rare case, I'm not the only sucker doing that while everybody else enjoys unconditional protection.
Vì vậy đây là cái mà chúng tôi gọi là “Bi kịch ‘thuật toán’ công” khi cung cấp các thử thách mới. Một cách tiêu biểu, truyền thống, chúng ta giải quyết những vấn đề xã hội này bằng cách sử dụng luật lệ, vì thế cả chính quyền và cộng đồng hợp lại, và họ cùng quyết định loại hậu quả nào họ muốn và hạn chế nào đối với các hành vi cá nhân họ cần bổ sung. Và sau đó sử dụng phép kiểm tra và ép buộc, họ có thể đảm bảo rằng lợi ích công đồng được bảo toàn. Vì thế tại sao chúng ta không chỉ, một cách máy móc, yêu cầu tất cả xe hơi giảm thiểu thiệt hại? Rốt cuộc, đây là những gì mọi người nói rằng họ muốn. Và quan trọng hơn, tôi có thể chắc chắn rằng, với tư cách một cá nhân, nếu tôi mua một chiếc xe mà cần hi sinh bản thân trong rất ít các trường hợp, Tôi không phải thằng ngu duy nhất trong khi những người khác tận hưởng sự bảo vệ vô điều kiện.
In our survey, we did ask people whether they would support regulation and here's what we found. First of all, people said no to regulation; and second, they said, "Well if you regulate cars to do this and to minimize total harm, I will not buy those cars." So ironically, by regulating cars to minimize harm, we may actually end up with more harm because people may not opt into the safer technology even if it's much safer than human drivers.
Trong khảo sát, tôi đã hỏi liệu họ có ủng hộ các quy tắc đó không và đây là kết quả. Trước tiên, con người nói không với luật lệ; và thứ hai, họ nói, “Nếu bạn đặt luật cho xe hơi làm vậy và tối thiểu thiệt hại, tôi sẽ không mua những chiếc xe đó." Trớ trêu thay, bằng cách kiểm soát những chiếc xe để tối thiểu thiệt hại, chúng ta có thể sẽ kết thúc với nhiều thiệt hại hơn bởi con người có thể sẽ chẳng chọn công nghệ an toàn thậm chí nếu nó an toàn hơn tài xế thông thường.
I don't have the final answer to this riddle, but I think as a starting point, we need society to come together to decide what trade-offs we are comfortable with and to come up with ways in which we can enforce those trade-offs.
Tôi không có câu trả lời cuối cùng cho câu đố này, nhưng tôi nghĩ khi ở điểm bắt đầu, chúng ta cần xã hội chung tay lại để quyết định sự thỏa hiệp nào chúng ta cảm thấy thoải mái và tìm ra cách mà chúng ta có thể thúc ép những thỏa hiệp đó.
As a starting point, my brilliant students, Edmond Awad and Sohan Dsouza, built the Moral Machine website, which generates random scenarios at you -- basically a bunch of random dilemmas in a sequence where you have to choose what the car should do in a given scenario. And we vary the ages and even the species of the different victims. So far we've collected over five million decisions by over one million people worldwide from the website. And this is helping us form an early picture of what trade-offs people are comfortable with and what matters to them -- even across cultures. But more importantly, doing this exercise is helping people recognize the difficulty of making those choices and that the regulators are tasked with impossible choices. And maybe this will help us as a society understand the kinds of trade-offs that will be implemented ultimately in regulation.
Khi ở điểm bắt đầu, những học sinh xuất sắc của tôi, Edmond Awad và Sohan Dsouza, xây dựng trang web Đạo đức máy móc, nơi tập họp những viễn cảnh ngẫu nhiên mà bạn-- về cơ bản là một chuỗi các rắc rối. nơi mà bạn phải lựa chọn chiếc xe phải làm gì trong tình huống cho trước. Và chúng ta thay đổi tuổi và thậm chí là loại nạn nhân khác nhau. Khi chúng tôi thu được trên năm triệu quyết định bởi hơn một triệu người trên toàn thế giới từ trang web. Và nó giúp chúng ta định hình bức tranh ban đầu về những đánh đổi mà người ta có thể thỏa hiệp và điều gì không thể với họ-- thậm chí là vượt qua văn hóa. Nhưng quan trọng hơn, thực hiện bài tập này đang giúp người ta nhận ra khó khăn của việc quyết định và người lập trình đang được giao nhiệm vụ bất khả thi. Có lẽ điều này sẽ giúp chúng ta cũng như việc xã hội hiểu về sự đánh đổi sẽ được thực hiện một cách tuyệt đối theo các quy tắc.
And indeed, I was very happy to hear that the first set of regulations that came from the Department of Transport -- announced last week -- included a 15-point checklist for all carmakers to provide, and number 14 was ethical consideration -- how are you going to deal with that. We also have people reflect on their own decisions by giving them summaries of what they chose. I'll give you one example -- I'm just going to warn you that this is not your typical example, your typical user. This is the most sacrificed and the most saved character for this person.
Và thực sự, tôi rất vui khi nghe rằng bộ quy tắc đầu tiên đến từ Bộ Giao thông vận tải được thông báo tuần qua-- bao gồm một danh sách 15 điều các nhà sản xuất cần đáp ứng, và điều số 14 là cân nhắc đạo đức -- Bạn dự định sẽ đối phó với điều này như thế nào? Chúng tôi cũng có những người phản ánh quyết định của họ bằng cách cho họ bản tóm tắt những gì họ chọn. Tôi sẽ đưa ra một ví dụ -- Tôi chỉ cảnh báo bạn rằng đây không phải là phản hồi của các bạn, của chính các bạn. Đây là những thứ người này chọn hi sinh và cứu
(Laughter)
(cười)
Some of you may agree with him, or her, we don't know. But this person also seems to slightly prefer passengers over pedestrians in their choices and is very happy to punish jaywalking.
Sẽ có người đồng ý với anh ta, hoặc cô ta, chúng ta không biết được. Nhưng người này có khuynh hướng nghiêng về cứu hành khách hơn là người qua đường trong lựa chọn của mình và rất hào hứng trừng phạt người qua đường ẩu.
(Laughter)
(cười)
So let's wrap up. We started with the question -- let's call it the ethical dilemma -- of what the car should do in a specific scenario: swerve or stay? But then we realized that the problem was a different one. It was the problem of how to get society to agree on and enforce the trade-offs they're comfortable with. It's a social dilemma.
Vì thế hãy nghĩ thế này, Chúng ta đã bắt đầu với câu hỏi -- gọi nó là vấn đề đạo đức-- về điều mà chiếc xe nên làm trong một tình huống cụ thể: chuyển hướng hay giữ nguyên? Sau đó ta nhận ra rằng vấn đề lại hoàn toàn khác. Đó là vấn đề của việc làm thế nào để khiến xã hội đồng thuận và thực hiện thỏa thuận mà họ cảm thấy thoải mái Đó là một vấn đề xã hội.
In the 1940s, Isaac Asimov wrote his famous laws of robotics -- the three laws of robotics. A robot may not harm a human being, a robot may not disobey a human being, and a robot may not allow itself to come to harm -- in this order of importance. But after 40 years or so and after so many stories pushing these laws to the limit, Asimov introduced the zeroth law which takes precedence above all, and it's that a robot may not harm humanity as a whole. I don't know what this means in the context of driverless cars or any specific situation, and I don't know how we can implement it, but I think that by recognizing that the regulation of driverless cars is not only a technological problem but also a societal cooperation problem, I hope that we can at least begin to ask the right questions.
Vào thập niên 1940, Isaac Asimov đã viết bộ luật nổi tiếng về người máy -- ba bộ luật robot. Một người máy không được gây hại cho con người, một người máy không được không phục tùng con người, và một người máy không được để bản thân nó hư hại -- quan trọng xếp theo thứ tự này. Nhưng sau 40 năm hoặc hơn và sau nhiều câu chuyện đẩy những luật đó đến giới hạn, Asimov giới thiệu luật thứ không Luật này được ưu tiên hơn cả, Và nó tuyên bố: người máy không được gây hại cho toàn thể loài người Tôi không biết điều này có nghĩa gì với xe không người lái hoặc bất kì tình huống rõ ràng nào khác, Và tôi không biết làm thế nào để ta thực hiện nó, Nhưng tôi cho rằng bằng cách nhận ra rằng các quy tắc của xe không người lái không chỉ là vấn đề về công nghệ mà còn là vấn đề về sự tương tác với xã hội. Tôi hy vọng rằng ít nhất chúng ta có thể bắt đầu hỏi những câu hỏi đúng đắn.
Thank you.
Cảm ơn.
(Applause)
(Vỗ tay)