Power. That is the word that comes to mind. We're the new technologists. We have a lot of data, so we have a lot of power. How much power do we have? Scene from a movie: "Apocalypse Now" -- great movie. We've got to get our hero, Captain Willard, to the mouth of the Nung River so he can go pursue Colonel Kurtz. The way we're going to do this is fly him in and drop him off. So the scene: the sky is filled with this fleet of helicopters carrying him in. And there's this loud, thrilling music in the background, this wild music. ♫ Dum da ta da dum ♫ ♫ Dum da ta da dum ♫ ♫ Da ta da da ♫ That's a lot of power. That's the kind of power I feel in this room. That's the kind of power we have because of all of the data that we have.
권력 그 말이 제 마음으로 들어서는군요. 우리는 신세대 테크놀로지스트들입니다. 우리에게는 많은 양의 데이터가 있어서, 우리에겐 많은 권력이 있지요. 얼마나 많은 권력을 우리가 가지고 있나요? 영화의 한장면: "아포칼립스 나우"--굉장한 영화지요. 우리는 우리의 영웅, 윌라드 대장을, 넝 강(Nung River) 의 입구로 가서 체포해야 해요. 그래서 그는 커츠 대령을 쫒을 수 있지요. 우리가 이걸 하려는 방식은 그를 비행기로 태워다가 떨구어 놓는 겁니다. 그래서 그 장면은: 하늘은 그를 운반해 들여오는 이 헬리콥터의 무리로 가득차 있죠. 또 거기에는 이 요란한, 스릴있는 음악이 배경에 깔려있습니다, 이 야생적인 음악. ♫덤 다 타 다 덤♫ ♫덤 다 타 다 덤♫ ♫다 타 다 다♫ 그것은 대단한 권력입니다. 그건 제가 이 장소에서 느끼는 것과 같은 종류의 권력입니다. 그건 우리가 가지고 있는 종류의 권력입니다 왜냐하면 우리가 가지고 있는 데이터의 전부이기 때문이지요.
Let's take an example. What can we do with just one person's data? What can we do with that guy's data? I can look at your financial records. I can tell if you pay your bills on time. I know if you're good to give a loan to. I can look at your medical records; I can see if your pump is still pumping -- see if you're good to offer insurance to. I can look at your clicking patterns. When you come to my website, I actually know what you're going to do already because I've seen you visit millions of websites before. And I'm sorry to tell you, you're like a poker player, you have a tell. I can tell with data analysis what you're going to do before you even do it. I know what you like. I know who you are, and that's even before I look at your mail or your phone.
예를 들어봅시다. 우리가 뭘 할수 있을까요 한사람의 데이터를 가지구요? 우리가 뭘 할 수 있을까요 저 남자의 데이터를 가지고 말이죠? 저는 여러분의 재정 기록상황을 볼 수 있습니다. 저는 여러분이 제때에 요금을 지불하는지 말할 수 있습니다. 저는 여러분이 융자를 얻을만큼 신용이 있는지 알 수 있지요. 저는 여러분의 의료 기록을 볼 수 있고, 여러분의 심장이 제대로 작동하는 지 볼 수 있지요-- 여러분이 보험을 제공받을 만큼 신용이 있는 지 볼 수 있고. 여러분이 클릭하는 패턴을 볼 수 있습니다. 여러분이 제 웹사이트로 갔을 때, 저는 실제로 여러분이 뭘 할 것인지를 알고 있습니다, 왜냐하면 저는 여러분이 전에 그 웹사이트를 방문한 것을 보았기 때문이지요. 그리고 저는 여러분에게 말하는것을 죄송하게 생각합니다, 여러분이 포커 플레이어같아서, 할말이 있다는 것을요. 저는 그 데이터 분석으로 여러분이 무엇을 할 것인지를 압니다 여러분이 그것을 시작하기도 전에 말이죠. 저는 여러분이 좋아하는것을 압니다. 저는 여러분이 누구인지를 압니다. 그것은 심지어 제가 여러분의 메일이나 여러분의 전화를 보기도 이전입니다.
Those are the kinds of things we can do with the data that we have. But I'm not actually here to talk about what we can do. I'm here to talk about what we should do. What's the right thing to do?
그런것들이 우리가 할 수 있는 종류의 것들입니다 우리가 가진 데이터를 가지고 말이죠. 하지만 저는 실제로 여기에서 우리가 할 수 있는것에 관해서 이야기하려고 온것이 아닙니다. 저는 우리가 해야만 하는 것들에 대해서 말하려고 왔어요. 무엇이 해야만 하는 정당한 것일까요?
Now I see some puzzled looks like, "Why are you asking us what's the right thing to do? We're just building this stuff. Somebody else is using it." Fair enough. But it brings me back. I think about World War II -- some of our great technologists then, some of our great physicists, studying nuclear fission and fusion -- just nuclear stuff. We gather together these physicists in Los Alamos to see what they'll build. We want the people building the technology thinking about what we should be doing with the technology.
자 몇몇의 혼란해하는 표정이 보이는군요. "왜 당신이 우리에게 무엇이 해야만 하는 정당한 일인지를 묻는거야? 우리는 이것을 만들고 있을 뿐이야. 다른 누군가가 그것을 이용하고 있어." 충분히 정당하죠. 하지만 그것은 저를 다시 되돌려 옵니다. 저는 제 2차 세계대전에 대해 생각해 봅니다. 그당시 우리의 대단한 테그놀로지스트들 몇명과, 우리의 대단한 물리학자들 몇명이, 핵 분열과 퓨전에 대해 공부하고 있었습니다-- 단지 핵의 물건일 뿐이었습니다. 우리는 로스 알라모스에서 이 물리학자들과 함께 모였습니다 그들이 지을 것이 무엇인지를 보려구요. 우리는 사람들이 그 테크놀로지를 건축하는것을 바랍니다 우리가 테크놀로지로 무엇을 해야만 할 것인지를 생각하면서 말이지요.
So what should we be doing with that guy's data? Should we be collecting it, gathering it, so we can make his online experience better? So we can make money? So we can protect ourselves if he was up to no good? Or should we respect his privacy, protect his dignity and leave him alone? Which one is it? How should we figure it out?
자 저 남자의 데이터를 가지고 우리는 무엇을 해야만 할 까요? 우리가 그걸 모으고, 집합시켜야 할까요, 그래서 우리가 그의 온라인 경험을 더 낫게 하기 위해서? 그래서 우리가 돈을 벌수 있도록? 그래서 우리가 우리 자신을 보호할 수 있도록 만약 그가 신용이 없어질 때까지? 또는 우리가 그의 개인 정보를 존중해야 할까요, 그의 존엄을 보호하고 그를 혼자서 내버려 두어야 할까요? 어떤것이어야 할까요? 우리가 어떻게 알아내야 할까요?
I know: crowdsource. Let's crowdsource this. So to get people warmed up, let's start with an easy question -- something I'm sure everybody here has an opinion about: iPhone versus Android. Let's do a show of hands -- iPhone. Uh huh. Android. You'd think with a bunch of smart people we wouldn't be such suckers just for the pretty phones. (Laughter) Next question, a little bit harder. Should we be collecting all of that guy's data to make his experiences better and to protect ourselves in case he's up to no good? Or should we leave him alone? Collect his data. Leave him alone. You're safe. It's fine. (Laughter) Okay, last question -- harder question -- when trying to evaluate what we should do in this case, should we use a Kantian deontological moral framework, or should we use a Millian consequentialist one? Kant. Mill. Not as many votes. (Laughter) Yeah, that's a terrifying result. Terrifying, because we have stronger opinions about our hand-held devices than about the moral framework we should use to guide our decisions.
저는 압니다: 크라우드 소스. 이것을 크라우드 소스시킵시다. 그래서 사람들에게 준비를 시키기 위해서, 쉬운 질문으로 시작합시다-- 제가 확신하기로 여기 있는 모든 사람들이 의견을 가지고 있는 무엇으로: 아이폰 대 안드로이드. 손을 보여봅시다--아이폰 좋아요. 안드로이드. 여러분이 영리한 많은 사람들이 생각하기를 "우리는 단지 예쁜 전화만을 원하는 바보는 안될거야." 라고 하시겠죠. (웃음) 다음 질문, 약간 더 어려운것. 우리가 그 남자의 데이터를 모두 수집해서 그의 경험의 질을 높이기 위해 또 그가 신용이 없어질 경우에 우리를 지킬 수 있도록 해야 할까요? 또는 그를 혼자 내버려 두어야 할까요? 그의 데이터를 수집해라. 그를 혼자 내버려 두어라. 여러분은 안전합니다. 좋아요. (웃음) 좋아요, 마지막 질문-- 어려운 질문-- 우리가 이 사례에서 무엇을 해야만 할 지 평가하려는 노력을 할때, 우리는 칸트방식의 의미론전 도덕 체계를 이용해야 할까요 또는 우리가 밀방식의 결과론적인 것을 이용해야 할까요? 칸트. 밀. 투표가 많이 없군요. (웃음) 맞아요, 그건 끔찍한 결과입니다. 끔찍합니다, 왜냐하면 우리는 우리가 우리의 결정을 하는데 도움을 주는 도덕적인 체계에 대한 것보다 우리의 소형기기 장치에 대해서 보다 강한 의견을 가지고 있기 때문이죠
How do we know what to do with all the power we have if we don't have a moral framework? We know more about mobile operating systems, but what we really need is a moral operating system. What's a moral operating system? We all know right and wrong, right? You feel good when you do something right, you feel bad when you do something wrong. Our parents teach us that: praise with the good, scold with the bad. But how do we figure out what's right and wrong? And from day to day, we have the techniques that we use. Maybe we just follow our gut. Maybe we take a vote -- we crowdsource. Or maybe we punt -- ask the legal department, see what they say. In other words, it's kind of random, kind of ad hoc, how we figure out what we should do. And maybe, if we want to be on surer footing, what we really want is a moral framework that will help guide us there, that will tell us what kinds of things are right and wrong in the first place, and how would we know in a given situation what to do.
만일 우리가 도덕적인 체계를 가지지 않았다면 우리가 가진 모든 권력을 가지고 무엇을 해야할지 어떻게 알겠습니까? 우리는 모빌 운영 시스템에 관해 보다 더 많이 알고 있지만, 우리에게 정말 필요한 것은 도덕적인 운영 시스템입니다. 무엇이 도덕적인 운영 시스템일까요? 우리모두는 옳고 그름을 압니다, 맞지요? 여러분이 뭔가 바른 일을 했을때 여러분은 기분이 좋음을 느낍니다, 여러분이 뭔가 나쁜 일을 했을때 여러분은 기분이 좋지 않음을 느낍니다. 우리의 부모들이 그걸 가르쳤지요; 좋은것은 칭찬하고, 나쁜것은 꾸짖어라. 하지만 어떤것이 옳고 그른지 어떻게 알 수 있을까요? 하지만 매일 매일, 우리에게는 우리가 이용하는 기술을 갖고 있습니다. 우리는 어쩌면 우리의 본능을 그저 따라갑니다. 우리는 어쩌면 투표를 합니다--우리는 크라우드 소스를 합니다. 또는 어쩌면 우리는 펀트(손에서 떨어뜨린 공이 땅에 닿기 전에 차기)를 하겠죠-- 법률부서에 물어봐, 그들이 뭐라고 하는지 보자. 달리 말하면, 그건 무작위적이죠, 일종의 임시 응변적이죠, 우리가 무엇을 해야할 지 알아내는것은요. 그리고 어쩌면, 만약 우리가 보다 확실한 거점을 확보하고 싶다면, 우리가 정말 원하는 것은 우리를 저 곳으로, 우리에게 처음부터 어떤 것들이 옳고 그른것인지 알려주고 우리가 주어진 상황에서 무엇을 할 지 우리가 어떻게 아는 장소로 데려갈 도덕적인 체계입니다.
So let's get a moral framework. We're numbers people, living by numbers. How can we use numbers as the basis for a moral framework? I know a guy who did exactly that. A brilliant guy -- he's been dead 2,500 years. Plato, that's right. Remember him -- old philosopher? You were sleeping during that class. And Plato, he had a lot of the same concerns that we did. He was worried about right and wrong. He wanted to know what is just. But he was worried that all we seem to be doing is trading opinions about this. He says something's just. She says something else is just. It's kind of convincing when he talks and when she talks too. I'm just going back and forth; I'm not getting anywhere. I don't want opinions; I want knowledge. I want to know the truth about justice -- like we have truths in math. In math, we know the objective facts. Take a number, any number -- two. Favorite number. I love that number. There are truths about two. If you've got two of something, you add two more, you get four. That's true no matter what thing you're talking about. It's an objective truth about the form of two, the abstract form. When you have two of anything -- two eyes, two ears, two noses, just two protrusions -- those all partake of the form of two. They all participate in the truths that two has. They all have two-ness in them. And therefore, it's not a matter of opinion.
그러니 도덕적인 체계를 마련합시다. 우리는 숫자에 따라 사는 숫자의 사람들입니다. 도덕적인 체계를 위한 토대로서 우리가 어떻게 숫자를 이용할까요? 저는 바로 그렇게 한 남자를 알고 있습니다. 굉장히 영리한 남자죠-- 그는 2,500 년전에 죽었습니다. 플라토, 맞아요. 그를 기억하시나요--늙은 철학자를? 여러분은 그 수업에 잠을 자고 있었죠. 자 플라토, 그는 우리가 가진것과 같은 근심을 많이 가지고 있었습니다. 그는 옳고 그름에 관해 걱정을 했습니다. 그는 무엇이 정의인지에 대해서 알고 싶어했지요. 하지만 그는 우리 모두가 하고 있는것과 같은 이것에 관한 의견을 교환하는것에 대해 걱정했습니다. "그는 무엇인가가 정의라고 말해. 그녀는 다른 어떤것이 정의라고 말해," 라고 하는 것을요. 그가 말할때 그것은 신뢰할만 하고, 그녀가 말할때도 신뢰할만 하죠. 저는 단지 왔다 갔다 할 뿐이죠; 어떤 곳에도 도달하지 않아요. 저는 의견을 원하는 것이 아닙니다, 저는 지식을 원해요. 저는 정의에 관한 진리를 알고 싶어요-- 우리가 수학에서 진리를 가지고 있는것처럼. 수학에서, 우리는 객관적인 사실을 압니다. 숫자를 택하세요, 임의의 숫자--2. 가장 좋아하는 숫자. 저는 그 숫자를 사랑합니다. 2에 관한 진실이 있어요. 여러분이 두개의 뭔가를 가졌다며, 두개를 더하면, 4를 얻게 됩니다. 그건 여러분이 어떤것에 이야기 하는지 상관없이 사실입니다. 그건 2의 추상적인 형태에 관한 객관적인 진실입니다, 여러분이 어떤것 2개를 가졌을때 --2개의 눈, 2개의 귀, 코에 단지 2개의 돌출부-- 그것들은 모두 2개 형태에 한몫으로 낍니다. 그들은 모두 2가 가지는 진실에 가담합니다. 그들에게는 모두 2 형태를 가지고 있어요. 그러므로, 그것은 의견의 문제가 아닙니다.
What if, Plato thought, ethics was like math? What if there were a pure form of justice? What if there are truths about justice, and you could just look around in this world and see which things participated, partook of that form of justice? Then you would know what was really just and what wasn't. It wouldn't be a matter of just opinion or just appearances. That's a stunning vision. I mean, think about that. How grand. How ambitious. That's as ambitious as we are. He wants to solve ethics. He wants objective truths. If you think that way, you have a Platonist moral framework.
만약 플라토가 생각하기를, 윤리가 수학과 같은거라고 생각했다면 어떨까요? 만약 정의에 순수한 형태가 존재한다면요? 만약 정의에 관한 진실이 있고, 여러분은 이 세상을 돌아보아 어떤것들이 참여되어서, 정의의 형태에 참가했다면은요? 그러면 여러분은 무엇이 진실이고 무엇이 진실이 아니었는지 알 수 있을겁니다. 단지 의견이나 단지 외양은 문제가 되지 않을것입니다. 그것은 굉장한 통찰력입니다. 생각해 보세요. 얼마나 거대합니까. 얼마나 야심적인 것인가요. 그건 우리가 야심찬 정도와 같지요. 우리는 윤리학을 풀고 싶어합니다. 그는 객관적인 진실을 바랍니다. 만일 여러분이 그런 방식으로 생각한다면, 여러분은 플라톤식의 윤리체계를 가지고 있습니다.
If you don't think that way, well, you have a lot of company in the history of Western philosophy, because the tidy idea, you know, people criticized it. Aristotle, in particular, he was not amused. He thought it was impractical. Aristotle said, "We should seek only so much precision in each subject as that subject allows." Aristotle thought ethics wasn't a lot like math. He thought ethics was a matter of making decisions in the here-and-now using our best judgment to find the right path. If you think that, Plato's not your guy. But don't give up. Maybe there's another way that we can use numbers as the basis of our moral framework.
만일 여러분이 그런식으로 생각하지 않는다면, 글쎄요, 여러분은 서부 철학의 역사에서 많은 동료를 공유합니다, 왜냐하면 그 정돈된 생각은--아시죠, 사람들이 그걸 비판합니다. 특히, 아리스토텔레스는 그것을 즐겨하지 않았지요. 그는 그게 비실용적이라고 생각했습니다. 아리스토텔레스가 말하길, "우리는 각 주제에 그 주제가 허락하는 그 정도만의 정확성을 추구해야만 합니다." 아리스토텔레스는 윤리가 수학과 같지 않다고 생각했어요. 그는 윤리가 즉결을 요구하는 의사결정의, 바른 행로를 찾기위해 우리의 가장 훌륭한 판단을 이용하는 문제라고 생각했어요. 만약 여러분이 그렇게 생각했다면, 플라톤은 여러분의 사람이 아닙니다. 하지만 포기하지는 마세요. 어쩌면 다른 방법이 있을수도 있습니다. 우리의 윤리 체계의 기반으로서 숫자를 이용하는 것입니다.
How about this: What if in any situation you could just calculate, look at the choices, measure out which one's better and know what to do? That sound familiar? That's a utilitarian moral framework. John Stuart Mill was a great advocate of this -- nice guy besides -- and only been dead 200 years. So basis of utilitarianism -- I'm sure you're familiar at least. The three people who voted for Mill before are familiar with this. But here's the way it works. What if morals, what if what makes something moral is just a matter of if it maximizes pleasure and minimizes pain? It does something intrinsic to the act. It's not like its relation to some abstract form. It's just a matter of the consequences. You just look at the consequences and see if, overall, it's for the good or for the worse. That would be simple. Then we know what to do.
이건 어떨까요: 만약 여러분이 단지 계산할 수 있는 임의의 상황이 있다면, 그 선택사항들을 보세요, 어떤것이 더 나은지 또 무엇을 해야할 지 아는지를 측정하세요? 그게 친숙하게 들리나요? 그것은 공리주의 도덕 체계입니다.£ 존 스튜어트 밀이 좋은 사람이었던고 200년 전에 타계했던것 이외에도 이 공리주의의 굉장한 주창자였지요. 그래서 공리주의의 기반은-- 적어도 여러분이 친숙할 거라고 확신합니다. 이전에 밀을 위해 투표했던 세사람은 이 실용주의에 대해 친숙합니다. 하지만 여기 그게 운영되는 방식이 있습니다. 만약 윤리가, 만약 뭔가 도덕적인것을 만드는 무엇인가가 쾌락을 극대화하고 고통을 극소화시키는 것에 대한 문제라면 어떨까요? 그건 그 행위에 본능적인 뭔가를 합니다. 그건 추상적인 형태로의 관계와 같은 게 아닙니다. 그건 단지 결과의 문제입니다. 여러분은 단지 결과를 보고 만약, 그게 선을 위한것인지 또는 악을 위한것인지를 전체적으로 보지요. 그건 간단한 것일 겁니다. 그러면 우리는 무엇을 할 지 알지요.
Let's take an example. Suppose I go up and I say, "I'm going to take your phone." Not just because it rang earlier, but I'm going to take it because I made a little calculation. I thought, that guy looks suspicious. And what if he's been sending little messages to Bin Laden's hideout -- or whoever took over after Bin Laden -- and he's actually like a terrorist, a sleeper cell. I'm going to find that out, and when I find that out, I'm going to prevent a huge amount of damage that he could cause. That has a very high utility to prevent that damage. And compared to the little pain that it's going to cause -- because it's going to be embarrassing when I'm looking on his phone and seeing that he has a Farmville problem and that whole bit -- that's overwhelmed by the value of looking at the phone. If you feel that way, that's a utilitarian choice.
예를 들어봅시다. 제가 올라가서 말하기를 "나는 너의 전화를 압수하겠어," 라고 했다고 가정해 봅시다. 그게 전에 울렸기 때문이 아니라, 내가 작은 계산을 했기 때문에 그것을 가질거라고. 저는, 저 남자가 수상하게 보인다고 생각했습니다. 만일 그가 작은 메세지를 빈 라든의 은거장소로 또는 빈 라든의 이후 세력을 물려받은 그 누구에게라도 보내왔고 그는 실제로 테러리스트와 같은, 슬리퍼 핸드폰같다구요. 저는 그것을 알아낼거고, 제가 그것을 알아냈을때는, 그가 유발할 수도 있는 거대한 양의 손상을 방지할것입니다. 그 손상을 방지하는 것은 굉장히 높은 실용성이 있습니다. 그리고 그것은 그것이 유발할 작은 고통으로 비교됩니다. 왜냐하면 제가 그의 전화기를 보면서 그 전화기를 바라보며 압도적으로 전체가 팜빌 (Farmville) 문제가 있다는 것을 보는것은 창피하게 느껴질 것이기 때문입니다. 만일 여러분이 그런식으로 느낀다면, 그것은 실용주의자적인 선택입니다.
But maybe you don't feel that way either. Maybe you think, it's his phone. It's wrong to take his phone because he's a person and he has rights and he has dignity, and we can't just interfere with that. He has autonomy. It doesn't matter what the calculations are. There are things that are intrinsically wrong -- like lying is wrong, like torturing innocent children is wrong. Kant was very good on this point, and he said it a little better than I'll say it. He said we should use our reason to figure out the rules by which we should guide our conduct, and then it is our duty to follow those rules. It's not a matter of calculation.
하지만 여러분은 그런 방식으로 느끼지 않을지도 모릅니다. 어쩌면은 여러분은, "그건 그의 전화야" 라고 생각할 지도 모릅니다. "그의 전화를 압수하는 것은 옳지않아, 왜냐하면 그는 사람이고 그에게는 권리가 있고 존엄성이 있고, 우리는 그것을 그냥 그렇게 방해할 수는 없어. 그는 자율성을 가졌어. 계산이 어떤것인지는 문제가 되지않아. 본능적으로 그른것들이 있습니다-- 거짓말이 그른것과 같이요. 순진한 어린이들을 괴롭히는것이 그른것과 같이요. 칸트는 이 요점에 관해 아주 탁월했고, 그는 제가 말할 것보다 조금 더 잘 말했죠. 그가 말하길 우리는 우리의 이성을 이용하여 우리의 행실을 안내해야만하는 규칙들을 알아내야만 한다고 말했습니다. 그리고 그 규칙들을 따르는 것은 우리의 의무라고요. 그것은 계산의 문제가 아닙니다.
So let's stop. We're right in the thick of it, this philosophical thicket. And this goes on for thousands of years, because these are hard questions, and I've only got 15 minutes. So let's cut to the chase. How should we be making our decisions? Is it Plato, is it Aristotle, is it Kant, is it Mill? What should we be doing? What's the answer? What's the formula that we can use in any situation to determine what we should do, whether we should use that guy's data or not? What's the formula? There's not a formula. There's not a simple answer.
그러니 멈추도록 합시다. 우리는 그것의 밀집의 중심에 있습니다, 이것은 철학적인 착잡함이죠. 이것은 수천년동안 지속됩니다, 왜냐하면 이것들은 어려운 질문들이기 때문이고 저는 단지 15분만을 가지고 있습니다. 그러니 단도 직입적으로 말합시다. 우리가 어떻게 우리의 의사결정을 해야만 할까요? 플라토인가요, 아리스토텔레스인가요, 칸트인가요, 밀인가요? 우리가 무엇을 해야만 할까요? 무엇이 대답인가요? 우리가 그 남자의 데이타를 이용해야만 할 지 아닌지 우리가 어떤 상황에나 이용할 수 있는 우리가 무엇을 해야만 할 지를 결정하는 공식은 무엇일까요? 그 공식은 무엇일까요? 공식은 없습니다. 단순한 대답이 있는것은 아닙니다.
Ethics is hard. Ethics requires thinking. And that's uncomfortable. I know; I spent a lot of my career in artificial intelligence, trying to build machines that could do some of this thinking for us, that could give us answers. But they can't. You can't just take human thinking and put it into a machine. We're the ones who have to do it. Happily, we're not machines, and we can do it. Not only can we think, we must. Hannah Arendt said, "The sad truth is that most evil done in this world is not done by people who choose to be evil. It arises from not thinking." That's what she called the "banality of evil." And the response to that is that we demand the exercise of thinking from every sane person.
윤리학은 어렵습니다. 윤리학은 생각을 요구합니다. 그리고 그것은 편안하지 않지요. 알아요; 저는 제 직업의 많은 부분을 인공지능에 소비했습니다, 우리릉 위해 이러한 생각을 조금할 수 있는, 우리에게 대답을 줄 수 있는 기계를 설립하려고 시도하면서 말이죠. 그러나 기계들은 할 수 없습니다. 단지 인간의 생각을 택해서 기계에 집어넣을 수는 없어요. 그것을 해야만 하는 사람은 우리입니다. 행복하게도, 우리는 기계가 아니어서 우리는 그것을 할 수 있지요. 우리는 생각할 수 있을 뿐만이 아니라, 우리는 생각해야만 합니다. 하나 아렌드트가 말하길, "슬픈 진실은 이 세상에 치루어진 악의 대부분은 악인이 되기로 선택한 사람들에 의해서 그렇게 된것이 아니다. 악은 생각을 안하는 것으로부터 제기된다." 그것이 그녀가 "악의 진부," 라고 부르는 것입니다. 그리고 그에 대한 반응은 우리가 모든 정신을 제대로 가진 사람에게서 생각의 연습을 요구하는 것입니다.
So let's do that. Let's think. In fact, let's start right now. Every person in this room do this: think of the last time you had a decision to make where you were worried to do the right thing, where you wondered, "What should I be doing?" Bring that to mind, and now reflect on that and say, "How did I come up that decision? What did I do? Did I follow my gut? Did I have somebody vote on it? Or did I punt to legal?" Or now we have a few more choices. "Did I evaluate what would be the highest pleasure like Mill would? Or like Kant, did I use reason to figure out what was intrinsically right?" Think about it. Really bring it to mind. This is important. It is so important we are going to spend 30 seconds of valuable TEDTalk time doing nothing but thinking about this. Are you ready? Go.
그러니 그렇게 하도록 합시다. 생각하도록 합시다. 사실, 지금 그것을 바로 시작합시다. 이 장소에 있는 모든사람이 이렇게 하세요: 여러분이 맨 마직막으로 의사결정을 했어야 할때를 생각하세요 바른일을 하는것에 대해 걱정했던것 "내가 뭘해야만 하나?" 라고 의심쩍어 하던것 그걸 마음속으로 데려오세요. 이제 그걸 회상해서 말하길, "어떻게 내가 그 결정에 도달했지? 내가 뭘 했지? 내가 본능을 따랐나? 그걸 가지고 사람들이 투표를 하게 했나? 또는 내가 법률 전문가에게 펀트를 했나?" 또는 이제 우리는 몇가지 더 많은 선택사항들이 있습니다. "밀이 할것과 같이 가장 최상의 쾌락상태가 되도록 평가했나? 또는 칸트와 같이, 이성을 이용하여 본능적으로 무엇이 옳은지 알아내도록 했나?" 그것에 대해 생각해 보세요. 그것을 정말로 마음속으로 들여오세요. 이것은 중요합니다. 그것은 아주 중요합니다 우리는 귀중한 TEDTalk 시간의 30초를 이것에 관해서만 생각해 보는데 소비할 것입니다. 준비 되셨나요? 하세요.
Stop. Good work. What you just did, that's the first step towards taking responsibility for what we should do with all of our power.
멈추세요. 좋은 작업입니다. 여러분이 방금하신것은, 우리가 가진 권력의 전부를 가지고 우리가 무엇을 해야할 책임감을 취하는 방향으로 가는 첫번째의 단계입니다
Now the next step -- try this. Go find a friend and explain to them how you made that decision. Not right now. Wait till I finish talking. Do it over lunch. And don't just find another technologist friend; find somebody different than you. Find an artist or a writer -- or, heaven forbid, find a philosopher and talk to them. In fact, find somebody from the humanities. Why? Because they think about problems differently than we do as technologists. Just a few days ago, right across the street from here, there was hundreds of people gathered together. It was technologists and humanists at that big BiblioTech Conference. And they gathered together because the technologists wanted to learn what it would be like to think from a humanities perspective. You have someone from Google talking to someone who does comparative literature. You're thinking about the relevance of 17th century French theater -- how does that bear upon venture capital? Well that's interesting. That's a different way of thinking. And when you think in that way, you become more sensitive to the human considerations, which are crucial to making ethical decisions.
자 이제 다음 단계--이걸 시도해 보세요. 친구하나를 찾아서 설명하세요 여러분이 그 결정을 어떻게 내렸는지 말이죠. 지금말구요. 제가 이야기를 끝낼때까지 기다리세요. 점심시간동안 그것을 하세요. 또 다른 테크놀로지스트 친구를 찾지 마시고; 여러분과 다른 어떤 다른 사람을 찾으세요. 예술가나 작가를 찾으세요-- 또는 천국이 금지한, 철학자를 찾아서 그에게 이야기 하세요. 사실, 인문학에서의 사람을 찾으세요. 왜냐구요? 왜냐하면 그들은 문제들에 관해서 우리 테크놀로지스트들이 생각하는 것과는 다르게 생각하기 때문이죠. 단지 몇일전에, 여기서 바로 맞은편 거리에, 수백명의 사람들이 모여있었습니다. 테크놀로지스트들과 인문학자들이 거대한 비블리오 테크 컨퍼런스에서 있었지요. 그들이 함께 모였습니다 왜냐하면 그들은 인문학자적인 관점에서 생각하는것은 어떤지를 배우고 싶어서였기 때문입니다. 구글회사에서 일하는 어떤사람이 비교 문학을 하는 누군가에게 이야기를 합니다. 17세기의 불란서 연극과의 관련성에 대해 이야기 합니다. 그것이 어떻게 벤처 캐피털에 이익을 산출할까요? 글쎄 그게 재미있는것입니다. 그것은 다른 방식의 생각입니다. 여러분이 그런 방식으로 생각할 때, 여러분은 인간 고려점들에 대해 보다 민감하게 되지요. 그건 윤리적인 의사결정을 하는데 필수적인 것입니다.
So imagine that right now you went and you found your musician friend. And you're telling him what we're talking about, about our whole data revolution and all this -- maybe even hum a few bars of our theme music. ♫ Dum ta da da dum dum ta da da dum ♫ Well, your musician friend will stop you and say, "You know, the theme music for your data revolution, that's an opera, that's Wagner. It's based on Norse legend. It's Gods and mythical creatures fighting over magical jewelry." That's interesting. Now it's also a beautiful opera, and we're moved by that opera. We're moved because it's about the battle between good and evil, about right and wrong. And we care about right and wrong. We care what happens in that opera. We care what happens in "Apocalypse Now." And we certainly care what happens with our technologies.
그러니 바로 여기서 상상해 보세요. 여러분이 가서 음악가 친구를 찾았습니다. 우리가 여기서 이야기 하는것에 대해서 그에게 이야기 합니다. 우리의 전체적인 데이터 혁명과 이러한 모든것에 관해서-- 어쩌면 우리 테마 음악의 몇소절을 허밍할 수 도 있죠. ♫ 덤 타 다 다 덤 덤 타 다 다 덤 ♫ 글쎄요, 여러분의 음악가 친구는 여러분에게 멈추어서 말하길, "있잖아, 그 테마 음악은 너의 데이터의 혁명을 위한 거야 저건 오페라야, 저건 바그너야 그건 고대 스칸디나비아의 전설에 근거한 거야. 그건 신들과 신화적인 생명체들이 마력의 보석을 놓고 싸우는것에 관한거야." 그건 흥미롭습니다. 자 그것은 또한 아름다운 오페라입니다. 또 우리는 그 오페라에 의해서 감동을 받죠. 우리는 감동을 받습니다 왜냐하면 그것은 선과 악사이의 전쟁, 옳고 그름에 관한 것이기 때문입니다. 우리는 옳고 그름에 대해 우려합니다. 우리는 그 오페라에서 무슨 일이 일어나는지 우려합니다. 우리는 "아포칼립소 나우"에서 무슨일이 일어나는지 염려합니다. 또 우리는 확실히 염려합니다. 우리의 테크놀로지에 무슨일이 일어나느지를.
We have so much power today, it is up to us to figure out what to do, and that's the good news. We're the ones writing this opera. This is our movie. We figure out what will happen with this technology. We determine how this will all end.
우리는 오늘날 대단히 많은 권력을 가지고 있습니다, 그것을 가지고 무엇을 할지 그것은 우리에게 달려있습니다. 그것은 좋은 뉴스입니다. 우리가 이 오페라를 쓰는 사람들입니다. 이것은 우리의 영화입니다. 우리는 이 테크놀로지에 무슨일이 일어날지 알아냅니다. 이것이 어떻게 종결이 될지는 우리가 결정합니다.
Thank you.
감사합니다.
(Applause)
(박수)