Power. That is the word that comes to mind. We're the new technologists. We have a lot of data, so we have a lot of power. How much power do we have? Scene from a movie: "Apocalypse Now" -- great movie. We've got to get our hero, Captain Willard, to the mouth of the Nung River so he can go pursue Colonel Kurtz. The way we're going to do this is fly him in and drop him off. So the scene: the sky is filled with this fleet of helicopters carrying him in. And there's this loud, thrilling music in the background, this wild music. ♫ Dum da ta da dum ♫ ♫ Dum da ta da dum ♫ ♫ Da ta da da ♫ That's a lot of power. That's the kind of power I feel in this room. That's the kind of power we have because of all of the data that we have.
Власть. Вот слово, которое приходит на ум. Мы — адепты новых технологий. У нас много данных, поэтому у нас огромная власть. Сколько власти в нашем распоряжении? Сцена из фильма: «Апокалипсис сегодня» — отличное кино. Нам нужно доставить нашего героя, капитана Уилларда, к устью реки Нунг, чтобы он смог преследовать полковника Курца. Мы доставим его на самолёте и высадим его там. Итак, сцена: небо заполнено эскадрильей вертолётов, несущей его к месту. Громкая, захватывающая музыка на заднем фоне, мощная музыка. ♫ Там-та-та-та-там ♫ ♫ Там-та-та-та-там ♫ ♫ Та-та-та-та ♫ Очень мощно. Эта та мощь, которую я ощущаю в этой комнате. Это та власть, которая у нас есть из-за всей доступной нам информации.
Let's take an example. What can we do with just one person's data? What can we do with that guy's data? I can look at your financial records. I can tell if you pay your bills on time. I know if you're good to give a loan to. I can look at your medical records; I can see if your pump is still pumping -- see if you're good to offer insurance to. I can look at your clicking patterns. When you come to my website, I actually know what you're going to do already because I've seen you visit millions of websites before. And I'm sorry to tell you, you're like a poker player, you have a tell. I can tell with data analysis what you're going to do before you even do it. I know what you like. I know who you are, and that's even before I look at your mail or your phone.
Рассмотрим пример. Что мы можем сделать с информацией об одном человеке? Что мы можем сделать с информацией об этом парне? Я могу посмотреть на ваши финансовые записи. Я могу сказать, оплачиваете ли вы счета вовремя. Я знаю, хороший ли вы заёмщик. Я могу посмотреть на ваши медицинские записи, я могу посмотреть, в каком состоянии ваше сердце — чтобы решить, стоит ли предлагать вам страховку. Я могу посмотреть на следы кликов вашей мышки. Когда вы заходите на мой вебсайт, я уже знаю, что вы собрались делать, потому что я видел, как вы посещали предыдущий миллион вебсайтов. И с прискорбием сообщаю вам, что вы как игрок в покер — вас видно насквозь. Проанализировав данные, я могу сказать, что вы будете делать, прежде, чем вы это сделаете. Я знаю, что вам нравится. Я знаю, кто вы. И всё это даже раньше, чем я увижу вашу почту или телефон.
Those are the kinds of things we can do with the data that we have. But I'm not actually here to talk about what we can do. I'm here to talk about what we should do. What's the right thing to do?
Вот такие штуки мы можем делать с теми данными, которые у нас есть. Но я здесь не для того, чтобы говорить, что мы можем сделать. Я здесь, чтобы поговорить о том, что мы должны делать. Как поступать правильно?
Now I see some puzzled looks like, "Why are you asking us what's the right thing to do? We're just building this stuff. Somebody else is using it." Fair enough. But it brings me back. I think about World War II -- some of our great technologists then, some of our great physicists, studying nuclear fission and fusion -- just nuclear stuff. We gather together these physicists in Los Alamos to see what they'll build. We want the people building the technology thinking about what we should be doing with the technology.
Теперь я вижу вопросительные взгляды: «Почему вы нас спрашиваете, как поступать правильно? Мы всего-то конструируем все эти штуки. Используются-то они кем-то другим». В принципе, правильно. Но это напоминает мне прошлое. Я думаю о Второй Мировой Войне — о некоторых из наших великих изобретателей, некоторых из наших великих физиков, изучавших ядерный распад и синтез — просто всякие ядерные штуки. Мы собрали всех этих физиков в Лос-Аламосе, чтобы посмотреть, что же они создадут. Мы хотим, чтобы люди, создающие технологию, думали о том, как мы должны обращаться с технологией.
So what should we be doing with that guy's data? Should we be collecting it, gathering it, so we can make his online experience better? So we can make money? So we can protect ourselves if he was up to no good? Or should we respect his privacy, protect his dignity and leave him alone? Which one is it? How should we figure it out?
Как же нам быть с информацией об этом парне? Должны ли мы её накапливать, собирать, чтобы обслуживать его онлайн ещё лучше? Чтобы заработать денег? Чтобы защитить себя, если добра от него ждать не приходится? Или же мы должны уважать его личную жизнь, защищать достоинство и оставить его в покое? Что выбрать? Как в этом разобраться?
I know: crowdsource. Let's crowdsource this. So to get people warmed up, let's start with an easy question -- something I'm sure everybody here has an opinion about: iPhone versus Android. Let's do a show of hands -- iPhone. Uh huh. Android. You'd think with a bunch of smart people we wouldn't be such suckers just for the pretty phones. (Laughter) Next question, a little bit harder. Should we be collecting all of that guy's data to make his experiences better and to protect ourselves in case he's up to no good? Or should we leave him alone? Collect his data. Leave him alone. You're safe. It's fine. (Laughter) Okay, last question -- harder question -- when trying to evaluate what we should do in this case, should we use a Kantian deontological moral framework, or should we use a Millian consequentialist one? Kant. Mill. Not as many votes. (Laughter) Yeah, that's a terrifying result. Terrifying, because we have stronger opinions about our hand-held devices than about the moral framework we should use to guide our decisions.
Я знаю: коллективное решение. Давай решим это коллективно. Чтобы люди разогрелись, начнём с простого вопроса — что-нибудь такое, насчёт чего у каждого есть мнение: iPhone против Android. Поднимите руки — iPhone. О-о-го. Android. Кто бы подумал, что с таким количеством умных людей мы будем так падки на красивые телефоны. (Смех) Следующий вопрос, чуть посложнее. Должны ли мы накапливать всю информацию об этом парне, чтобы лучше его обслуживать и защищать себя, когда он задумал что-то плохое? Или же мы должны оставить его в покое? Собирать информацию. Оставить в покое. Вы в безопасности. Всё нормально. (Смех) Хорошо, последний вопрос — вопрос посложнее — при оценке, что мы должны делать в этом случае, должны ли мы использовать деонтологическую мораль Канта, или же консеквенциальную Милля? Кант. Милль. Не так уж много голосов. (Смех) Да уж, устрашающий результат. Устрашающий, потому что у нас более определённое мнение о наших мобильных устройствах, нежели о моральных принципах, которые должны определять наши решения.
How do we know what to do with all the power we have if we don't have a moral framework? We know more about mobile operating systems, but what we really need is a moral operating system. What's a moral operating system? We all know right and wrong, right? You feel good when you do something right, you feel bad when you do something wrong. Our parents teach us that: praise with the good, scold with the bad. But how do we figure out what's right and wrong? And from day to day, we have the techniques that we use. Maybe we just follow our gut. Maybe we take a vote -- we crowdsource. Or maybe we punt -- ask the legal department, see what they say. In other words, it's kind of random, kind of ad hoc, how we figure out what we should do. And maybe, if we want to be on surer footing, what we really want is a moral framework that will help guide us there, that will tell us what kinds of things are right and wrong in the first place, and how would we know in a given situation what to do.
Как узнать, что же делать со всей данной нам властью, если у нас нет моральных принципов? Мы знаем больше о мобильных операционных системах, но что нам нужно на самом деле — это «операционная система морали». Чем же является «операционная система морали»? Мы все отличаем правильное от неправильного. Вам хорошо, когда вы поступаете правильно, и плохо, когда вы поступаете неправильно. Наши родители этому нас научили: возноси добро, поноси зло. Но как узнать, что правильно, а что неправильно? У нас есть разные приёмы, которые мы используем изо дня в день. Может быть просто по наитию. Может быть голосованием — решаем коллективно. Или, может, мы сдаёмся — спрашиваем юристов, что они скажут. Другими словами, мы случайно, спонтанно, решаем, что же мы должны делать. Может быть, если мы хотим подвести под это солидную основу, что нам нужно на самом деле, это моральные принципы, которые нас направят, которые в первую очередь укажут, что правильно и неправильно, и как узнать, что делать в данной ситуации.
So let's get a moral framework. We're numbers people, living by numbers. How can we use numbers as the basis for a moral framework? I know a guy who did exactly that. A brilliant guy -- he's been dead 2,500 years. Plato, that's right. Remember him -- old philosopher? You were sleeping during that class. And Plato, he had a lot of the same concerns that we did. He was worried about right and wrong. He wanted to know what is just. But he was worried that all we seem to be doing is trading opinions about this. He says something's just. She says something else is just. It's kind of convincing when he talks and when she talks too. I'm just going back and forth; I'm not getting anywhere. I don't want opinions; I want knowledge. I want to know the truth about justice -- like we have truths in math. In math, we know the objective facts. Take a number, any number -- two. Favorite number. I love that number. There are truths about two. If you've got two of something, you add two more, you get four. That's true no matter what thing you're talking about. It's an objective truth about the form of two, the abstract form. When you have two of anything -- two eyes, two ears, two noses, just two protrusions -- those all partake of the form of two. They all participate in the truths that two has. They all have two-ness in them. And therefore, it's not a matter of opinion.
Давайте создадим моральные принципы. Мы же люди точного склада ума, мы живём цифрами. Как мы можем использовать цифры в качестве основы моральных принципов? Я знаю парня, который именно это и сделал, Выдающийся человек — 2,5 тысячи лет как мёртв. Да, верно, это Платон. Помните — древний философ? Вы проспали тот урок. Платона волновали те же вопросы, что и нас. Его волновали вопросы правильного и неправильного. Он хотел знать, что справедливо. Его волновало, что практически всё, чем мы занимаемся, это всего лишь обмен мнениями. Он говорит, что справедливо это. Она говорит, что справедливо что-то другое. Он говорит довольно убедительно и она тоже. И вот мы ходим взад-вперёд, безрезультатно. Мне не нужны мнения, я хочу знания. Я хочу знать истину о справедливости — так же как есть истина в математике. В математике, мы знаем объективные факты. Возьмите число, любое число — два. Любимое число. Я люблю это число. Есть истины о числе два. Если у вас есть два чего-то, вы добавляете ещё два, вы получите четыре. Это истинно вне зависимости от того, о чём идёт речь. Это объективная истина о форме двух, абстрактной форме. Когда у вас есть два чего угодно — два глаза, два уха, носа, всего лишь два выступа — они все разделяют форму двух. Все истины о двух верны и о них тоже. У них у всех есть двушность. Поэтому это уже не спорный вопрос.
What if, Plato thought, ethics was like math? What if there were a pure form of justice? What if there are truths about justice, and you could just look around in this world and see which things participated, partook of that form of justice? Then you would know what was really just and what wasn't. It wouldn't be a matter of just opinion or just appearances. That's a stunning vision. I mean, think about that. How grand. How ambitious. That's as ambitious as we are. He wants to solve ethics. He wants objective truths. If you think that way, you have a Platonist moral framework.
Платон думал, что если бы этика была как математика? Что если была бы абстрактная форма справедливости? Что если были бы истины о справедливости, и можно было бы посмотреть вокруг и увидеть, к каким вещам относится, применима эта форма справедливости? Тогда бы вы точно знали, что действительно справедливо, а что нет. Это не было бы спорным вопросом или внешним признаком. Это ошеломляющее видение. Я настаиваю, подумайте об этом. Как грандиозно. Как амбициозно. Это так же амбициозно, как и мы с вами. Он хочет решить этику. Он хочет объективных истин. Если вы думаете таким образом — у вас Платоновские моральные принципы.
If you don't think that way, well, you have a lot of company in the history of Western philosophy, because the tidy idea, you know, people criticized it. Aristotle, in particular, he was not amused. He thought it was impractical. Aristotle said, "We should seek only so much precision in each subject as that subject allows." Aristotle thought ethics wasn't a lot like math. He thought ethics was a matter of making decisions in the here-and-now using our best judgment to find the right path. If you think that, Plato's not your guy. But don't give up. Maybe there's another way that we can use numbers as the basis of our moral framework.
Если вы думаете иначе — что ж, у вас много единомышленников в истории западной философии, потому что эта аккуратная идея подвергалась критике. Аристотелю, в частности, она не очень нравилась. Он полагал, что она непрактична. Аристотель утверждал: «Мы должны формализовать предмет настолько, насколько предмет позволяет». Аристотель думал, что этика не так уж похожа на математику. Он полагал, что этика — это просто принятие решений в текущий момент из лучших побуждений, чтобы найти правильный путь. Если вы так думаете, то вам с Платоном не по пути. Но не отчаивайтесь. Может, есть другой путь, позволяющий использовать числа, как основу наших моральных принципов.
How about this: What if in any situation you could just calculate, look at the choices, measure out which one's better and know what to do? That sound familiar? That's a utilitarian moral framework. John Stuart Mill was a great advocate of this -- nice guy besides -- and only been dead 200 years. So basis of utilitarianism -- I'm sure you're familiar at least. The three people who voted for Mill before are familiar with this. But here's the way it works. What if morals, what if what makes something moral is just a matter of if it maximizes pleasure and minimizes pain? It does something intrinsic to the act. It's not like its relation to some abstract form. It's just a matter of the consequences. You just look at the consequences and see if, overall, it's for the good or for the worse. That would be simple. Then we know what to do.
Как насчёт этого: Что если бы в любой ситуации можно было бы посчитать, посмотреть на варианты, измерить, какой из них наилучший и решить соответственно? Знакомо? Это утилитарные моральные принципы. Джон Стюарт Милль был их большим приверженцем — между прочим, классный парень — и всего-то 200 лет как мёртв. Итак, основы утилитаризма — я уверен, вы с ними как минимум знакомы. Те три человека, что проголосовали за Милля, с этим знакомы. И всё же, вот как это работает. Что если мораль, что если то, что определяет моральность, всего лишь дело того, максимизирует ли это удовольствие и минимизирует ли страдания? Это что-то, присущее самому действию. Это не его отношение к какой-то абстрактной форме. Это всего лишь вопрос последствий. Вы смотрите на последствия и видите, в общем и целом, это к лучшему, или к худшему. Это было бы просто. И затем мы бы знали, что делать.
Let's take an example. Suppose I go up and I say, "I'm going to take your phone." Not just because it rang earlier, but I'm going to take it because I made a little calculation. I thought, that guy looks suspicious. And what if he's been sending little messages to Bin Laden's hideout -- or whoever took over after Bin Laden -- and he's actually like a terrorist, a sleeper cell. I'm going to find that out, and when I find that out, I'm going to prevent a huge amount of damage that he could cause. That has a very high utility to prevent that damage. And compared to the little pain that it's going to cause -- because it's going to be embarrassing when I'm looking on his phone and seeing that he has a Farmville problem and that whole bit -- that's overwhelmed by the value of looking at the phone. If you feel that way, that's a utilitarian choice.
Рассмотрим пример. Предположим, я бы подошёл и сказал: «Я заберу ваш телефон». Не только потому, что он звонил ранее, а прежде всего потому, что я немного просчитал. Я подумал: «Так, этот парень выглядит подозрительно. Что если он пишет краткие доносы в укрытие бен Ладена — ну или кто там теперь вместо бен Ладена — и на самом деле он террорист, засланный казачок. Я это проверю, и когда я найду подтверждение, я предотвращу огромный ущерб, который он может причинить. Очень полезно предотвратить такой ущерб. И в сравнении с небольшим неудобством, которое это причинит — потому что это будет очень неловко, когда я досмотрю его телефон и замечу, что у него зависимость от FarmVille, и, в общем, всё это — перевешивается ценностью досмотра его телефона». Если вы думаете так же, то это утилитарный выбор.
But maybe you don't feel that way either. Maybe you think, it's his phone. It's wrong to take his phone because he's a person and he has rights and he has dignity, and we can't just interfere with that. He has autonomy. It doesn't matter what the calculations are. There are things that are intrinsically wrong -- like lying is wrong, like torturing innocent children is wrong. Kant was very good on this point, and he said it a little better than I'll say it. He said we should use our reason to figure out the rules by which we should guide our conduct, and then it is our duty to follow those rules. It's not a matter of calculation.
Но может вы и с этим не согласны. Может, вы думаете; «Это же его телефон. Это неправильно отбирать телефон, потому что он личность, у него есть права и у него есть достоинство, и мы не можем просто так в это вмешиваться. У него есть независимость. Не имеет значения, что мы просчитали. Есть вещи, которые в принципе неправильны — например, врать плохо, пытать невинных детей плохо». Кант отлично справился с этой темой, и он высказался лучше, чем я. Он сказал, что мы должны использовать здравый смысл, чтобы определить правила, которые должны управлять нашим поведением. А затем, это наша обязанность — следовать этим правилам. Это не вопрос вычислений.
So let's stop. We're right in the thick of it, this philosophical thicket. And this goes on for thousands of years, because these are hard questions, and I've only got 15 minutes. So let's cut to the chase. How should we be making our decisions? Is it Plato, is it Aristotle, is it Kant, is it Mill? What should we be doing? What's the answer? What's the formula that we can use in any situation to determine what we should do, whether we should use that guy's data or not? What's the formula? There's not a formula. There's not a simple answer.
Давай остановимся. Мы прямо в самой гуще всего этого, этих философских дебрей. И вот так продолжается тысячи лет, потому что это сложные вопросы, а у меня всего 15 минут. Сократим погоню. Как мы должны принимать решения? Согласно Платону, Аристотелю, Канту, Миллю? Что мы должны делать? Каков ответ? Какова формула, которую мы могли бы использовать в любой ситуации, чтобы определить, что мы должны делать, должны ли мы использовать информацию об этом парне или нет? Какова формула? Нет такой формулы. Нет простого ответа.
Ethics is hard. Ethics requires thinking. And that's uncomfortable. I know; I spent a lot of my career in artificial intelligence, trying to build machines that could do some of this thinking for us, that could give us answers. But they can't. You can't just take human thinking and put it into a machine. We're the ones who have to do it. Happily, we're not machines, and we can do it. Not only can we think, we must. Hannah Arendt said, "The sad truth is that most evil done in this world is not done by people who choose to be evil. It arises from not thinking." That's what she called the "banality of evil." And the response to that is that we demand the exercise of thinking from every sane person.
Этика сложна. Этика требует размышлений. И это неудобно. Я знаю, я потратил приличную часть моей карьеры в области искусственного интеллекта, пытаясь построить машины, которые бы что-то думали за нас, которые бы могли дать ответы. Но они не могут. Невозможно взять человеческое мышление и поместить в машину. Мы сами должны это делать. К счастью, мы не машины, мы можем это делать. Мы не только можем думать, мы должны. Ханна Арендт говорила, — «Горькая правда в том, что большая часть зла, совершаемого в мире, не делается людьми, которые выбрали путь зла. Оно совершается из-за недумания». Это то, что она назвала «банальностью зла». Ответом на это будет требование к каждому здравому человеку применять мышление.
So let's do that. Let's think. In fact, let's start right now. Every person in this room do this: think of the last time you had a decision to make where you were worried to do the right thing, where you wondered, "What should I be doing?" Bring that to mind, and now reflect on that and say, "How did I come up that decision? What did I do? Did I follow my gut? Did I have somebody vote on it? Or did I punt to legal?" Or now we have a few more choices. "Did I evaluate what would be the highest pleasure like Mill would? Or like Kant, did I use reason to figure out what was intrinsically right?" Think about it. Really bring it to mind. This is important. It is so important we are going to spend 30 seconds of valuable TEDTalk time doing nothing but thinking about this. Are you ready? Go.
Давайте сделаем это. Давайте думать. Надо сказать, давайте начнём прямо сейчас. Пусть каждый человек в этой комнате сделает вот так: подумайте, когда в последний раз вы принимали решение, которое заставило задуматься, правильно ли вы поступаете, где вы думали: «Как я должен поступить?». Вспомните об этом. Теперь поразмышляйте об этом и спросите себя: «Как я пришёл к тому решению? Что я сделал? Последовал интуиции? Попросил кого-то проголосовать? Спросил юриста?» Теперь у нас более широкий выбор. «Рассмотрел ли я, что принесёт наибольшее удовольствие, как сделал бы Милль? Или как Кант, я использовал разум, чтобы понять, что было в сущности правильным?» Подумайте об этом. Подумайте над этим хорошенько. Это важно. Это настолько важно, что мы потратим 30 секунд ценного времени выступления исключительно на обдумывание этого. Готовы? Начали.
Stop. Good work. What you just did, that's the first step towards taking responsibility for what we should do with all of our power.
Хватит. Отлично поработали. Только что сделанное вами было первым шагом навстречу к ответственности за то, что мы должны делать с данной нам властью.
Now the next step -- try this. Go find a friend and explain to them how you made that decision. Not right now. Wait till I finish talking. Do it over lunch. And don't just find another technologist friend; find somebody different than you. Find an artist or a writer -- or, heaven forbid, find a philosopher and talk to them. In fact, find somebody from the humanities. Why? Because they think about problems differently than we do as technologists. Just a few days ago, right across the street from here, there was hundreds of people gathered together. It was technologists and humanists at that big BiblioTech Conference. And they gathered together because the technologists wanted to learn what it would be like to think from a humanities perspective. You have someone from Google talking to someone who does comparative literature. You're thinking about the relevance of 17th century French theater -- how does that bear upon venture capital? Well that's interesting. That's a different way of thinking. And when you think in that way, you become more sensitive to the human considerations, which are crucial to making ethical decisions.
Теперь следующий шаг — попробуйте вот это. Найдите друга и объясните ему, как вы пришли к этому решению. Нет, не прямо сейчас. Подождите, пока я закончу выступать. Займитесь этим за обедом. И не надо бросаться на очередного друга-технаря, найдите кого-нибудь отличного то вас. Найдите артиста или писателя, или, боже упаси, найдите философа и поговорите с ним. В самом деле, найдите гуманитария. Почему? Потому что они рассуждают о проблемах иначе, чем мы, технари. Несколько дней назад, прямо через дорогу было большое собрание людей. Это были технари и гуманитарии, на той большой конференции BiblioTech. Они собрались вместе, потому что технари хотели узнать, что значит думать как гуманитарии. Возьмите кого-нибудь из Google, и заставьте поговорить с кем-то, кто занимается сравнительным литературоведением. Вы думали о значимости французского театра 17-го века — а как это отражается на рисковом капитале? Вот это интересно. Вот это другой способ мышления. Когда вы думаете таким образом, вы более чутки к нуждам человека, что критично для принятия этичных решений.
So imagine that right now you went and you found your musician friend. And you're telling him what we're talking about, about our whole data revolution and all this -- maybe even hum a few bars of our theme music. ♫ Dum ta da da dum dum ta da da dum ♫ Well, your musician friend will stop you and say, "You know, the theme music for your data revolution, that's an opera, that's Wagner. It's based on Norse legend. It's Gods and mythical creatures fighting over magical jewelry." That's interesting. Now it's also a beautiful opera, and we're moved by that opera. We're moved because it's about the battle between good and evil, about right and wrong. And we care about right and wrong. We care what happens in that opera. We care what happens in "Apocalypse Now." And we certainly care what happens with our technologies.
Представьте, что прямо сейчас мы пошли и нашли вашего друга-музыканта. И вы ему рассказываете то, о чем мы говорим, о всей этой информационной революции и всё такое — может даже напели пару ноток нашего музыкального сопровождения. ♫ Там-та-та-та-там там-та-та-та-там ♫ Знаете, ваш друг-музыкант вас остановит и скажет: «Знаешь, музыкальное сопровождение, для этой вашей информационной революции, это опера, это Вагнер. Она основана на германо-скандинавской мифологии. Это боги и мистические создания сражаются за волшебные драгоценности». Вот это интересно. Теперь это ещё и о красивой опере. И мы тронуты этой оперой. Мы тронуты, потому что она о сражении между добром и злом, между правильным и неправильным. И нам важно, что правильно и неправильно. Нам важно, что случится в той опере. Нам важно, что случится в «Апокалипсис сегодня». И уж точно нам важно, что случится с нашими технологиями.
We have so much power today, it is up to us to figure out what to do, and that's the good news. We're the ones writing this opera. This is our movie. We figure out what will happen with this technology. We determine how this will all end.
Сегодня у нас столько власти, что это мы должны разобраться, что делать. И это хорошая новость. Мы — композиторы этой оперы. Это наше кино. Мы придумываем, что случится с этой технологией. Мы определяем, чем всё это закончится.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)