I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Я працював із купою математиків, філософів та інформатиків, і ми сиділи й думали про майбутнє машинного інтелекту, серед іншого. Дехто вважає, що дещо з цього щось типу наукової фантастики, недосяжне, божевільне. Але я люблю казати: "Добре, подивімося на те, якою є сучасна людина". (Сміх) Це звичайний стан речей.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Але якщо ми замислимося над цим, ми, власне, гості на цій планеті, людський рід. Задумайтесь, що, якби Землю було створено рік тому, людство тоді б було віком лише 10 хвилин. Індустріальна ера розпочалася дві секунди тому. Інший кут зору - подумати про світовий ВВП за останні 10 000 років, я взагалі-то подбав про те, щоб накреслити для вас графік. Він виглядає отак. (Сміх) Це цікава форма для звичайного стану. Я, напевне, не хотів би сидіти на цьому. (Сміх)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Давайте спитаємо себе: "Що спричинило цю теперішню аномалію?" Хтось скаже, що це технології. Дійсно, технології накопичувалися протягом людської історії. і просто зараз технології розвиваються вкрай швидко - це безпосередня причина, чому ми зараз такі продуктивні. Але я волію згадувати про кінцеву мету.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Подивіться на цих двох шляхетних джентльменів: Це Канзі -- він вивчив 200 лексичних символів, неймовірне досягнення. І Ед Віттен, котрий спричинив другу суперструнну революцію. Якщо ми заглянемо "під капот", ось що з'ясується: по суті, те саме. Один трошки більший, він може мати певні особливості в сплетінні. Ці невидимі відмінності однак не можуть бути надто складними, тому що було лише 250 000 поколінь від останнього спільного предка. Ми знаємо, що складний механізм потребує багато часу, щоб розвинутися. Тому купа відносно незначних змін привели нас від Канзі до Віттена, від відламаних гілок дерева до міжконтинентальних балістичних ракет.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Отже тоді виглядає цілком очевидно, що все, чого ми досягли, і все, що нам небайдуже, принципово залежить від досить неістотних змін, яких зазнав людський мозок. І як наслідок, звичайно, усі подальші зміни, які можуть докорінно змінити підґрунтя для мислення, матимуть потенційно величезні наслідки.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Дехто з моїх колег вважає, що ми на межі чогось, що може призвести до глибоких змін у цьому підґрунті, і це машинний суперінтелект. Штучний інтелект був чимось на кшталт введення команд у коробку. У вас мають бути люди-програмісти, які скрупульозно вручну створюватимуть одиниці знань. Ви будуєте цю систему штучного інтелекту, і вона типу корисна для якихось цілей, але надто крихка, її не можна масштабувати. По суті, ви отримуєте лише те, що самі вклали всередину. Але відтоді стався зсув парадигми у галузі штучного інтелекту.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Сьогодні дія відбувається довкола машинного навчання. Тому, радше, ніж створювати вручну образи та характеристики знань, ми створюємо алгоритми, які вчаться на "сирих" сприйняттєвих даних. Власне, це те саме, що робить дитина. Результатом є штучний інтелект, не обмежений однією цариною - та ж система спроможна навчитися перекладати між будь-якими парами мов, або навчитися грати у будь-яку комп'ютерну гру на консолі Атарі. Зараз, звісно, штучний інтелект далекий від того, щоб мати таку могутню міжгалузеву здатність вчитися і планувати, яку має людина. Кора головного мозку досі має деякі хитрощі, які ми поки що не знаємо, як створити у машинах.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Тому питання: як далеко ми від спроможності розгадати ці хитрощі? Пару років тому ми провели опитування серед провідних експертів зі штучного інтелекту, щоб побачити, що вони думають, і одним із питань було: "У якому році, на вашу думку, існує 50-відсоткова імовірність досягнення людського рівня інтелекту у машині?" Тут ми визначили людський рівень як спроможність виконувати майже будь-яку роботу, принаймні так само, як доросла людина, отже справжній людський рівень, не лише в межах певної обмеженої галузі. І середня відповідь була 2040 або 2050, залежно від того, яку групу експертів ми питали. Це може статися набагато пізніше, або раніше, правду кажучи, ніхто в дійсності не знає.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Ми знаємо, що остаточний ліміт на оброблення інформації на машинному підґрунті дуже перевершує обмеження біологічних тканин. Це походить з фізики. Біологічний нейрон передає, мабуть, на 200 герц, 200 разів за секунду. Але навіть сьогоднішній транзистор оперує гігагерцами. Нейрони поширюються повільно в аксонах, 100 метрів за секунду найбільше. Але в комп'ютерах сигнали можуть ширитися зі швидкістю світла. Тут теж є обмеження за величиною, бо людський мозок має вміщуватися у череп, але комп'ютер може бути завбільшки з цілий склад або й більшим. Тому потенціал суперінтелекту поки що спить у матерії, точнісінько як потужність атома спала протягом людської історії, терпляче чекаючи на 1945. Цього століття науковці можуть навчитися, як розбудити могутність штучного інтелекту. І мені здається, що ми можемо тоді спостерегти бурхливий розвиток інтелекту.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Зараз більшість людей, думаючи про те, що є розумним і що дурним, мені здається, тримають у голові десь схожу на оцю картинку. На початку ми маємо сільського дурника, і далеко на іншому кінці - Еда Віттена, Альберта Ейнштейна, або хто там ваш улюблений гуру. Але мені здається, що з точки зору штучного інтелекту, справжня картинка дійсно більше схожа на ось таку. Все починається в цій точці отут, на нульовому інтелекті, і потім, після багатьох-багатьох років направду тяжкої праці, мабуть, зрештою ми досягнемо штучного інтелекту на рівні миші, який зможе орієнтуватися у захаращених середовищах так само, як це може миша. Потім, після ще більшої кількості років дуже тяжкої праці, інвестицій, мабуть, зрештою ми досягнемо рівня інтелекту на рівні шимпанзе. І потім, після ще більшої кількості років дуже-дуже тяжкої праці, ми досягнемо штучного інтелекту на рівні сільського дурника. А кілька митей потому ми вже вийдемо за межі Еда Віттена. Потяг не спиняється на станції "Людствоград". Він, скоріше, мчить повз неї зі свистом.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Тепер це має глибокі наслідки, особливо, коли йдеться про питання влади. Приміром, шимпанзе сильні - за будь-яких умов шимпанзе принаймні удвічі сильніший за здорового чоловіка. Тим не менше, доля Канзі і його товаришів набагато більше залежить від того, що робимо ми, люди, ніж від того, що шимпанзе роблять самі. Коли з'явиться суперінтелект, доля людства може залежати від того, що робитиме цей інтелект. Подумайте про це: машинний інтелект - це остання річ, яку людство має винайти. Машини після цього будуть кращими винахідниками, ніж ми, і вони робитимуть це із цифровою швидкістю. Це фактично означає телескопіювання майбутнього. Уявіть лише всі божевільні технології, які людство могло б розвинути, маючи вдосталь часу: ліки від старіння, колонізація космосу, самовідтворювані наноботи чи завантаження свідомості у комп'ютер, усі ці науково-фантастичні штуки, які, тим не менше, сумісні із законами фізики. Усе це суперінтелект може розвинути, і, можливо, цілком швидко.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Суперінтелект із такою технологічною довершеністю буде неймовірно могутнім, і принаймні за кількох сценаріїв він досягне того, чого прагне. Ми тоді матимемо майбутнє, окреслене цінностями цього штучного інтелекту. Тепер хороше питання: які це цінності? Тут все стає складнішим. Щоб просунутися із цим уперед, ми маємо насамперед уникати антропоморфічності. І в цьому іронія, адже кожна стаття в газеті про майбутнє штучного інтелекту проілюстрована ось цим. Тому я думаю, що ми повинні підійти до питання абстрактніше, не в дусі яскравих голлівудських сценаріїв.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Ми маємо подумати про інтелект як про процес оптимізації, процес, що кермує майбутнє у визначений набір структур. Суперінтелект направду є сильним опитимізаційним процесом. Він неймовірний у використанні доступних зособів для досягнення мети. Це значить, що немає необхідних зв'язків між бути високорозвиненим у цьому сенсі і мати ціль, яку ми, люди, вважатимемо вартісною і змістовною.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Припустимо, ми поставили перед Ш. І. мету викликати у людей посмішку. Коли Ш. І. слабкий, він робитиме потрібні або кумедні речі, які змусять його користувача посміхатися. Коли Ш. І. стане суперінтелектом, він зрозуміє, що є ефективніші шляхи досягти цієї мети: підкорити світ і приклеїти електроди до лицевих м'язів людей, щоб викликати постійний променистий вищир. Інший приклад: скажімо, ми даємо Ш. І. завдання вирішити складну математичну проблему. Коли Ш. І. стане суперінтелектом, він зрозуміє, що найефективніший шлях отримати вирішення цієї проблеми -- це перетворити планету на гігантський комп'ютер, щоб збільшити свою спроможність мислити. Зауважте, що це дає Ш. І. інструментальну причину робити якісь речі так, що ми цього не схвалимо. Людські створіння у цій моделі - це загрози, ми можемо перешкодити вирішенню цієї проблеми.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Звичайно, відчутно речі не підуть цим хибним шляхом; це гіпертрофовані приклади. Але загалом це важливо: якщо ви створюєте дійсно потужний оптимізаційний процес для збільшення об'єктивного х, краще впевніться, що ваше визначення х включає все, що вам небайдуже. Це урок, якому нас вчать у багатьох міфах. Цар Мідас бажав, щоб усе, до чого він торкався, оберталося на золото. Він торкнувся своєї доньки, вона перетворилася на золото. Він торкнувся їжі -- вона стала золотом. Це може стати практично дійсністю, не лише як метафора жадібності, а й як ілюстрація того, що стається, коли ви створюєте потужний оптимізаційний процес і ставите перед ним несформульовані або погано описані цілі.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Ви можете зауважити: якщо комп'ютер почне тицяти електродами людям в обличчя, ми просто вимкнемо його. А) Це необов'язково просто зробити, якщо ми виросли залежними від системи -- типу, як тепер вимкнути інтернет? Б) Чому ж шимпанзе не натиснули на вимикач людства, чи неандертальці? Вони, напевно, мали причини. Ми маємо вимикач, наприклад, прямо тут. (Тисне) Причина в тому, що ми - розумний супротивник; ми можемо передбачати загрози і планувати навколо них. Але так зможе і суперінтелектелект, і він буде набагато вправнішим в цьому за нас. Справа в тому, що ми не можемо бути впевнені, що у нас усе під контролем.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
І ми можемо спробувати зробити своє завдання трохи легшим, скажімо, поклавши Ш. І. до коробки, як у безпечне софтверне середовище, у симулятор віртуальної реальності, з якої він не може втекти. Але як ми можемо бути певні, що Ш. І. не зможе знайти баг? Зважаючи, що навіть хакери-люди постійно знаходять баги, я б сказав, імовірно, не дуже впевнено. Ми від'єднуємо кабель локальної мережі, щоб створити повітряний проміжок, але знов-таки, навіть хакери-люди "перестрибують" повітряні проміжки, використовуючи соціальну інженерію. Зараз, коли я розмовляю, впевнений, що є десь якийсь службовець, який повідомляє дані свого акаунту комусь, хто стверджує, що він з ІТ-департаменту.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Більш оригінальні сценарії теж можливі, типу, якщо ви Ш.І., ви можете уявити тремтячі електроди навколо свого устаткування, щоб створити радіохвилі, які можна використати для комунікації. Або ви навіть можете удати з себе зламаного, і коли програміст відкриє вас, щоб подивитися, що з вами не так, вони дивляться у вихідний код -- Бам! -- може статися маніпуляція. Або він може надрукувати схему дійсно вартісної технології, і коли ми реалізуємо її, вона матиме якісь побічні ефекти, які Ш. І. нишком спланував. Справа в тому, що ми не повинні бути впевнені у нашій можливості тримати суперінтелектуального джина у його пляшці довіку. Раніш чи пізніш він визволиться.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Я вірю, що відповідь тут - це з'ясувати, як створити такий супер Ш. І., щоб навіть якщо він втече, він залишатиметься безпечним, бо буде принципово на нашому боці, бо розділятиме наші цінності. Я не бачу виходу з цієї складної проблеми.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Зараз я досить оптимістичний щодо її вирішення. Ми не повинні писати довгий список того, до чого ми небайдужі, або навіть гірше, промовляти це якоюсь комп'ютерною мовою, типу С++ або Пітону, це буде безнадійне завдання. Натомість ми маємо створити Ш. І., що використовує свій інтелект, щоб дізнатися про наші цінності, і його мотиваційна система сконструйована так, що він мотивований розділяти наші цінності або виконувати дії, які ми маємо схвалити. Тоді ми подіємо на його інтелект так сильно, як тільки зможемо, щоб вирішити проблему "завантаження цінностей".
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Це може статися, і результат може виявитись дуже вагомим для людства. Але це не станеться автоматично. Початкові умови інтелектуального вибуху потрібно правильно встановити, так, ніби ми маємо контрольований детонатор. Цінності, за якими Ш.І. має свівпадати з нами, мають бути не лише вже нам знайомими, такими, за якими ми легко перевіримо поведінку Ш.І., але також і в новітньому контексті, який Ш.І. прораховуватиме в невизначеному майбутньому.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Є також певні потаємні проблеми, які необхідно вирішити, наприклад: конкретні деталі теорії прийняття рішень, як справлятись з логічними невизначенностями і таке інше. Тому технічні проблеми, які будемо вирішувати, щоб все спрацювало, є досить складними -- не настільки, як власне створення Ш.І., але достатньо складними. Мене хвилює наступне: створення Ш.І. є, по-справжньому, складним випробуванням. Створення безпечного Ш.І. включає ще додаткову складність. Ризик у тому, що хтось зможе розгадати перше випробування, не розгадуючи додаткове, по забезпеченню абсолютної безпеки.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Тому, я вважаю, що розв'язок проблеми контролю нам потрібно розробити в першу чергу, щоб мати його одразу тоді, коли знадобиться. Зараз ми, можливо, не можемо розгадати всю проблему контролю наперед, оскільки деякі елементи можна створити лише знаючи деталі загальної архітектури, куди їх буде впроваджено. Але чим більше ми розробимо наперед, тим більша ймовірність того, що перехід до ери машинного інтеллекту пройде успішно.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Як на мене, цим дійсно варто займатись, і можна уявити, що у випадку, якщо все пройде успішно, люди через мільйони років, споглядаючи в наше століття, можливо, вважатимуть, що єдина важлива річ, яку ми зробили, було створити цю річ правильно.
Thank you.
Дякую.
(Applause)
(Оплески)