I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Pracuję z matematykami, filozofami i informatykami. Rozmyślamy między innymi o przyszłości sztucznej inteligencji. Niektórzy twierdzą, że te sprawy podchodzą pod science-fiction, są wydumane, szalone. Ale wtedy mówię: "Spójrzmy na dzisiejszy stan ludzkości". (Śmiech) Tak się prezentuje dzisiaj.
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Jeśli się nad tym zastanowić, dopiero niedawno ludzie zagościli na tej planecie. Gdyby Ziemia powstała rok temu, rodzaj ludzki istniałby od 10 minut. Rewolucja przemysłowa rozpoczęła się 2 sekundy temu. Można też spojrzeć na przyrost PKB z ostatnich 10 tysięcy lat. Zadałem sobie trud narysowania tego wykresu. Wygląda tak. (Śmiech) Nie jest to typowy kształt. Nie chciałbym na nim usiąść. (Śmiech)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Zastanówmy się, co powoduje tę anomalię. Niektórzy mówią, że technologia. To prawda, tempo rozwoju technologii wciąż przyspiesza, a teraz rozwój jest szalenie gwałtowny. Jest to bezpośrednia przyczyna, dla której obecnie jesteśmy tak produktywni. Chciałbym jednak sięgnąć do źródła.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Spójrzcie na tych dwóch dystyngowanych jegomości. Jeden z nich to Kanzi, opanował 200 jednostek leksykalnych, niezwykłe osiągnięcie. A drugi to Ed Witten, który zapoczątkował drugą rewolucję superstrun. Jeśli zajrzymy pod maskę, oto co znajdziemy. Prawie to samo. Jeden jest nieco większy, może bardziej pomysłowo skonstruowany. Te niewidoczne różnice nie mogą być jednak zbyt skomplikowane, gdyż od wspólnego przodka dzieli nas tylko 250 tysięcy pokoleń. Wiemy, że skomplikowane mechanizmy potrzebują dużo czasu na ewolucję. Istnieją więc stosunkowo niewielkie różnice między Kanzim a Wittenem, między odłamanymi gałęziami,, a pociskami międzykontynentalnymi.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Jest jasne, że wszystko, co osiągnęliśmy, i wszystko, co dla nas ważne, opiera się na niewielkich zmianach, dzięki którym powstał umysł ludzki. Wszelkie dalsze zmiany, które mogą zmienić podłoże naszego rozumowania, mogą nieść ogromne konsekwencje.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Niektórzy z moich kolegów sądzą, że znajdujemy się u progu takiej ogromnej zmiany, a jest nią sztuczna superinteligencja. Sztuczna inteligencja polegała na wprowadzaniu komend do pudełka. Potrzeba było programisty, który mozolnie ją kształtował. Można było stworzyć zaawansowany system przydatny do pewnych celów, ale też kruchy, niedający się przeskalować. Otrzymywaliśmy tylko to, co sami wprowadziliśmy. Ale od tamtej pory na polu sztucznej inteligencji zaszła zmiana paradygmatu.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Dzisiaj skupiamy się na uczeniu maszyn. Zamiast ręcznie budować wiedzę i cechy, tworzymy algorytmy, które się uczą, często na podstawie szczątkowych danych. Praktycznie w taki sam sposób, w jaki robią to niemowlaki. W rezultacie sztuczna inteligencja nie ogranicza się do jednej dziedziny. Ten sam system może nauczyć się tłumaczyć dowolną parę języków albo grać w gry na konsoli Atari. Oczywiście, sztuczna inteligencja nie jest tak wszechstronna w nauce i planowaniu, co człowiek. Kora mózgowa ma pewne algorytmiczne sztuczki, których nie potrafimy zaimplementować maszynom.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Pytanie brzmi: "Kiedy będziemy mogli to zrobić?". Kilka lat temu przeprowadziliśmy ankietę wśród światowych ekspertów od SI. Jedno z zadanych pytań brzmiało: "W którym roku będziemy mieć 50% szans na stworzenie inteligencji na poziomie ludzkim?". Poziom ten zdefiniowaliśmy jako umiejętność wykonywania niemal każdej pracy tak dobrze, jak dorosły człowiek, a więc chodziło o rzeczywisty poziom, a nie wąską specjalizację. Średnia odpowiedzi przypadała na rok 2040 albo 2050, w zależności od grupy ekspertów. Może się to zdarzyć dużo później albo dużo wcześniej. Nikt tego tak naprawdę nie wie.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Wiemy, że granica przetwarzania informacji u maszyn leży o wiele dalej niż w przypadku istot żywych. Wszystko sprowadza się do fizyki. Neuron wysyła impuls z częstotliwością 200 herców, 200 razy na sekundę. Dzisiejsze tranzystory operują w gigahercach. Informacja podróżuje przez akson powoli, najwyżej 100 metrów na sekundę. W komputerach sygnał może poruszać się z prędkością światła. Istnieją też limity wielkości. Ludzki mózg musi zmieścić się w czaszce, komputer może być jak hala fabryczna albo jeszcze większy. Potencjał superinteligencji jest więc uśpiony tak jak moc atomu, która była uśpiona od początku ludzkości, cierpliwie czekając na przebudzenie w 1945 roku. W tym stuleciu naukowcom może uda się wybudzić sztuczną inteligencję. Myślę, że możemy doświadczyć eksplozji tej inteligencji.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Większość osób myśląc o tym, co jest mądre, a co głupie, wyobraża sobie taki obrazek. Po jednej stronie mamy wioskowego głupka, a po drugiej stronie Eda Wittena, Alberta Einsteina albo jakiegoś innego guru. Z punktu widzenia sztucznej inteligencji obrazek powinien wyglądać raczej tak. Sztuczna inteligencja startuje od zera. Po wielu latach ciężkiej pracy może osiągnie poziom myszy i będzie potrafiła sama omijać przeszkody, tak jak mysz. Znów po wielu latach ciężkiej pracy, przy dużych nakładach finansowych, może osiągnie poziom szympansów. A po jeszcze dłuższym czasie wypełnionym ciężką pracą, osiągnie poziom wioskowego głupka. Chwilę później wyprzedzi Eda Wittena. Pociąg nie zatrzyma się na stacji Ludzko Zdrój. Przemknie przez nią na pełnym biegu.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Będzie to niosło głębokie konsekwencje, zwłaszcza jeśli chodzi o władzę. Na przykład, szympansy są silne. Szympans jest dwa razy silniejszy od wysportowanego mężczyzny. Mimo to na los Kanziego i jemu podobnych mamy większy wpływ niż inne szympansy. Kiedy pojawi się superinteligencja, los ludzkości może stać się od niej zależny. Pomyślcie. Sztuczna inteligencja to ostatni wynalazek, jakiego dokona człowiek. Maszyny będą lepszymi wynalazcami niż my i będą operować na poziomie cyfrowym. Oznacza to gwałtowny skok rozwoju. Pomyślcie o tych wszystkich szalonych pomysłach, które ludzkość mogłaby zrealizować w przyszłości. Powstrzymanie starzenia, kolonizacja kosmosu, samoreplikujące się nanoroboty, podłączenie naszych umysłów do komputera. Wszystkie pomysły rodem z science-fiction, które nie przeczą prawom fizyki, mogłyby zaistnieć dzięki superinteligencji i to dość gwałtownie.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Tak technologicznie rozwinięta superinteligencja miałaby ogromną moc i według niektórych scenariuszy, byłaby w stanie osiągnąć własne cele. Nasza przyszłość byłaby kształtowana według uznania sztucznej inteligencji. Warto się zastanowić, jakie miałaby ona preferencje. Tu tkwi pewna pułapka. Żeby posunąć się dalej, musimy uniknąć antropomorfizacji. Jak na ironię, bo każdy artykuł w gazetach, odnoszący się do przyszłości SI. zawiera ten obrazek. Myślę, że powinniśmy podejść do tematu bardziej abstrakcyjnie, nie kierując się scenariuszami hollywoodzkich filmów.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Inteligencję należy rozumieć jako proces optymalizacyjny, który kształtuje przyszłość według konkretnych ustaleń. Superinteligencja jest procesem mocno optymalizacyjnym. Jest bardzo dobra w używaniu odpowiednich środków, żeby osiągnąć cel. Oznacza to, że niekoniecznie musi istnieć związek między wysoką inteligencją, a posiadaniem celu, który ludzkość uznałaby za warty zachodu lub znaczący.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Załóżmy, że daliśmy sztucznej inteligencji zadanie wywołania u nas uśmiechu. Słaba sztuczna inteligencja wykonywałaby czynności, które rozbawiłyby użytkownika. Superinteligencja zdałaby sobie sprawę, że można osiągnąć cel w bardziej efektywny sposób: przejąć kontrolę nad światem, wszczepić ludziom elektrody, mające sprawić, że na naszych twarzach na stałe zagości promienny uśmiech. Inny przykład. Załóżmy, że kazaliśmy komputerowi rozwiązać trudne zadanie matematyczne. Superinteligencja doszłaby do wniosku, że najefektywniej będzie przekształcić planetę w ogromny komputer, żeby przyspieszyć procesy myślowe. To może dać superinteligencji pretekst do robienia rzeczy, których my byśmy nie popierali. Ludzie w tym modelu stają się przeszkodą dla rozwiązania zadania.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Oczywiście możliwe, że sprawy nie potoczą się w ten sposób. To przerysowane przykłady. Ale najważniejsze jest, że jeśli tworzysz potężny proces optymalizacyjny do zmaksymalizowania realizacji celu X, lepiej upewnij się, czy definicja X zawiera wszystko, na czym ci zależy. Tego uczy nas wiele mitów. Król Midas chciał, by wszystko, czego dotknie, zamieniało się w złoto. Dotknął córki, a ona zmieniła się w złoto. Dotknął jedzenia, a ono zmieniło się w złoto. To nie tylko metafora chciwości, ale też tego, co może się stać, jeśli stworzymy proces optymalizacyjny i damy mu błędnie określone lub słabo sprecyzowane cele.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Możecie powiedzieć, że jeśli komputer zacznie nam wszczepiać elektrody, wtedy go wyłączymy. Po pierwsze, to może być trudne, jeśli będziemy zależni od tego systemu. Jak wyłączyć internet? Po drugie, czemu szympansy lub Neandertalczycy nas nie wyłączyli? Mieli powody. Mamy swój wyłącznik, na przykład tutaj. (Charczenie) Otóż jesteśmy inteligentnym przeciwnikiem. Potrafimy przewidzieć zagrożenie i zaplanować obronę. To samo mogłaby zrobić superinteligencja i byłaby w tym znacznie od nas lepsza. Chodzi o to, żebyśmy nie byli pewni, że wszystko mamy pod kontrolą.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Można by spróbować ułatwić sobie zadanie, umieszczając SI w pudełku, w jakiejś odosobnionej przestrzeni, w wirtualnej rzeczywistości, z której nie będzie w stanie uciec. Na ile możemy być pewni, że komputer nie znajdzie błędu w programie? Skoro hakerzy ciągle znajdują jakieś błędy, jest to niemal pewne. Moglibyśmy odłączyć ethernet, żeby odizolować komputer, ale hakerzy potrafią poradzić sobie i z tym problemem, wykorzystując inżynierię społeczną. W tej właśnie chwili gdzieś jakiś pracownik przekazuje swoje dane logowania komuś podającemu się za informatyka.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Możliwe są bardziej kreatywne scenariusze. Sztuczna inteligencja może pokombinować przy elektrodach w swoim obwodzie, żeby powstały fale radiowe potrzebne do komunikacji. Albo może udawać awarię, a kiedy programiści zajrzą do środka, żeby sprawdzić kod źródłowy - bum! - może dojść do manipulacji. Może też zaprojektować bardzo zmyślną technologię, a kiedy ją zaimplementujemy okaże się, że ma jakiś ukryte działanie, zaplanowane przez komputer. Chodzi o to, żebyśmy nie byli pewni, że będziemy potrafili trzymać superinteligentnego dżina zamkniętego w lampie na zawsze. Prędzej czy później się z niej wydostanie.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Sęk w tym, żeby zaprojektować superinteligentny komputer, który jeśli, czy może kiedy, ucieknie, będzie niegroźny, bo będzie po naszej stronie, wyznając nasze wartości. Nie widzę innego sposobu na ominięcie tego problemu.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Dość optymistycznie podchodzę do kwestii rozwiązania tego problemu. Nie musimy tworzyć długiej listy wszystkiego, co dla nas ważne, ani co gorsza, przekładać jej na jakiś język programowania, jak C++ czy Python, co byłoby beznadziejnym zadaniem. Trzeba stworzyć komputer, który użyje swojej inteligencji żeby nauczyć się naszych wartości, a jego system motywacyjny skonstruowany byłby w taki sposób, że dążyłby do naszych wartości i wykonywał pochwalane przez nas czynności. W ten sposób wykorzystalibyśmy jego inteligencję do rozwiązania problemu wartości.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Można to zrobić, a owoce tej pracy byłyby dobre dla ludzkości. Ale to nie stanie się automatycznie. Możliwe, że trzeba będzie precyzyjnie określić startowe warunki eksplozji inteligencji, jeśli chcemy dokonać kontrolowanej detonacji. Sztuczna inteligencja musi wyznawać nasze wartości nie tylko w znanych sytuacjach, które możemy przewidzieć, ale też w nowych kontekstach, na które może się natknąć w niezdefiniowanej przyszłości.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Musimy też rozwikłać pewne ezoteryczne kwestie. Szczegóły teorii decyzji, jak sobie radzić z niepewnością logiczną i tak dalej. Techniczne problemy, stojące przed tym zadaniem wydają się trudne. Nie aż tak trudne, jak stworzenie sztucznej superinteligencji, ale dość trudne. Tu tkwi problem. Stworzenie superinteligentnego komputera jest trudnym wyzwaniem. Stworzenie bezpiecznego superinteligentnego komputera jest jeszcze trudniejsze. Ryzyko polega na tym, że komuś uda się sprostać pierwszemu wyzwaniu z pominięciem zapewnienia całkowitego bezpieczeństwa.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Uważam, że najpierw należy rozwiązać problem kontroli, aby mieć w razie czego pod ręką antidotum. Może się okazać, że nie da się rozwiązać zawczasu całego problemu, bo niektóre jego elementy można stworzyć, wyłącznie znając szczegóły architektury, która zostanie zaimplementowana. Ale im większą część tego problemu rozwiążemy, tym większe mamy szanse na wkroczenie w epokę inteligentnych maszyn zgodnie z naszym planem.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Dla mnie jest to gra warta świeczki i, jeśli wszystko pójdzie dobrze, ludzie za milion lat spojrzą na nasze stulecie i powiedzą, że jest to jedyna ważna rzecz, która nam się udała.
Thank you.
Dziękuję.
(Applause)
(Brawa)