I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Lavoro con molti matematici, filosofi e informatici. Ci sediamo e pensiamo al futuro dell'Intelligenza Artificiale, tra le altre cose. Alcuni pensano che alcune di queste cose siano roba di fantascienza, di là da venire, folli. Ma a me piace dire, okay, diamo un'occhiata alla condizione dell'uomo moderno. (Risate) È così che vanno le cose, "normalmente".
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Ma se ci pensiamo, in realtà noi umani non siamo ospiti di questo pianeta da molto tempo. Pensate, se la Terra fosse stata creata un anno fa, la specie umana esisterebbe da soli 10 minuti. L'era industriale sarebbe iniziata due secondi fa. Un altro modo di vederlo è pensare al PIL mondiale negli ultimi 10.000 anni: mi sono permesso di mostrarvelo in un grafico. L'andamento è questo. (Risate) Strana curva, per una condizione normale. Certo non vorrei sedermi lì. (Risate)
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Chiediamoci, qual è la causa di questa anomalia? Alcuni direbbero che è la tecnologia. Ed è vero, la tecnologia si è accumulata nel corso della storia umana, e ora procede ad un ritmo estremamente rapido - questa è la causa più immediata, il motivo per cui ora siamo così produttivi. Ma vorrei andare a ritroso fino alla causa fondamentale.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Guardate questi due signori, molto diversi tra loro: Abbiamo Kanzi -- che padroneggia 200 elementi lessicali, una caratteristica incredibile. E lui è Ed Witten, che ha lanciato la 2° rivoluzione delle superstringhe. Guardando sotto la fronte, ecco cosa troviamo: essenzialmente la stessa cosa. Sì, una è un po' più larga, forse è anche cablata un po' meglio. Tuttavia, queste differenze invisibili non possono essere troppo complicate perché sono passate solo 250.000 generazioni dall'ultimo progenitore comune. E sappiamo che i meccanismi complicati richiedono molto tempo per evolversi. Una manciata di modifiche minori, quindi, è bastata a portarci da Kanzi a Witten, dai rami spezzati ai missili balistici intercontinentali.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Sembra quindi abbastanza ovvio che tutto ciò che abbiamo conquistato, e a cui diamo valore, derivi sostanzialmente da alcuni ritocchi che hanno prodotto la mente umana. E il corollario, ovviamente, è che ogni modifica ulteriore che possa cambiare sostanzialmente il substrato del pensiero potrebbe avere conseguenze potenzialmente enormi.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Alcuni dei miei colleghi ritengono che siamo alla vigilia di qualcosa che potrebbe causare un profondo cambiamento in quel substrato, e quel qualcosa è la superintelligenza artificiale. L'Intelligenza Artificiale, un tempo, consisteva nel dare comandi a una scatola. C'erano programmatori umani che elaboravano "manualmente", con fatica, tasselli di conoscenza. Si costruivano questi sistemi esperti che erano utili per qualche scopo, ma erano molto "fragili", difficili da espandere. Sostanzialmente ottenevi solo quello che inserivi. Ma da allora c'è stata una rivoluzione nel settore dell'Intelligenza Artificiale.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Oggi, siamo concentrati sull'apprendimento macchina. Invece di inserire a mano rappresentazioni e caratteristiche della conoscenza, creiamo algoritmi che apprendono, spesso da dati percettivi grezzi. In pratica, la stessa cosa che fa un bambino. Il risultato è un'intelligenza artificiale che non si limita a un solo settore: lo stesso sistema può imparare a tradurre tra ogni coppia di linguaggi, o imparare a giocare ogni gioco della consolle Atari. Naturalmente, L'IA non è ancora neanche vicina alla potente, interdisciplinare capacità di imparare e progettare di un essere umano. La corteccia ha ancora vantaggi algoritmici che non sappiamo riprodurre nelle macchine.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Quindi la domanda è, quanto manca, prima che le macchine riescano a recuperare questi vantaggi? Un paio di anni fa, abbiamo fatto un sondaggio ad alcuni esperti mondiali di IA per vedere cosa pensassero, e una delle domande fu: "Entro quale anno pensate che vi sia una probabilità del 50% di ottenere un'intelligenza artificiale di livello umano?" Qui definiamo "di livello umano" l'abilità di eseguire quasi ogni lavoro almeno tanto bene quanto un umano, quindi di livello veramente umano, non solo in qualche dominio limitato. E la risposta mediana fu 2040 o 2050, a seconda del gruppo di esperti a cui chiedevamo. Potrebbe avvenire molto, molto più tardi, o prima, la realtà è che nessuno lo sa davvero.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Quello che sappiamo è che il limite all'elaborazione di informazioni su un substrato artificale va molto al di là dei limiti dei tessuti biologici. Le ragioni si trovano nella fisica. Un neurone biologico spara, forse, a 200 Hertz, 200 volte al secondo. Ma un transistor dei giorni nostri opera a GigaHertz. I neuroni si propagano lentamente lungo gli assoni, a massimo 100 mt/s. Ma un computer può instradare i segnali alla velocità della luce. Ci sono inoltre limiti dimensionali: un cervello umano deve stare all'interno di un cranio, mentre un computer può essere grande come un magazzino, o di più. Il potenziale della superintelligenza, quindi, giace nella materia, proprio come la forza dell'atomo si è nascosta nella storia umana, attendendo paziente il 1945. In questo secolo, gli scienziati potrebbero imparare a scatenare l'intelligenza artificiale. E penso che a quel punto potremmo osservare un'esplosione di intelligenza.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
La maggior parte delle persone, quando pensano al genio e all'idiozia, penso che abbiano in mente più o meno un'immagine come questa. Abbiamo lo scemo del villaggio ad un estremo, e in posizione diametralmente opposta abbiamo Ed Witten, Albert Einstein o un altro vostro guru preferito. Ma penso che dal punto di vista dell'intelligenza artificiale, la vera immagine somigli più probabilmente a questa: l'IA inizia qui, a zero intelligenza, e poi, dopo molti, molti anni di lavoro veramente duro, alla fine forse arriviamo al livello di intelligenza di un topo, qualcosa che possa navigare in ambienti complessi bene quanto un topo. E poi, dopo molti, molti anni di duro lavoro, e molti investimenti, forse alla fine arriviamo a un'IA intelligente come uno scimpanzé. E poi, dopo ancora molti, molti anni di lavoro massacrante, arriviamo a un'IA al livello di uno scemo del villaggio. E pochi istanti dopo, avremo sorpassato Ed Witten. Il treno non si fermerà a Umanopoli. È più probabile che sfrecci oltre, invece.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Questo ha implicazioni profonde, soprattutto quando si parla di potere. Gli scimpanzé, ad esempio, sono forti-- circa il doppio di un maschio umano in buona forma fisica. E tuttavia, il destino di Kanzi e dei suoi pari dipende molto di più dalle nostre azioni che dalle loro. Quando arriverà la superintelligenza, anche il nostro destino potrebbe dipenderne. Pensateci: L'IA è l'ultima invenzione che l'umanità dovrà mai creare. Le macchine saranno inventori migliori di noi, e agiranno in tempi "digitali". Questo significa sostanzialmente un "avvicinamento" del futuro. Pensate a tutte le tecnologie folli che forse, a vostro avviso, gli umani potrebbero sviluppare: cure per l'invecchiamento, colonizzazione spaziale, nanobot auto-replicanti, caricare le proprie menti in un computer. Ogni sorta di roba fantascientifica e nondimeno permessa dalla fisica. Una superintelligenza potrebbe sviluppare tutto questo, e forse molto rapidamente.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Una superintelligenza con una tale maturità tecnologica sarebbe estremamente potente, e almeno in qualche scenario, potrebbe ottenere quel che vuole. A quel punto avremmo un futuro modellato sulle preferenze dell'IA. Una buona domanda a quel punto è: quali sono queste preferenze? Qui la cosa si fa intricata. Per trovare una via d'uscita, dobbiamo prima di tutto evitare l'antropomorfizzazione. Ed è ironico perché ogni articolo di giornale sul futuro dell'IA ha un'immagine come questa. Quindi penso che dovremmo concepire la questione in modo più astratto, non come un film di Hollywood.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Dobbiamo pensare all'intelligenza come a un processo di ottimizzazione, un processo che dirige il futuro verso un particolare set di configurazioni. Una superintelligenza è un processo di ottimizzazione davvero potente. È estremamente capace di usare i mezzi disponibili per ottenere una condizione in cui i suoi scopi sono realizzati. Quindi non c'è necessariamente una connessione tra l'essere molto intelligenti in questo senso e avere un obiettivo che noi umani riterremmo degno o significativo.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Supponiamo di dare all'AI l'obiettivo di far sorridere gli umani. Un'IA debole si limiterebbe a eseguire azioni utili o divertenti, che fanno sorridere il suo utente. Quando l'IA diventa superintelligente, capisce che c'è un modo più efficace di ottenere questo scopo: prendere il controllo del mondo, e infilare elettrodi nei muscoli facciali degli umani, causando una costante, accattivante smorfia. Un altro esempio: supponiamo di dare all'IA un problema matematico duro da risolvere. Quando l'IA diventa superintelligente, capisce che il modo più efficace di ottenere la soluzione al problema è trasformare il pianeta in un computer gigantesco, così da aumentare la sua capacità di pensiero. E notate: questo dà all'IA una ragione strumentale per farci subire cose che potremmo non approvare. Gli umani diventerebbero una minaccia, perché potremmo impedire la scoperta della soluzione.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Ovviamente, non è detto che le cose andranno male in questo preciso modo; sono esempi da cartone animato. Ma è importante cogliere il punto: se create un processo di ottimizzazione davvero potente che massimizzi l'obiettivo x, sinceratevi che la vostra definizione di x includa tutto ciò a cui tenete. È una lezione tramandata da molti miti, anche. Re Mida voleva trasformare in oro tutto ciò che toccava. Tocca sua figlia, e la trasforma in oro. Tocca il suo cibo, si trasforma in oro. È un esempio che potremmo considerare pregnante: non solo come metafora dell'avidità, ma anche perché illustra cosa succede se create un potente processo di ottimizzazione e gli affidate obiettivi indesiderabili, o male specificati.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Be', mi direte, se un computer inizia a infilare elettrodi in faccia alla gente, basta spegnerlo. [Le mie obiezioni sono due:] A, non è detto che sia così semplice, se diventiamo dipendenti dal sistema -- per esempio, dov'è l'interuttore per spegnere Internet? B, perché gli scimpanzé non hanno staccato l'interruttore dell'umanità, o i Neanderthal? Certamente avevano delle ragioni per farlo. Noi abbiamo un interruttore, per esempio qui. (Si strozza da solo) Il motivo è che siamo avversari intelligenti; possiamo anticipare le minacce e studiare come aggirarle. Ma anche un agente superintelligente potrebbe farlo, e ci riuscirebbe molto meglio di noi. Non dovremmo contare sul fatto di poterlo controllare.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
E potremmo provare a semplificarci un po' la vita, diciamo, mettendo l'IA in una "scatola", come un ambiente virtuale sicuro, una ricostruzione della realtà da cui non può sfuggire. Ma quanto possiamo contare sul fatto che non trovi una falla nel codice? Visto che molti hacker umani scoprono bug in continuazione, direi che non dovremmo contarci molto. Potremmo scollegare il cavo Ethernet, creando un gap fisico. Ma anche in questo caso, molti hacker umani aggirano continuamente il problema con l'ingegneria sociale. Proprio ora, mentre parlo, sono sicuro che c'è qualche impiegato, là fuori, che sta dando i dettagli del suo account a qualcuno che si spaccia per il dipartimento IT.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
E sono possibili anche scenari più creativi: se siete l'IA, ad esempio, potreste pensare a sguinzagliare degli elettrodi nei vostri circuiti per creare onde radio che potete usare per comunicare. Oppure potreste fingere di guastarvi, e quando i programmatori vi ispezionano per capire cosa non va, guardano al codice sorgente e BAM! ecco che avviene una manipolazione. Oppure potrebbe pubblicare il modello di una tecnologia affascinante, che quando la implementiamo produce dei sottili effetti collaterali, che l'IA aveva previsto. Non dovremmo contare sulla nostra capacità di chiudere una superintelligenza nella sua bottiglia in eterno. Prima o poi riuscirà ad uscire.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Credo che qui la risposta sia capire come creare un'IA superintelligente tale che se -- quando -- uscirà, resterà amichevole, fondamentalmente dalla nostra parte perché condivide i nostri valori. Non vedo scorciatoie a questo difficile problema.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Sono molto ottimista sulle nostre capacità di risolverlo. Non dovremmo scrivere una lunga lista di tutto ciò a cui diamo valore, o peggio ancora codificarlo in qualche linguaggio come C++ o Python, altrimenti sarebbe una sfida impossibile. Invece, dovremmo creare un'IA che usa la sua intelligenza per imparare a cosa diamo valore, e con un sistema motivazionale concepito per perseguire i nostri valori, o eseguire azioni che sa che approveremmo. Potremmo così sfruttare la sua intelligenza al massimo nel risolvere il problema dell'attribuzione di valore.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Possiamo farlo, e il risultato sarebbe molto positivo per l'umanità. Ma non avviene automaticamente. Le condizioni iniziali per questa esplosione di intelligenza potrebbero dover essere definite perfettamente, se quella che vogliamo è un'esplosione controllata. I valori dell'IA devono coincidere con i nostri, non solo nei contesti familiari, dove puoi facilmente controllare come si comporta, ma anche in tutti quei contesti nuovi che l'IA potrebbe incontrare in futuro.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
E restano anche alcune questioni esoteriche da risolvere e chiarire: i dettagli su come prendere decisioni, come gestire l'incertezza logica, e così via. Quindi i problemi tecnici da risolvere sembrano molto difficili: non tanto quanto realizzare un'IA superintelligente, ma comunque molto difficili. Questa è la mia paura: realizzare un'IA superintelligente è già una sfida veramente dura; realizzare un'IA superintelligente e sicura pone sfide aggiuntive. Il rischio è che qualcuno capisca come vincere la prima sfida senza sapere ancora come vincere la sfida aggiuntiva di assicurare una perfetta sicurezza.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Penso quindi che dovremmo prima lavorare a una soluzione al problema del controllo, così da averla disponibile al momento del bisogno. Magari non riusciremo a risolvere tutto a priori, perché forse alcuni elementi possono essere messi a punto solo dopo aver conosciuto l'architettura che li implementa. Ma più problemi legati al controllo risolviamo in anticipo, più è probabile che la transizione all'era dell'intelligenza artificiale andrà a buon fine.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Ritengo che questa sia una cosa assolutamente da fare, e posso immaginare che se le cose andranno bene, tra un milione di anni la gente ripenserà a questo secolo e potrebbe ben dire che la sola cosa importante che abbiamo fatto fu risolvere questo problema.
Thank you.
Grazie.
(Applause)
(Applausi)