Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
Chris Anderson: Nick Bostrom. Allora, ci hai già regalato tante idee pazzesche su questo tema. Una ventina di anni fa, hai ipotizzato fosse possibile che stessimo vivendo in una simulazione, o magari che fosse probabile. Recentemente, ci hai illustrato vividi esempi di come con l'intelligenza artificiale potrebbe finire davvero male. E quest’anno, stai per pubblicare un articolo che introduce qualcosa che tu definisci l'ipotesi del mondo vulnerabile. Questa sera cercheremo di fornire una guida descrittiva a questa ipotesi. Quindi cominciamo. Qual è l'ipotesi?
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
Nick Bostrom: Si cerca di considerare una sorta di caratteristica strutturale dell'attuale condizione umana. A te piace la metafora dell'urna, quindi la userò per spiegarla. Immagina una grossa urna piena di sfere che rappresentano le idee, i metodi, le possibili tecnologie. Possiamo immaginare la storia della creatività umana come l’atto di pescare in quest'urna e tirare fuori le sfere una dopo l'altra, e l'effetto fino ad ora è stato largamente positivo, giusto? Abbiamo estratto un gran numero di sfere bianche, qualcuna con diverse sfumature di grigio, con un misto di vantaggi e svantaggi. Finora non abbiamo estratto la sfera nera, una tecnologia che immancabilmente distruggerebbe la civiltà che la scopre. Nell'articolo cerco di pensare a quale può essere questa sfera nera.
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
CA: Quindi tu definisci questa sfera quella che determinerebbe inevitabilmente la distruzione della civiltà.
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
NB: Se non abbandoniamo quella che chiamo la condizione semianarchica prestabilita. Ma praticamente in automatico.
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
CA: Quindi, sostieni la tua ipotesi mostrando una serie di controesempi in cui ritieni che finora siamo stati davvero fortunati, che avremmo potuto pescare la sfera della morte. senza neanche saperlo. Quindi perché questa citazione?
NB: Well, I guess it's just meant to illustrate the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
NB: Immagino sia per mostrare la difficoltà di prevedere a cosa condurranno le scoperte fondamentali. Semplicemente non ne siamo capaci. Perché siamo diventati piuttosto bravi a estrarre le sfere, ma non siamo proprio in grado di rimetterle nell'urna. Possiamo inventare, non disinventare. Quindi la nostra strategia, se così la si può chiamare, è sperare che nell'urna non ci sia nessuna sfera nera.
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
CA: Quindi una volta fuori, è fuori, e non la si può rimettere dentro, e tu pensi che siamo stati fortunati. Allora spieghiamo bene un paio di questi esempi. Parli di diversi tipi di vulnerabilità.
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
NB: Il tipo più semplice da comprendere deriva da una tecnologia che renda davvero molto facile provocare grandi distruzioni. La biologia sintetica potrebbe essere un'ottima base per quel tipo di sfera nera ma potrebbero esserlo anche molte altre cose: pensate alla geoingegneria, fantastica, vero? Potremmo combattere il riscaldamento globale, ma non vorremmo diventasse troppo semplice, non vorremmo che chiunque, o la nonna di chiunque avesse la capacità di alterare radicalmente il clima della Terra. O magari dei droni autonomi letali, prodotti in massa, sciami di robot killer piccoli come zanzare. La nanotecnologia, l'intelligenza artificiale generale.
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
CA: Nel tuo articolo sostieni che è stata solo questione di fortuna avere scoperto che con l'energia nucleare si poteva creare una bomba, sarebbe potuto succedere invece di poter creare una bomba con risorse più semplici, accessibili a chiunque.
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
NB: Già, quindi ripensiamo agli anni '30 quando per la prima volta abbiamo fatto passi da gigante nella fisica nucleare, qualche genio ha capito che era possibile creare una reazione nucleare a catena e poi ha realizzato che questo avrebbe potuto portare alla bomba. E lavorandoci su, venne fuori che quello che serve per fare una bomba nucleare è l'uranio arricchito o il plutonio, materiali molto difficili da ottenere. Servono ultracentrifughe, reattori, enormi quantità di energia. Ma supponiamo invece che fosse saltato fuori che esisteva un modo semplice per liberare l'energia dell'atomo. Che magari arrostendo della sabbia nel microonde o qualcosa del genere si fosse potuto creare una detonazione nucleare. Oggi sappiamo dalla fisica che è impossibile. Ma prima di fare le ricerche come avremmo potuto sapere come sarebbe andata a finire?
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
CA: Però non si può discutere il fatto che l'evoluzione della vita sulla Terra ha avuto bisogno di una sorta di ambiente stabile, e che se fosse stato possibile creare facilmente tali reazioni nucleari, la Terra non sarebbe mai stata stabile, ei noi non saremmo qui adesso.
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
NB: Già, a meno che non ci fosse qualcosa di facile da fare volutamente ma non accadrebbe per caso. Tipo cose che possiamo fare facilmente, come impilare 10 blocchi uno sopra l'altro, ma in natura, è improbabile trovare una pila di 10 blocchi.
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
CA: Ora, questa è probabilmente la cosa per cui molti di noi si preoccupano di più, e sì, la biologia sintetica è forse la via più veloce che possiamo prevedere ci condurrà a questo nel prossimo futuro.
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
NB: Sì, e pensa cosa significherebbe se, ad esempio, chiunque lavorando per un pomeriggio nella propria cucina potesse distruggere una città. È difficile immaginare come la civiltà moderna come la conosciamo potrebbe sopravvivere a questo. Perché in una popolazione di un milione di persone, ci sarà sempre qualcuno che, per una ragione qualsiasi, sceglierebbe di usare quel potere distruttivo. Così, se quel residuo apocalittico decidesse di distruggere una città, o fare di peggio, le città verrebbero distrutte.
CA: So here's another type of vulnerability. Talk about this.
CA: Ma c'è un altro tipo di vulnerabilità. Parlaci di questo.
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
NB: Sì, oltre a questo tipo piuttosto ovvio di palle nere che renderebbero possibile far saltare in aria un sacco di cose, altri tipi agirebbero creando cattivi incentivi per gli uomini portandoli a fare cose dannose. Quindi, il Tipo-2a, potremmo chiamarlo così, potrebbe derivare da una tecnologia che incentivasse le grandi potenze a usare la loro enorme forza per creare distruzione. Le armi nucleari si sono avvicinate molto a questo, giusto? In quel caso abbiamo speso oltre 10 mila miliardi di dollari per costruire 70.000 testate nucleari e metterle nello stato di allerta immediata. E in diverse occasioni durante la Guerra Fredda abbiamo rischiato di saltare tutti in aria. E non perché tanta gente ritenesse una grande idea spendere 10 mila miliardi di dollari per saltare tutti in aria, ma gli incentivi erano tali che ci siamo ritrovati a farlo. Sarebbe potuta andare peggio. Immagina se ci fosse stato un primo colpo nucleare sicuro. Dopo sarebbe potuto essere molto difficile, in una situazione di crisi, trattenersi dal lanciare tutti i propri missili nucleari. Se non altro, per la paura che potesse farlo la controparte.
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
CA: La certezza di una distruzione reciproca ha mantenuto una certa stabilità durante la Guerra Fredda. Senza quella, forse ora non saremmo qui.
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
NB: Sarebbe potuta essere meno stabile. E potrebbero esserci altre proprietà della tecnologia. Avere trattati sulle armi sarebbe potuto essere più difficile, se invece delle armi nucleari ci fossero state cose più piccole, o meno distruttive.
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
CA: Oltre ai cattivi incentivi per i potenti, ti preoccupano anche i cattivi incentivi per tutti noi, qui nel Tipo-2b.
NB: Yeah, so, here we might take the case of global warming. There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
NB: Sì, si potrebbe considerare il caso del riscaldamento globale. Ci sono un sacco di piccole comodità che ci incentivano a fare cose che singolarmente non hanno un effetto significativo, giusto? Ma se fatte da un miliardo di persone, nell'insieme, hanno un effetto dannoso. Il riscaldamento globale sarebbe potuto essere molto peggio di così. Abbiamo il parametro della "sensibilità climatica". È un parametro che ci dice quanto diventa più caldo con l'emissione di una certa quantità di gas serra. Ma, mettiamo il caso che con l'emissione di una certa quantità di gas serra, invece di un aumento della temperatura tra i 3 e i 4,5 gradi per il 2100, fosse previsto un aumento di 15 o 20 gradi. Ci saremmo potuti trovare in una situazione davvero brutta. Supponiamo che l'energia rinnovabile fosse stata più difficile da ottenere. Che il combustibile fossile fosse più disponibile.
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
CA: Non si potrebbe supporre che se in quel caso, se quello che stiamo facendo oggi avesse prodotto una differenza di 10 gradi nel periodo osservato, invece l'umanità si sarebbe data una mossa e avrebbe fatto qualcosa a proposito. Siamo stupidi, ma forse non così stupidi. O forse lo siamo.
NB: I wouldn't bet on it.
NB: Non ci scommetterei.
(Laughter)
(Risate)
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
Si potrebbero immaginare altri scenari. Ora come ora, è difficile la conversione alle rinnovabili eccetera, ma si può fare. Ma con una fisica leggermente diversa, sarebbe potuto essere molto più costoso fare queste cose.
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
CA: Qual è la tua idea, Nick? Pensi che, mettendo insieme tutte queste possibilità, questa Terra, il nostro genere umano, dobbiamo considerarci un mondo vulnerabile? Che c'è una palla della morte nel nostro futuro?
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
NB: Difficile a dirsi. Voglio dire, penso che chiaramente possano esserci più palle nere nell'urna, così sembrerebbe. Potrebbero esserci anche alcune palle d'oro in grado di aiutarci a proteggerci dalle palle nere. E non so in quale ordine usciranno.
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
CA: Una possibile critica filosofica a questa teoria è che essa implica una visione del futuro come essenzialmente stabilito, che quella palla esista oppure no. E in qualche modo, questa non è una visione del mondo a cui voglio credere. Voglio credere che il futuro sia indeterminato, che le nostre decisioni di oggi determineranno che tipo di palle estrarremo da quell'urna.
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
NB: Se continuiamo a inventare, prima o poi estrarremo tutte le palle. Penso che ci sia una specie di forma debole di determinismo tecnologico piuttosto plausibile, considerando che è improbabile trovare una società che usi asce di selce e jet. Ma si può quasi pensare a una tecnologia come a una serie di possibili usi e scopi. La tecnologia è qualcosa che ci rende possibile fare varie cose e ottenere vari risultati nel mondo. Il modo in cui poi la usiamo, ovviamente dipende dalla scelta dell'uomo. Ma se pensiamo a questi tre tipi di vulnerabilità, formulano ipotesi davvero deboli su come potremmo decidere di usarle. Tornando alla vulnerabilità di Tipo-1, questo enorme potere distruttivo, è un'ipotesi piuttosto debole pensare che in una popolazione di un milione di persone ci sia qualcuno che decida di usarla in modo distruttivo.
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
CA: Per me, la questione più inquietante è che potremmo effettivamente avere una sorta di vista all'interno dell'urna che renda davvero probabile che siamo spacciati. Ovvero, se credi nella capacità sempre maggiore, sostanzialmente accelerata dalla tecnologia, di costruire gli strumenti che ci rendono più potenti, allora a un certo punto si arriva a uno stadio in cui un singolo individuo potrebbe demolirci tutti, e allora si direbbe che siamo spacciati. Non è allarmante?
NB: Ah, yeah.
NB: Ah, sì.
(Laughter)
(Risate)
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
Penso che... sì, abbiamo competenze sempre più potenti, ed è sempre più facile usare queste competenze, ma possiamo anche inventare tecnologie che potrebbero aiutarci a controllare come le persone usano queste competenze.
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
CA: Parliamo di questo, parliamo delle contromisure. Supponiamo che pensando a tutte le possibilità oggi esistenti, non solo la biologia sintetica, ma cose come la guerra informatica, l'intelligenza artificiale, ecc., che il nostro futuro ci riservi un destino infausto. Quali sono le possibili contromisure? Tu hai anche parlato di quattro possibili interventi.
NB: Restricting technological development doesn't seem promising, if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
NB: Limitare lo sviluppo tecnologico non sembra promettente. Se parliamo di una sospensione generalizzata del progresso tecnologico, non penso che sia fattibile, né che sia desiderabile anche potendolo fare. Penso che potrebbero esserci aree molto limitate in cui forse si vorrebbe rallentare il progresso tecnologico. Penso che non si voglia accelerare il progresso nelle armi biologiche, o nella separazione degli isotopi, che potrebbe rendere più semplice creare testate nucleari.
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
CA: Sono sempre stato d'accordo con questo. Ma vorrei davvero riconsiderare la questione per un minuto. Solo perché, prima di tutto, se si guarda alla storia dell'ultimo ventennio, è stato un continuo avanzare a tutta velocità, va bene, è stata la nostra unica scelta. Ma guardiamo alla globalizzazione e alla sua rapida accelerazione, e se guardiamo alla strategia del "move fast and break things" e a cosa ha portato, e poi si considerano le potenzialità della biologia sintetica, non so se dovremmo avanzare rapidamente o senza alcun tipo di restrizione verso un mondo in cui si potrà stampare il DNA nella propria casa e in ogni laboratorio scolastico. Ci sono delle restrizioni, giusto?
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
NB: Forse, c'è la prima parte, quella non realistica. Se pensi che sarebbe auspicabile fermarla, c'è il problema della fattibilità. Cioè, non aiuta molto se una nazione in un certo senso...
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
CA: No, non aiuta se solo una nazione lo fa, ma abbiamo già siglato degli accordi in precedenza. È proprio così che siamo riusciti a sopravvivere alla minaccia nucleare, andando là fuori e attraversando il doloroso processo della negoziazione. Mi chiedo solo se non sarebbe logico, per una questione di priorità globale, non andare là fuori e provare subito a iniziare a negoziare regole davvero severe su dove svolgere la ricerca sulla biologia di sintesi, che non è un qualcosa che si vorrebbe democratizzare, no?
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
NB: Concordo pienamente su questo: sarebbe desiderabile, per esempio, forse avere macchine per la sintesi del DNA, non come dispositivi disponibili in ogni laboratorio, ma come un servizio. Potrebbero esserci quattro o cinque posti al mondo dove inviare il proprio progetto digitale e avere indietro il DNA, giusto? E poi, si avrebbe la capacità, se un giorno si dimostrasse davvero necessario, di porre una serie finita di restrizioni. Vorresti poter individuare quelle situazioni particolari, dove puoi esercitare un controllo più stretto.
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
CA: La tua convinzione è che, fondamentalmente, non riusciremo semplicemente a tirarci indietro. Qualcuno, da qualche parte, nella Corea del Nord, ad esempio, qualcuno ci arriverà e scoprirà quella tecnologia, se deve essere scoperta.
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
NB: Sembra plausibile nella attuali condizioni. E ciò non vale solo per la biologia sintetica. Qualsiasi cambiamento nuovo e profondo può rivelarsi una palla nera.
CA: Let's look at another possible response.
CA: Consideriamo un'altra possibile misura.
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
NB: Anche questa, penso, possiede solo un potenziale limitato. Considerando ancora la vulnerabilità di Tipo-1, se si potesse ridurre il numero di persone incentivate a distruggere il mondo, qualora ne avessero la possibilità e le risorse, sarebbe fantastico.
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
CA: In questa quadro che ci hai chiesto di realizzare tu immagini questi droni volare per il mondo equipaggiati per il riconoscimento facciale. Se individuano qualcuno che mostra i segni di un comportamento sociopatico, lo ricoprono di amore, lo curano.
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
NB: Penso sia una specie di quadro ibrido. Eliminare vuole dire incarcerare o uccidere, ma può anche voler dire indurre a una migliore visione del mondo. Ma il punto è quello, supponiamo di essere riusciti in questo, e di aver ridotto della metà questo genere di individui. E per riuscire con la persuasione, si deve competere contro tutte le altre potenti forze che cercano di persuadere la gente: partiti, religione, sistema educativo. Supponiamo di ridurli della metà, il rischio non risulterebbe ridotto della metà. Forse di un cinque o un 10 per cento.
CA: You're not recommending that we gamble humanity's future on response two.
CA: Non raccomandi di scommettere il futuro dell'umanità sulla seconda misura.
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
NB: Penso che vada bene tentare di dissuadere e persuadere le persone, ma non dovremmo fare affidamento su questo come unica misura di difesa.
CA: How about three?
CA: Che dire della terza?
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
NB: Penso che ci siano due metodi generali che possiamo usare per raggiungere la capacità di stabilizzare il mondo contro tutta una gamma di possibili vulnerabilità. E probabilmente ci serviranno entrambi. Uno è la capacità estremamente efficace di realizzare una politica preventiva, con cui si possa intercettare. Se qualcuno iniziasse a fare cose pericolose, si potrebbe intercettarlo in tempo reale, e fermarlo. Questo richiederebbe una sorveglianza ubiquitaria, tutti sarebbero controllati per tutto il tempo.
CA: This is "Minority Report," essentially, a form of.
CA: Essenzialmente una forma alla "Minority Report".
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
NB: Potrebbero esserci algoritmi di IA, grandi centri di controllo della libertà che ispezionano, ecc., ecc.
CA: You know that mass surveillance is not a very popular term right now?
CA: Tu sai che il concetto di sorveglianza di massa non è molto popolare al momento?
(Laughter)
(Risate)
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
NB: Sì. Quindi quel piccolo dispositivo lì, immagina questa specie di collana da indossare tutto il tempo con delle telecamere multidirezionali. Ma, per farla accettare più facilmente, chiamala semplicemente "tag della libertà" o qualcosa del genere.
(Laughter)
(Risate)
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
CA: Ok. Voglio dire, l'argomento è questo, amici, questo è il motivo per cui si tratta di una conversazione così stupefacente.
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
NB: Effettivamente, c'è tutto un discorso solo su questo tema, ovviamente. Ci sono problemi e rischi enormi con questo. Potremmo ritornarci su. L'altra, l'ultima, l'atra possibilità di stabilizzazione generale consiste un po' nel tappare un altro buco a livello governativo. La sorveglianza sarebbe una sorta di lacuna governativa al microlivello, come, impedire che qualcuno possa fare qualcosa di illegale. Poi, c'è una corrispondente lacuna governativa al macrolivello, a livello globale. Servirebbe la capacità, la sicurezza, di prevenire i peggiori tipi di fallimenti nella coordinazione globale, di evitare guerre tra le superpotenze, corse agli armamenti, comuni problemi catastrofici, per affrontare le vulnerabilità di Tipo-2a.
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
CA: Governanza globale è un termine decisamente fuori moda al momento, ma si potrebbe notare che nel corso della storia, la storia dell'umanità ci ha dimostrato che a ogni stadio di crescita del potere tecnologico le persone hanno riorganizzato e più o meno centralizzato il potere. Ad esempio, ogni volta che un branco errante di criminali è riuscito a prendere il controllo di una società, la risposta è stata avere uno stato-nazione centralizzare le forze armate, un corpo di polizia, ovvero: "No, non potete fare così." La logica, forse, di avere una singola persona o un singolo gruppo in grado di eliminare l'umanità implica che a un certo punto che dovremo prendere questa strada, almeno in qualche forma, no?
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
NB: È sicuramente vero che la scala dell'organizzazione politica è aumentata nel corso della storia dell'umanità. Era del tipo gruppo di cacciatori e raccoglitori, poi territorio governato da capotribù, città-stato, nazione, ora ci sono organizzazioni internazionali e via di dicendo. Quindi, voglio solo essere sicuro di avere la possibilità di sottolineare che ci sono ovviamente grandi risvolti negativi nonché, rischi enormi, sia nella sorveglianza di massa che nella governance globale. Voglio solo far notare che se siamo fortunati, il mondo potrebbe diventare tale che questi potrebbero essere i soli modi per sopravvivere a una palla nera.
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
CA: La logica di questa teoria, mi pare di capire, è quella che dobbiamo riconoscere che non possiamo avere tutto. Che quel genere di sogno naif, oserei dire, quel sogno ingenuo che molti di noi hanno che la tecnologia sarà sempre al servizio del bene, che bisogna andare avanti, non fermarsi, più velocemente possibile senza prestare attenzione ad alcune delle conseguenze, questa semplicemente non è un'opzione. Possiamo averla. Se l'abbiamo, dovremo accettare alcune delle altre cose spiacevoli con essa, e di essere in questa sorta di gara con noi stessi in cui se vogliamo questo potere, conviene limitarlo, conviene trovare un modo per limitarlo.
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
NB: Penso che questa sia un'opzione, un'opzione davvero allettante, in un certo senso l'opzione più facile e potrebbe funzionare, ma vorrebbe dire essere totalmente vulnerabili all'estrazione di una palla nera. Penso che con un po' di coordinazione, se si risolvesse questo problema a livello di macrogovernance, e a livello di microgovernance, allora potremmo estrarre tutte le palle dall'urna e ne avremmo notevoli benefici.
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
CA: Insomma, se viviamo in una simulazione, ha importanza? Basta solo riavviare.
(Laughter)
(Risate)
NB: Then ... I ...
NB: In tal caso... Io...
(Laughter) I didn't see that one coming.
(Risate) Questa non me l'aspettavo.
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
CA: Quindi qual è la tua visione? Mettendo insieme tutti i pezzi, quanto è probabile che siamo condannati?
(Laughter)
(Risate)
I love how people laugh when you ask that question.
Mi piace come ride la gente quando faccio questa domanda.
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
NB: Come individui, sembra che siamo condannati in ogni caso, in base alla linea del tempo, ci decomponiamo e invecchiamo e tutto quel genere di cose.
(Laughter)
(Risate)
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
In effetti è un po' complicato. Se si vuole stabilire un ordine per poter attribuire una probabilità, primo, chi siamo? Se sei molto vecchio, probabilmente morirai di cause naturali, se sei molto giovane, potresti avere 100 anni... la probabilità dipenderebbe da a chi lo chiedi. Poi il confine, cioè: cosa conta come distruzione della civiltà? Nell'articolo non occorre che si tratti di una catastrofe esistenziale per contare. È solo una questione di definizione, io dico un miliardo di morti, o la riduzione del PIL del 50%, ma a seconda di quale soglia si stabilisce, si ottiene una stima diversa della probabilità. Direi che potresti considerarmi un ottimista spaventato.
(Laughter)
(Risate)
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
CA: Tu sei un ottimista spaventato, e credo che tu abbia appena creato un gran numero di altre... persone spaventate.
(Laughter)
(Risate)
NB: In the simulation.
NB: Nella simulazione.
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
CA: In una simulazione. Nick Bostrom, la tua mente è sbalorditiva. Davvero grazie per averci spaventati a morte.
(Applause)
(Applausi)