Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
Chris Anderson: Nick Bostrom. Já nos deste muitas ideias incríveis. Penso que aqui há décadas defendeste a ideia de que podemos estar a viver numa simulação, ou provavelmente, estávamos. Mais recentemente, descreveste os exemplos mais impressionantes de como a inteligência artificial poderá vir a gerar resultados terríveis. E este ano, estás prestes a publicar um artigo que apresenta uma coisa chamada a hipótese do mundo vulnerável. O nosso papel esta noite é apresentar um guia ilustrado sobre esse tema. Vamos a isso. Que hipótese é essa?
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
Nick Bostrom: É uma tentativa de reflexão sobre uma característica estrutural da atual condição humana. Tu gostas da metáfora da urna, por isso vou usá-la para explicar melhor. Imagina uma grande urna cheia de bolas, que representam ideias, métodos, possíveis tecnologias. Podes pensar na história da criatividade humana como o processo de chegar a esta urna e ir tirando uma bola atrás de outra. Até aqui, o efeito tem sido muito benéfico, não é? Já extraímos uma grande quantidade de bolas brancas, algumas de vários tons de cinzento, com prós e contras. Até agora não tirámos a bola preta — uma tecnologia que destrua fatalmente a civilização que a encontrar. O artigo procura refletir no que será essa bola preta.
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
CA: Então, defines essa bola como aquela que, inevitavelmente, provocará a destruição da civilização.
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
NB: A não ser que abandonemos aquilo a que chamo a situação semianárquica, por defeito
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
mas, de qualquer modo, por defeito. CA: Argumentas de forma convincente apresentando contraexemplos de que, segundo crês, temos tido muita sorte, até agora, em que podíamos ter tirado essa bola mortífera sem sequer darmos por isso. O que é esta citação?
NB: Well, I guess it's just meant to illustrate the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
["O Progresso Contínuo na Mecânica Celestial produzirá a bomba H"] NB: Penso que pretende ilustrar a dificuldade de prever aonde nos levarão as descobertas elementares. Não temos essa capacidade. Porque tornámo-nos muito bons a extrair as bolas, mas não temos a capacidade de voltar a pôr a bola na urna. Podemos inventar, mas não podemos des-inventar. A nossa estratégia atual é ter a esperança de que não haja nenhuma bola preta na urna.
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
CA: Depois de aparecer, está cá fora e não podemos voltar a pô-la lá dentro e tu pensas que temos tido sorte. Fala-nos de alguns desses exemplos. Falas de diferentes tipos de vulnerabilidade.
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
NB: O tipo mais fácil de perceber é uma tecnologia que torna muito fácil uma destruição maciça. A biologia sintética pode ser uma fonte fecunda duma bola preta, mas há muitas outras coisas possíveis — pensa na geo-engenharia, é genial, não é? Podemos combater o aquecimento global, mas não queremos que seja demasiado fácil, não queremos que uma pessoa qualquer e a sua avó possam alterar radicalmente o clima da Terra. Ou os "drones" autónomos mortíferos, enxames de robôs assassinos do tamanho de mosquitos e produzidos em massa. A nanotecnologia, a inteligência artificial geral.
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
CA: Defendes nesse artigo que foi só por sorte — quando descobrimos que a energia nuclear podia criar uma bomba — que não criámos uma bomba com recursos muito mais simples, acessíveis a toda a gente.
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
NB: Sim, pensa nos anos 30 em que, pela primeira vez, fizemos descobertas revolucionárias na física nuclear. Houve um génio que descobriu ser possível criar uma reação nuclear em cadeia e depois percebeu-se que isso podia levar à bomba. E continuámos a trabalhar. Acontece que o necessário para fazer uma bomba nuclear é urânio enriquecido ou plutónio, que são materiais muito difíceis de obter. São precisos ultracentrifugadores, são precisos reatores, quantidades enormes de energia. Mas suponhamos que, em vez disso, tivesse havido uma forma fácil de libertar a energia do átomo. Talvez cozendo areia no micro-ondas ou qualquer coisa assim, pudéssemos ter criado uma explosão nuclear. Sabemos que isso é fisicamente impossível. Mas antes de estudarmos a física relevante como é que sabíamos o que iria acontecer?
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
CA: Podias alegar que, para a vida evoluir na Terra era indispensável um ambiente estável e que, se fosse possível criar grandes reações nucleares com relativa facilidade, a Terra nunca teria estado estável e nós não estaríamos aqui.
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
NB: Sim, a não ser que houvesse qualquer coisa fácil de fazer mas isso não aconteceria por acaso. Coisas fáceis de fazer, como empilhar 10 blocos uns por cima dos outros mas, na Natureza, não encontramos uma pilha de 10 blocos.
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
CA: Ok, isto provavelmente é aquilo que mais preocupa muitos de nós e, sim, a biologia sintética talvez seja o caminho mais rápido que, podemos prever, pode levar-nos lá num futuro próximo.
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
NB: Pois é, pensa no que significaria se alguém, a trabalhar na cozinha, durante uma tarde, pudesse destruir uma cidade. É difícil ver como a civilização moderna, tal como a conhecemos, teria sobrevivido a isso. Porque, em qualquer população de um milhão de pessoas, haverá sempre alguém, por qualquer razão que seja, que pode decidir usar esse poder destrutivo. Assim, se esse resíduo apocalíptico decidir destruir uma cidade ou, pior, as cidades serão destruídas.
CA: So here's another type of vulnerability. Talk about this.
CA: Esse é outro tipo de vulnerabilidade. Fala-nos disso.
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
NB: Para além destes tipos óbvios de bolas pretas isso tornaria possível fazer explodir muitas coisas. Outros tipos agiriam criando maus incentivos para os seres humanos fazerem coisas prejudiciais. O Tipo-2a, podemos chamar-lhe assim, é pensar nalguma tecnologia que incentive as grandes potências a usar a sua quantidade enorme de força para provocar a destruição. As armas nucleares estiveram muito perto disso, não foi? Gastámos mais de 10 biliões de dólares para fabricar 70 000 ogivas nucleares e colocá-las em alerta imediato. Houve várias ocasiões, durante a Guerra Fria, em que quase nos explodimos mutuamente. Não porque muita gente achasse que seria boa ideia gastar 10 biliões de dólares para nos fazermos explodir, mas porque os incentivos eram enormes — podia ter sido pior. Imagina se tivesse havido um primeiro ataque. Podia ter sido muito complicado, numa situação de crise, conseguirmos abstermo-nos de lançar todos os mísseis nucleares. Quanto mais não fosse, porque recearíamos que o outro lado o fizesse.
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
CA: Claro, uma destruição mútua garantida manteve a Guerra Fria relativamente estável. Sem isso, podíamos não estar aqui agora.
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
NB: Podia ter sido mais instável do que foi. Podia haver outras propriedades da tecnologia. Podia ter sido mais difícil ter tratados sobre armamento se, em vez de armas nucleares, fosse uma coisa mais pequena ou menos impressionante.
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
CA: Tal como com os maus incentivos para atores poderosos, também te preocupas
NB: Yeah, so, here we might take the case of global warming.
com os maus incentivos para todos nós, o Tipo-2b.
There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
NB: Sim, podemos agarrar no caso do aquecimento global. Há muitos pequenos confortos que levam cada um de nós a fazer coisas que, individualmente, não têm efeito significativo. Mas, se milhares de milhões de pessoas o fizerem, cumulativamente, o efeito é destruidor. O aquecimento global podia ter sido muito pior do que é. Temos o parâmetro de sensibilidade climática. É um parâmetro que indica quanto é o aquecimento se emitirmos uma certa quantidade de gases com efeito de estufa. Mas supõe que se dava o caso de que, com a quantidade de gases com efeito de estufa que emitimos, em vez de a temperatura subir entre 3 a 4,5 graus até 2100, imagina que subiria entre 15 ou 20 graus. Aí estaríamos numa situação muito má. Supõe que as energias renováveis tinham sido muito mais complexas ou que tinha havido mais combustíveis fósseis no terreno.
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
CA: Não podias argumentar que, se aquilo que estamos a fazer hoje tivesse resultado em 10 graus de diferença no período de tempo que podemos ver, a humanidade ter-se-ia alarmado e teria feito alguma coisa. Somos estúpidos, mas não somos assim tão estúpidos. Ou talvez sejamos.
NB: I wouldn't bet on it.
NB: Não apostaria nisso.
(Laughter)
(Risos)
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
Podemos imaginar outras opções. Neste momento, é um pouco difícil mudar para as renováveis, mas pode ser feito. Podia ter sido, com uma física um pouco diferente, teria sido muito mais dispendioso fazer essas coisas.
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
CA: Qual é a tua opinião, Nick? Achas que, juntando todas estas possibilidades. esta humanidade que somos, somos um mundo vulnerável? Haverá uma bola mortífera no nosso futuro?
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
NB: É difícil dizer. Ou seja, penso que pode haver várias bolas pretas na urna, é o que parece. Também pode haver algumas bolas douradas que nos ajudarão a proteger-nos das bolas pretas. Mas não sei qual a ordem por que vão sair.
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
CA: Uma possível crítica filosófica dessa ideia é que isso implica uma visão de um futuro já determinado, quer essa bola exista ou não. E, de certa forma, é uma visão do futuro em que eu não quero acreditar. Eu quero acreditar que o futuro é indeterminado, que são as nossas decisões de hoje que determinarão o tipo de bolas que vamos tirar dessa urna.
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
NB: Se continuarmos a inventar, acabaremos por extrair todas as bolas. Penso que há uma certa forma de determinismo tecnológico que é bastante plausível. Ou seja, não é provável encontrar uma sociedade que use machados de sílex e aviões a jato. Mas quase podemos ver a tecnologia como um conjunto de possibilidades. A tecnologia é a coisa que nos possibilita fazer diversas coisas e obter diversos efeitos no mundo. Como vamos usá-las depende das opções humanas. Mas, se pensarmos nestes três tipos de vulnerabilidade, são pressupostos muito fracos sobre como optaríamos por usá-las. Uma vulnerabilidade Tipo-1 esse enorme poder destrutivo, é uma hipótese muito fraca pensar que, numa população de milhões de pessoas haveria algumas que optariam por usá-la destrutivamente.
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
CA: Para mim, o argumento mais perturbador é podermos espreitar para dentro da urna e vermos que, provavelmente, estamos condenados. Se acreditarmos no poder acelerador, que a tecnologia acelera inerentemente, que criamos as ferramentas que nos tornam mais poderosos, a certa altura, acabamos por chegar a um ponto em que um único indivíduo pode eliminar-nos a todos e assim, parece que estamos lixados. Este argumento não é alarmante?
NB: Ah, yeah.
NB: Claro que é.
(Laughter)
(Risos)
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
Penso que... Sim, cada vez temos mais poder e é cada vez mais fácil usar esses poderes mas também podemos inventar tecnologias que nos ajudem a controlar como as pessoas usam esses poderes.
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
CA: Falemos nisso, falemos na resposta. Suponhamos que pensar em todas as possibilidades que existem atualmente — não é só a biologia sintética, são coisas como a guerra cibernética, a inteligência artificial, etc., etc. — que podem ser uma condenação do nosso futuro. Quais são as possíveis respostas? Falaste de quatro respostas possíveis.
NB: Restricting technological development doesn't seem promising, if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
NB: Restringir o desenvolvimento tecnológico não parece ser promissor, se falamos duma paragem geral do progresso tecnológico. Penso que não é exequível nem seria desejável, mesmo que o pudéssemos fazer. Penso que pode haver áreas muito limitadas em que talvez quiséssemos abrandar o progresso tecnológico. Penso que não queremos um progresso mais rápido nas armas biológicas ou na separação de isótopos que facilitaria a criação de ogivas nucleares.
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
CA: Eu costumava estar inteiramente de acordo com isso. Mas gostaria de contra-argumentar durante instantes. Primeiro que tudo, se olharmos para a história das últimas décadas, tem havido sempre uma evolução a toda a velocidade. Tudo bem, a escolha tem sido nossa. Mas, se olharmos para a globalização e para a sua rápida aceleração, se olharmos para a estratégia de "avançar rápido e partir a loiça" e o que aconteceu com isso, e depois olhamos para o potencial da biologia sintética, não sei se devemos avançar rapidamente ou sem qualquer tipo de restrições para um mundo em que podemos ter uma impressora de ADN em todos os lares e nos laboratórios dos liceus. Há restrições, não há?
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
NB: Possivelmente. Temos a primeira parte: não exequível. Se pensarmos que seria desejável parar, há o problema da exequibilidade. Na verdade, não ajuda muito se um país...
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
CA: Não, não ajuda muito se for um só país, mas já tivemos tratados. Foi assim que sobrevivemos à ameaça nuclear, foi passando pelo processo doloroso de negociação. Ponho-me a pensar se a lógica não será que nós, em termos de prioridade global, não devíamos tentar começar a negociar regras estritas sobre onde se pode fazer investigação sobre biologia sintética. Não é uma coisa que queiramos democratizar, pois não?
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
NB: Estou inteiramente de acordo com isso. Seria desejável, por exemplo, ter máquinas de síntese de ADN, não enquanto um aparelho existente em todos os laboratórios, mas como um serviço. Talvez pudesse haver quatro ou cinco locais no mundo para onde enviar o nosso modelo digital e receber o ADN de volta. Depois, teríamos essa capacidade se um dia isso fosse mesmo necessário teríamos um conjunto finito de pontos de obstrução. Penso que queres olhar para especiais oportunidades, em que podemos ter um controlo mais apertado.
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
CA: Fundamentalmente, acreditas que não vamos conseguir atrasar as coisas. Alguém, algures — Coreia do Norte — alguém vai lá chegar e descobrir esse conhecimento se é que ele existe.
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
NB: Isso parece plausível nas atuais condições. Também não é só biologia sintética. Qualquer tipo de mudança profunda e nova, no mundo pode vir a ser uma bola preta.
CA: Let's look at another possible response.
CA: Vejamos outra resposta possível.
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
NB: Penso que isto também tem um potencial limitado. Com a vulnerabilidade de Tipo-1, mais uma vez, se pudermos reduzir o número de pessoas que estão motivadas a destruir o mundo, se pelo menos fossem só elas a ter o acesso e os meios isso seria bom.
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
CA: Nesta imagem que nos pediste para fazermos, imaginaste estes "drones" a voar à volta do mundo com reconhecimento facial. Quando detetam alguém que mostra um comportamento sociopata dão-lhe um banho de amor e recuperam-no.
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
NB: É uma imagem híbrida. Eliminar pode significar encarcerar ou matar ou pode significar convencê-los a uma melhor visão do mundo. Mas a questão é esta: Imagina que temos um grande êxito, e reduzíamos para metade o número desses indivíduos. Se queremos fazê-lo por persuasão, estamos a competir contra as outras forças poderosas que tentam persuadir as pessoas, os partidos, a religião, o sistema de ensino. Mas suponhamos que os reduzimos a metade, penso que o risco não seria reduzido a metade. Talvez apenas a 5% ou 10%.
CA: You're not recommending that we gamble humanity's future on response two.
CA: Não estás a recomendar que falemos do futuro da humanidade
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
com a resposta dois. NB: Penso que é bom tentar dissuadir e persuadir as pessoas mas não podemos confiar nisso como única salvaguarda.
CA: How about three?
CA: E quanto à terceira resposta?
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
NB: Penso que há dois métodos gerais que podemos usar para conseguir a capacidade de estabilizar o mundo contra todo o espetro de possíveis vulnerabilidades. Provavelmente, vamos precisar das duas coisas. Uma é uma capacidade extremamente eficaz de policiamento preventivo. para poder intercetar alguém que comece a fazer coisas perigosas. Poder intercetá-la em tempo real, e detê-la. Isso exigirá uma vigilância omnipresente, toda a gente terá de ser monitorizada a toda a hora.
CA: This is "Minority Report," essentially, a form of.
CA: É essencialmente uma forma de "Minority Report".
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
NB: Talvez tenhamos algoritmos de IA, grandes centro de liberdade que examinariam isso, etc., etc.
CA: You know that mass surveillance is not a very popular term right now?
CA: A vigilância de massas não é muito popular neste momento...
(Laughter)
(Risos)
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
NB: Eu sei. Aquele pequeno aparelho. imagina que tens de usar sempre aquele tipo de coleira com câmaras multidirecionais. Mas, para ser mais bem aceite, chama-lhe "farol da liberdade" ou qualquer coisa dessas.
(Laughter)
(Risos)
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
CA: Ok. Isto, meus amigos, é só uma conversa é por isso que é uma conversa tão estonteante.
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
NB: Na verdade, há toda uma conversa sobre este tema em especial. Há grandes problemas e riscos com isto, não é? Podemos voltar a falar nisso. A última resposta, a outra capacidade de estabilização geral colmata um vazio da governação. A vigilância preencherá um vazio da governação a um nível micro: impedir quem quer que seja de fazer uma coisa altamente ilegal. Há um vazio de governação equivalente, a nível macro, a nível mundial. Precisaremos de capacidade eficaz, para impedir os piores tipos de falhas de coordenação mundial, para evitar guerras entre as grandes potências, corridas ao armamento, problemas comuns cataclísmicos, a fim de lidar com as vulnerabilidades Tipo-2a.
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
CA: Governação global é um termo que está definitivamente fora de moda neste momento mas podes adiantar que, ao longo da História, a História da Humanidade, em cada fase do aumento do poder tecnológico as pessoas têm reorganizado e de certa forma centralizado o poder. Por exemplo, quando um bando itinerante de criminosos podia dominar uma sociedade, a reposta foi criar um estado-nação e uma força centralizada, força policial ou militar, para isso não ser possível A lógica, talvez, de ter uma única pessoa ou um único grupo capaz de dominar a humanidade significa que, a certa altura, temos de ir por este caminho, de alguma forma, não é?
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
NB: É verdade que a escala da organização política aumentou ao longo da história humana. Primeiro era um bando de caçadores-recoletores. depois uma chefatura, cidades-estados, nações. Agora são organizações internacionais etc., etc. Mais uma vez, só quero assegurar, ter a hipótese de sublinhar que, obviamente, há tremendos inconvenientes e enormes riscos tanto na vigilância de massas como na governação global. Só estou a sublinhar que, se tivermos sorte, o mundo pode ser tal que estas serão as únicas formas de sobrevivermos a uma bola preta.
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
CA: A lógica desta teoria segundo me parece, é que temos de reconhecer que não podemos ter tudo. De certo modo, eu diria que o sonho ingénuo que muitos de nós temos é que a tecnologia vai ser sempre uma força para o bem, que não devemos parar, mas avançar o mais depressa possível e não prestar atenção a algumas das consequências. Não temos opção. Podemos ter isso. Se tivermos isso, vamos ter de aceitar algumas das outras coisas muito incómodas que vêm juntas entramos na corrida ao armamento com nós mesmos: se quisermos o poder devemos limitá-lo, é melhor perceber como limitá-lo.
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
NB: Penso que é uma opção, uma opção muito tentadora, de certo modo, a opção mais fácil e pode funcionar, mas significa que estamos extremamente vulneráveis a extrair a bola preta. Eu penso que, com um pouco de coordenação — resolvendo este problema de macrogovernação, e o problema da microgovernação — podemos extrair todas as bolas da urna e beneficiar imenso.
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
CA: Mas, se estamos a viver numa simulação, isso é importante? Basta reiniciarmos.
(Laughter)
(Risos)
NB: Then ... I ...
NB: Bom... eu...
(Laughter) I didn't see that one coming.
(Risos) eu não vi isso a chegar.
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
CA: Então, qual é a tua visão? Juntando todas as peças,
(Laughter)
qual é a probabilidade de estarmos condenados?
(Risos)
I love how people laugh when you ask that question.
Adoro como as pessoas riem quando eu faço esta pergunta.
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
NB: A nível individual, parece que estamos condenados, mais tarde ou mais cedo, estamos a apodrecer e a envelhecer e todos os tipos de coisas.
(Laughter)
(Risos)
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
Na verdade, é um pouco complicado. Se nos quisermos preparar para agarrar uma probabilidade, a primeira coisa é: quem somos nós? Se formos muito velhos, morreremos de causas naturais, se formos muito novos podemos chegar aos 100 anos, consoante a quem perguntarem. Depois o limiar: o que conta como devastação civilizacional? No meu artigo eu não preciso de uma catástrofe existencial para que isso conte. É apenas uma questão de definição, digo mil milhões de mortos ou uma redução do PIB mundial em 50%, mas consoante o limiar que for definido, obtemos uma estimativa diferente da probabilidade. Acho que podem acusar-me de otimista assustado.
(Laughter)
(Risos)
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
CA: És um otimista assustado e eu acho que acabaste de criar um grande número de outras pessoas assustadas.
(Laughter)
(Risos)
NB: In the simulation.
NB: Na simulação.
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
CA: Numa simulação. Nick Bostrom, o teu espírito maravilha-me. Muito obrigado por nos teres assustado.
(Applause)
(Aplausos)