Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
Chris Anderson: Nick Bostrom. Bem, você já nos apresentou muitas ideias loucas por aí. Acho que, há algumas décadas, você argumentou sobre a possibilidade de vivermos numa simulação, ou talvez a probabilidade disso. Mais recentemente, ilustrou os mais vívidos exemplos de como a inteligência artificial poderia tomar um caminho terrível. E agora, este ano, você está prestes a publicar um artigo que apresenta algo chamado de "A Hipótese do Mundo Vulnerável". Nosso trabalho esta noite é de fornecer o guia ilustrado para ela. Então, vamos fazê-lo. O que é essa hipótese?
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
Nick Bostrom: É a de tentar pensar sobre uma espécie de característica estrutural da atual condição humana. Você gosta da metáfora da urna, então eu a utilizarei na explicação. Imagine uma grande urna preenchida por bolas que representam ideias, métodos e possíveis tecnologias. Você pode pensar sobre a história da criatividade humana como o processo de enfiar a mão nessa urna e tirar uma bola após a outra, e o efeito em rede até agora tem sido muito benéfico, certo? Nós extraímos muitíssimas bolas brancas, e algumas com tons cinzas, bênçãos misturadas. Nós ainda não tiramos a bola completamente escura... uma tecnologia que invariavelmente destrói a civilização que a descobre. Então, o artigo tenta imaginar o que seria tal bola completamente escura.
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
CA: Então, você define a bola como aquela que inevitavelmente provoca a destruição da civilização.
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
NB: A não ser que abandonemos o que chamo de condição semi-anárquica padrão. Mas assim, através de um padrão.
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
CA: Você argumenta convincentemente, mostrando alguns tipos de contra-exemplos nos quais acredita que, até hoje, na verdade tivemos sorte, pois possivelmente já tiramos essa bola devastadora sem termos nos dado conta disso. Há uma citação; o que ela significa?
NB: Well, I guess it's just meant to illustrate
[O progresso da mecânica trará a Bomba-H]
the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
NB: Acho que ela quer ilustrar a dificuldade em prever até onde as descobertas básicas podem nos levar. Nós simplesmente não temos esse tipo de capacidade. Porque nos tornamos muito bons em tirar bolas da urna, mas não temos de fato a capacidade de colocá-las de volta. Podemos inventar algo, mas não "desinventar". Sendo assim, nossa estratégia é esperar que não haja nenhuma bola escura na urna.
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
CA: Então, uma vez que está fora, está fora, e não se pode colocar de volta, e você acha que temos tido sorte. Fale sobre alguns desses exemplos. Você menciona diferentes tipos de vulnerabilidade.
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
NB: O tipo mais fácil de entender é uma tecnologia que facilita muito causar enormes quantidades de destruição. A biologia sintética pode ser uma fonte fértil desse tipo de bola escura, mas há muitas outras coisas possíveis que poderíamos... pense na geoengenharia, que é ótima. Poderíamos usá-la no combate ao aquecimento global, mas também não é ideal facilitar esse acesso, pois não queremos que alguém e sua avó tenham a habilidade de alterar radicalmente o clima da Terra. Ou talvez os drones autônomos letais, produzidos em massa; enxames de robôs assassinos do tamanho de mosquitos. A nanotecnologia, a inteligência artificial geral.
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
CA: Você argumenta no artigo que foi questão de sorte quando descobrimos que o poder nuclear podia criar bombas, porque poderia ter sido o caso de podermos fazer bombas com recursos muito mais fáceis, acessíveis a qualquer um.
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
NB: Sim, então, pense na década de 1930, na qual, pela primeira vez, nós fizemos grandes descobertas na física nuclear, e um gênio descobre que é possível criar uma reação nuclear em cadeia, e percebe que isso pode gerar uma bomba. E então, trabalhamos um pouco mais, e descobrimos que para fazer uma bomba nuclear é necessário ter elementos como urânio ou plutônio altamente enriquecidos, que são bem difíceis de se obter. É preciso o uso de ultracentrifugadoras, de reatores e de quantidades imensas de energia. Mas suponha que, em vez disso, houvesse uma maneira mais fácil de desbloquear a energia daquele átomo. Que, talvez, ao cozinhar areia no micro-ondas, ou algo do tipo, seri possível ter criado uma detonação nuclear. Hoje, sabemos que isso é fisicamente impossível; mas, antes de fazer o cálculo de física, como poderíamos saber que seria assim?
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
CA: Mas você não poderia argumentar que para a vida se desenvolver na Terra isso implicou um tipo de ambiente estável, e que se fosse possível criar de forma relativamente fácil reações nucleares maciças, a Terra nunca teria sido estável, e nós nem estaríamos aqui? NB: Sim, a não ser que isso envolvesse algo que é fácil fazer de propósito,
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
mas que não poderia acontecer aleatoriamente. Como coisas que fazemos com facilidade, por exemplo: empilhar dez blocos; e, no entanto, na natureza não encontramos uma pilha assim. CA: Certo, a próxima é provavelmente
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
aquela com a maioria de nós mais se preocupa; e sim, a biologia sintética talvez seja a rota mais rápida que podemos ver em nosso futuro próximo para nos levar a esse ponto.
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
NB: Sim, então pense sobre o que isso teria significado se, digamos, qualquer pessoa trabalhando em sua cozinha por uma tarde pudesse destruir uma cidade. É difícil ver como a civilização moderna da maneira como a conhecemos poderia ter sobrevivido a isso. Porque, em qualquer população de milhões de pessoas sempre haverá alguém que, por qualquer motivo, escolheria usar esse poder destrutivo. Então, se esse resíduo apocalíptico escolhesse destruir uma cidade ou pior, então as cidades seriam destruídas.
CA: So here's another type of vulnerability. Talk about this.
CA: Então, aqui temos outro tipo de vulnerabilidade. Fale sobre isso.
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
NB: Além dessas espécies de bola escura, que são um pouco óbvias, que permitiriam explodir várias coisas, outros tipos agiriam no sentido de criar estímulos ruins para que humanos tomassem atitudes prejudiciais. Então, o Tipo 2A, podemos chamá-la assim, é para pensar sobre alguma tecnologia que estimula que grandes poderes usem suas quantidades maciças de força para causar destruição. As armas nucleares na verdade estavam bem próximas disso, certo? Nós gastamos mais de US$ 10 trilhões para construir 70 mil ogivas nucleares e colocá-las em alerta de gatilho. E houve várias ocasiões na Guerra Fria em que quase explodimos um ao outro. Não que muitos achassem que essa era uma ótima ideia, gastar US$ 10 trilhões para explodir uns aos outros, mas os estímulos eram tais que não tínhamos saída... e poderia ter sido pior. Imagine se tivesse havido um primeiro ataque seguro. Então, teria sido muito complicado, numa situação de crise, evitar o lançamento de todos os mísseis nucleares deles. Se não por outra razão, pelo medo do outro lado também fazê-lo.
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
CA: A certeza da destruição mútua manteve a Guerra Fria relativamente estável, e sem isso, possivelmente não estaríamos aqui.
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
NB: Poderia ter sido mais instável, e provocado outras questões tecnológicas. Poderia ter sido mais difícil ter tratados militares se ao invés de armas nucleares tivesse sido algo menor ou menos distinto.
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
CA: Assim como estímulos ruins para agentes poderosos, você também se preocupa com estímulos ruins para todos nós no Tipo 2B, aqui.
NB: Yeah, so, here we might take the case of global warming. There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
NB: Então, aqui, nós podemos exemplificar com o aquecimento global. Há várias pequenas conveniências que induzem cada um de nós a fazer coisas que individualmente não têm nenhum efeito significativo, certo? Mas, se bilhões de pessoas as fazem cumulativamente, o efeito é prejudicial. O aquecimento global poderia ter sido bem pior do que é. Nós temos o parâmetro de sensibilidade climática. É um parâmetro que nos diz o quão mais quente o mundo fica ao emitirmos certa quantidade de gases de efeito estufa. Mas, suponha que fosse o caso de que com o volume de gases de efeito estufa que emitimos, em vez da temperatura subir, digamos, entre 3 °C e 4,5 °C até 2100, ela subisse 15 °C ou 20 °C. Ficaríamos numa situação muito ruim. Ou suponha que a energia renovável fosse bem mais difícil de produzir, ou que tivesse mais combustíveis fósseis sob o solo.
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
CA: Você não poderia argumentar que caso o que estamos fazendo hoje tivesse resultado na diferença de 10 °C num período de tempo que podíamos prever, na verdade a humanidade teria se esforçado e feito algo sobre isso. Somos estúpidos, mas não tanto assim. Ou talvez sejamos. NB: Eu não apostaria nisso.
NB: I wouldn't bet on it.
(Risos)
(Laughter)
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
Você pode imaginar outras condições. Então... nesse momento, é um pouco difícil mudar para renováveis e coisas do tipo, mas isso pode ser feito. Mas é possível que com um tipo de física levemente diferente, teria sido muito mais caro fazer coisas desse gênero.
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
CA: E qual é sua visão, Nick? Acha que ao juntar tais possibilidades, que essa humanidade que somos, nós contamos como um mundo vulnerável? Há uma bola da morte em nosso futuro?
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
NB: É difícil dizer. Acho que é possível haver várias bolas escuras na urna, isso é o que parece. Também parece haver algumas bolas douradas que ajudariam a nos proteger dessas bolas escuras. E eu não sei em qual ordem elas sairão.
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
CA: Bem, uma possível crítica filosófica a essa ideia é que ela implica na visão de que o futuro está essencialmente determinado. Ou seja: ou essa bola está lá, ou não. E, de certa forma, essa não é uma visão de futuro na qual eu quero acreditar. Quero acreditar que o futuro é indeterminado, que são as decisões de hoje que determinarão os tipos de bolas que pegaremos da urna.
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
NB: Bem, se nós apenas continuarmos inventando, eventualmente pegaremos todas as bolas. Acho que há uma certa forma fraca de determinismo tecnológico bem plausível, do tipo: é improvável que encontremos uma sociedade que use tanto eixos de pederneira quanto aviões a jato. Mas podemos quase pensar sobre tecnologia como um conjunto de recursos. Então, a tecnologia é algo que permite fazer várias coisas e alcançar inúmeros efeitos no mundo. Agora, a maneira de utilizá-la é algo que depende da escolha humana. Mas, pensando sobre esses três tipos de vulnerabilidade, eles fazem suposições bem fracas sobre como escolheríamos utilizá-las. A vulnerabilidade Tipo 1, de novo, esse imenso poder destrutivo, é uma hipótese bastante fraca de pensar que numa população de milhões de pessoas somente algumas escolheriam usá-la de maneira destrutiva.
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
CA: Para mim, o argumento mais perturbador de todos é o de que, na verdade, temos uma certa visão do lado de dentro da urna que nos faz perceber que é bem provável que estejamos condenados. Isto é, se acreditamos no poder de aceleramento, de que a tecnologia inerentemente se acelera, de que construímos ferramentas que nos dão mais poder, então, em algum momento, chegaremos num estágio no qual um indivíduo qualquer poderá matar todo mundo, e, por isso, parece que estamos ferrados. Esse argumento não é bem alarmante?
NB: Ah, yeah.
NB: Bem, sim.
(Laughter)
(Risos)
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
Eu acho... É, nós obtemos cada vez mais poder, e fica cada vez mais fácil utilizar esses poderes, mas também podemos inventar tecnologias que nos ajudem a ter certo controle de como as pessoas os utilizam.
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
CA: Então, falemos sobre a resposta. Suponha que pensar sobre todas as possibilidades que já existem... não é só a biologia sintética, mas a guerra cibernética, inteligência artificial, etc... que podem ser uma séria ruína em nosso futuro. Quais são as possíveis respostas? Você também falou sobre quatro possíveis respostas.
NB: Restricting technological development doesn't seem promising, if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
NB: Restringir o desenvolvimento tecnológico não parece promissor, se estamos falando de uma parada geral do progresso tecnológico. Também não acho factível ou desejável, ainda que pudéssemos fazer isso. Acho que pode haver várias áreas limitadas nas quais talvez seria bom abrandar o progresso tecnológico. Não queremos um progresso mais rápido das armas biológicas, ou em, digamos, separação isotópica, que facilitaria a criação de armas nucleares.
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
CA: Eu costumava ser totalmente a favor dessa rapidez. Mas na verdade, eu gostaria de discordar dela por um momento. Apenas porque, primeiro, se observarmos a história das últimas décadas, os avanços foram acelerados na velocidade máxima, e essa é nossa única escolha. Mas se considerarmos a globalização e sua rápida aceleração, e observarmos a estratégia de "mover depressa e quebrar tudo" e o que aconteceu com isso, e então observamos o potencial da biologia sintética, eu não sei se deveríamos nos mover rapidamente ou sem qualquer tipo de restrição para um mundo onde se pode ter uma impressora de DNA em toda casa e laboratórios de escola de ensino médio. Há algumas restrições, não é?
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
NB: Talvez a primeira parte, sobre isso não ser factível. Se pensarmos que seria desejável parar isso, há o problema da viabilidade. Então realmente não ajuda quando uma nação meio que...
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
CA: Não ajuda se uma nação o faz, mas nós tivemos tratados antes. Foi realmente assim que sobrevivemos à ameaça nuclear, nos expondo e enfrentando o doloroso processo de negociação. Só me pergunto se a lógica não é que nós, como um assunto de prioridade global, não deveríamos tentar, por exemplo, começar a negociar agora regras bem estritas sobre até onde a biopesquisa com sintéticos pode ir, porque isso não é algo que se queira democratizar, certo?
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
NB: Eu concordo plenamente com isso... que seria desejável, por exemplo, talvez ter máquinas de síntese de DNA, não como produto no qual todo laboratório teria seu próprio dispositivo, mas talvez como um serviço. Talvez poderia haver quatro ou cinco lugares no mundo para onde se mandasse um planta digital e o DNA fosse enviado de volta. E então, teríamos a habilidade, se um dia realmente parecesse necessário, de ter um conjunto determinado de pontos de bloqueio. Então, acho que devemos olhar para aquelas oportunidades especiais, nas quais podemos ter um controle mais rígido.
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
CA: Sua crença é, fundamentalmente, de que não seremos bem-sucedidos ao ficarmos só na retaguarda. Em algum lugar, alguém, na Coreia do Norte, quem sabe? Alguém no mundo vai descobrir esse conhecimento, se ele existir.
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
NB: Isso parece plausível sob as condições atuais. E não se trata só da biologia sintética; qualquer tipo de mudança nova e profunda no mundo poderia vir a ser uma bola escura.
CA: Let's look at another possible response.
CA: Vamos olhar outra possível resposta.
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
NB: Considero que isso também tenha potencial limitado. Então, com a vulnerabilidade de Tipo 1, de novo, se pudermos reduzir o número de pessoas que são incentivadas a destruir o mundo, as que têm acesso e meios para destruí-lo, isso seria bom. CA: Nesta imagem você imagina esses drones viajando pelo mundo
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
com reconhecimento facial. Quando reconhece alguém que demonstra sinais de comportamento sociopata, o drone o "banha com amor" e o "conserta".
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
NB: Acho que é tipo uma figura híbrida. Eliminar pode significar encarcerar ou matar, ou persuadir alguém a ter uma visão melhor do mundo. Mas o ponto é, suponha que você fosse muito bem-sucedido nisso, e reduzisse o número de tais indivíduos pela metade. E se quiser fazer isso pela persuasão, está competindo contra todas as outras forças de poder que tentam persuadir as pessoas: política, religião, sistemas de educação. Mas, supondo que os reduza pela metade, não acho que o risco seria reduzido pela metade. Talvez por 5% ou 10%.
CA: You're not recommending that we gamble humanity's future on response two.
CA: Não está recomendado que apostemos o futuro da humanidade na resposta dois.
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
NB: Acho muito bom tentar dissuadir e persuadir as pessoas, mas não deveríamos depender disso como nossa única salvaguarda.
CA: How about three?
CA: E quanto à três?
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
NB: Acho que há dois métodos gerais que podemos usar para alcançar a habilidade de estabilizar o mundo contra o espectro total das possíveis vulnerabilidades. E provavelmente precisaríamos de ambos. Então, um é uma habilidade extremamente eficaz de fazer policiamento preventivo, com a possibilidade de interceptação. Se alguém começar a fazer algo perigoso, podemos interceptá-lo em tempo real, e pará-lo. Assim, isso iria requerer vigilância onipresente: todo mundo sendo monitorado o tempo todo.
CA: This is "Minority Report," essentially, a form of.
CA: É basicamente o filme "Minority Report - A Nova Lei".
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
NB: Você talvez tivesse algoritmos de IA, grandes centros de liberdade que ficariam revendo isso, etc.
CA: You know that mass surveillance is not a very popular term right now?
CA: Sabe que a vigilância das massas não é muito popular hoje?
(Laughter)
(Risos)
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
NB: Bem, sobre o dispositivo da figura, imagine um tipo de colar que teríamos que usar o tempo todo com câmeras multidirecionais. Mas, para ficar mais palatável, vamos chamá-lo de algo do tipo "etiqueta da liberdade".
(Laughter)
(Risos)
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
CA: Tudo bem. Essa é a conversa, amigos, e por isso é tão intrigante. NB: Na verdade, há outra conversa enorme sobre isso
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
paralelamente à nossa, claro. Há problemas enormes e riscos sobre isso, né? Nós podemos voltar a isso. Então a a outra capacidade final de estabilização geral está obstruindo uma outra lacuna de governança. A vigilância seria um tipo de lacuna de governança a um micronível, a ponto de impedir todo mundo de fazer qualquer coisa altamente ilegal. Então, há a lacuna de governança correspondente a nível global. Precisaríamos da habilidade e da confiabilidade para prevenir os piores tipos de falhas de coordenação global, e evitar guerras entre grandes poderes, corridas armamentistas, problemas comuns de cataclismo... para poder lidar com as vulnerabilidades do Tipo 2A.
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
CA: Governança global é um termo bem fora de moda agora, mas você poderia dizer que, ao longo da história da humanidade, a cada estágio de crescimento de poder tecnológico, as pessoas reorganizaram e, de certa forma, centralizaram o poder? Assim, por exemplo, quando um bando itinerante de criminosos tentasse dominar uma sociedade, a resposta de uma nação-estado seria centralizar a força policial ou militar e dizer: "Vocês não podem fazer isso". Talvez a lógica de que uma única pessoa ou um único grupo fosse capaz de assumir o controle da humanidade significa que em algum ponto teremos que considerar isso, não?
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
NB: É verdade que a escala de organização política aumentou através do curso da história humana. Costumava ser um grupo de caçadores-coletores, então uma chefia, depois cidades-estados, e nações, agora há organizações internacionais, e por aí vai. De novo, quero ter a chance de enfatizar que obviamente há grandes desvantagens e, certamente, riscos concretos, tanto para a vigilância de massa quanto para a governança global. Só estou apontando que, se tivermos sorte, o mundo poderia ser tal que essas seriam as únicas formas de sobreviver a uma bola escura.
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
CA: A lógica dessa teoria, me parece, é a de que temos que reconhecer que não podemos ter tudo. Que, assim, esse "sonho ingênuo" que muitos de nós tínhamos de que a tecnologia sempre seria uma força para o bem, sempre indo, sem parar, o mais rápido que pudesse, sem prestar atenção para certas consequências, isso de fato não é uma opção. Nós podemos ter isso, mas aí teremos que aceitar outras coisas desconfortáveis inerentes a isso e entrar numa corrida armamentista contra nós mesmos, na qual, se quisermos o poder, precisaremos descobrir como limitá-lo.
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
NB: Acredito que essa seja uma opção, e bem tentadora, no sentido de que é a mais fácil e que pode dar certo, mas significa, basicamente, que ficamos vulneráveis a extrair uma bola escura. Acho que com certa coordenação, se resolvêssemos esse problema de micro e macrogovernança, então poderíamos extrair todas as bolas da urna e nos beneficiaríamos grandemente.
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
CA: Bem, se estamos vivendo em uma simulação, isso importa? Nós apenas reiniciaríamos.
(Laughter)
(Risos)
NB: Then ... I ...
(Laughter) I didn't see that one coming.
Eu não esperava por isso.
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
CA: E qual a sua visão? Encaixando todos os pedaços, é provável que estejamos condenados?
(Laughter)
(Risos)
I love how people laugh when you ask that question.
Adoro quando as pessoas riem quando você pergunta isso.
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
NB: Em um nível individual, parecemos condenados de qualquer jeito pela questão da linha do tempo, já que estamos apodrecendo, envelhecendo, e tudo isso, não é?
(Laughter)
(Risos)
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
De fato, é um pouco complexo. Para prever uma probabilidade, primeiro: de quem estamos falando? Um idoso, provavelmente morrerá de causas naturais, alguém bem jovem ainda terá uns 100 anos; a probabilidade dependerá do receptor. E então, o limite, o que contaria como a devastação da civilização? No artigo eu não preciso de uma catástrofe existencial para que se conte como tal. É só uma questão de definição, digamos, um bilhão de mortos, ou uma redução do PIB mundial de 50%; mas dependendo do que coloca como limite, a estimativa da probabilidade é diferente. Mas acho que você poderia me menosprezar dizendo que sou um otimista assustado.
(Laughter)
(Risos)
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
CA: Você é um otimista assustado, e acho que acabou de criar um grande número de outras... pessoas assustadas.
(Laughter)
(Risos)
NB: In the simulation.
NB: Dentro da simulação. CA: Dentro de uma simulação!
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
Nick Bostrom, sua mente me fascina, muito obrigado por assustar todos nós imensamente. (Aplausos)
(Applause)