Chris Anderson: Nick Bostrom. So, you have already given us so many crazy ideas out there. I think a couple of decades ago, you made the case that we might all be living in a simulation, or perhaps probably were. More recently, you've painted the most vivid examples of how artificial general intelligence could go horribly wrong. And now this year, you're about to publish a paper that presents something called the vulnerable world hypothesis. And our job this evening is to give the illustrated guide to that. So let's do that. What is that hypothesis?
Chris Anderson: Nick Bostrom. Annyi őrült ötlettel rukkoltál már elő. Néhány évtizeddel ezelőtt azzal, hogy talán mind egy szimulációban élünk, vagy talán valószínűleg éltünk. Nemrégiben élénk képet festettél arról, hogyan sülhet el balul az általános mesterséges intelligencia. Idén pedig egy tanulmányt készülsz kiadni, mely a sebezhető világ hipotézisét boncolgatja. Ma este az a dolgunk, hogy ehhez képes útmutatót nyújtsunk. Tegyünk hát így. Miről szól a hipotézis?
Nick Bostrom: It's trying to think about a sort of structural feature of the current human condition. You like the urn metaphor, so I'm going to use that to explain it. So picture a big urn filled with balls representing ideas, methods, possible technologies. You can think of the history of human creativity as the process of reaching into this urn and pulling out one ball after another, and the net effect so far has been hugely beneficial, right? We've extracted a great many white balls, some various shades of gray, mixed blessings. We haven't so far pulled out the black ball -- a technology that invariably destroys the civilization that discovers it. So the paper tries to think about what could such a black ball be.
Nick Bostrom: A jelen emberi lét egyfajta strukturális jellemzőjét boncolgatja. Kedveled az urnametaforát, így azt használom magyarázatképp. Képzelj el egy nagy, golyókkal teli urnát, ahol a golyók ötletek, módszerek, lehetséges technológiák. Az emberi kreativitás történelmét felfoghatjuk úgy is, mint annak folyamatát, ahogyan az urnából egyik golyót a másik után húzzuk ki, és a végeredmény eddig elég hasznos volt, ugye? Nagy számban húztunk elő fehér golyókat, néhány szürkés árnyalatút, vegyes eredménnyel. A fekete golyót még nem húztuk ki – a technológiát, amely végérvényesen lerombolja az azt felfedező civilizációt. A tanulmány azt elemzi, milyen is lehet az a fekete golyó.
CA: So you define that ball as one that would inevitably bring about civilizational destruction.
CA: Tehát a golyót úgy jellemzed, mint amelyik elkerülhetetlenül lerombolja a civilizációt.
NB: Unless we exit what I call the semi-anarchic default condition. But sort of, by default.
NB: Kivéve, ha kilépünk abból, amit én félanarchikus alapállapotnak hívok. Egyfajta alapválasztásként.
CA: So, you make the case compelling by showing some sort of counterexamples where you believe that so far we've actually got lucky, that we might have pulled out that death ball without even knowing it. So there's this quote, what's this quote?
CA: Úgy teszed meggyőzővé ezt a modellt, hogy mutatsz néhány ellenpéldát, ahol valójában eddig szerencsések voltunk, hiszen akár ki is húzhattuk volna azt a halálgolyót, még csak nem is sejtve. Itt ez az idézet, miről szól?
NB: Well, I guess it's just meant to illustrate the difficulty of foreseeing what basic discoveries will lead to. We just don't have that capability. Because we have become quite good at pulling out balls, but we don't really have the ability to put the ball back into the urn, right. We can invent, but we can't un-invent. So our strategy, such as it is, is to hope that there is no black ball in the urn.
NB: Gondolom, illusztrálni akarja, milyen nehéz előre megjósolni, hová vezetnek alapfelfedezések. Képtelenek vagyunk megjósolni. Abban elég jók vagyunk, hogy kihúzzuk a golyókat, de visszatenni nem igazán tudjuk őket. Felfedezni tudunk, visszacsinálni nem. Ilyenképp a stratégiánk az, hogy reméljük, az urnában nincs fekete golyó.
CA: So once it's out, it's out, and you can't put it back in, and you think we've been lucky. So talk through a couple of these examples. You talk about different types of vulnerability.
CA: Ha tehát egyszer kihúzzák, kint van, nem lehet visszatenni, és szerinted eddig csak szerencsénk volt. Mutass be nekünk párat ezen példák közül. Különböző típusú sebezhetőségekről beszélsz.
NB: So the easiest type to understand is a technology that just makes it very easy to cause massive amounts of destruction. Synthetic biology might be a fecund source of that kind of black ball, but many other possible things we could -- think of geoengineering, really great, right? We could combat global warming, but you don't want it to get too easy either, you don't want any random person and his grandmother to have the ability to radically alter the earth's climate. Or maybe lethal autonomous drones, massed-produced, mosquito-sized killer bot swarms. Nanotechnology, artificial general intelligence.
NB: A legegyszerűbb ezt egy olyan technológia segítségével megérteni, amellyel könnyű nagy pusztítást véghezvinni. A szintetikus biológia termékeny talaj lehet egy ilyen golyónak, ám számtalan más dolog is szóba jöhet – mondjuk a geomérnökség, igazán nagyszerű, nem? Legyőzhetnénk a globális felmelegedést, viszont ne legyen túl könnyű, nem akarjuk, hogy egy random valaki a nagymamájával képes legyen megváltoztatni a Föld klímáját. Vagy ott vannak a halált okozó önvezető drónok, szériagyártású, szúnyogméretű, gyilkos robotrajok. Nanotechnológia, mesterséges általános intelligencia.
CA: You argue in the paper that it's a matter of luck that when we discovered that nuclear power could create a bomb, it might have been the case that you could have created a bomb with much easier resources, accessible to anyone.
CA: A tanulmányban úgy érvelsz, csak a szerencse kérdése volt, hogy amikor felfedeztük az atomenergiában rejlő bombát, az erőforrások nem voltak sokkal könnyebben elérhetőek, mindenki számára hozzáférhetőek a bombakészítéshez.
NB: Yeah, so think back to the 1930s where for the first time we make some breakthroughs in nuclear physics, some genius figures out that it's possible to create a nuclear chain reaction and then realizes that this could lead to the bomb. And we do some more work, it turns out that what you require to make a nuclear bomb is highly enriched uranium or plutonium, which are very difficult materials to get. You need ultracentrifuges, you need reactors, like, massive amounts of energy. But suppose it had turned out instead there had been an easy way to unlock the energy of the atom. That maybe by baking sand in the microwave oven or something like that you could have created a nuclear detonation. So we know that that's physically impossible. But before you did the relevant physics how could you have known how it would turn out?
NB: Igen, visszagondolva az 1930-as évekre, amikor először értünk el áttörést az atomfizikában, egy zseni rájön, hogy nukleáris láncreakció hozható létre, amely elvezethet a bombához. Kicsit tovább dolgozunk rajta, és kiderül, hogy az atombombához magasan dúsított urán vagy plutónium szükséges, mely anyagokhoz nehéz hozzájutni. Ultracentrifugákra, reaktorokra, meg nagy mennyiségű energiára van szükség. Tegyük fel, ehelyett úgy alakul, hogy van könnyebb mód az atomenergia felszabadítására. Például azzal, hogy homokot sütünk a mikrohullámúban vagy valami ilyesmi, atomrobbanást idézhetünk elő. Tudjuk, hogy ez fizikai képtelenség. Ám a kellő fizika nélkül honnan tudtuk volna, mi fog történni?
CA: Although, couldn't you argue that for life to evolve on Earth that implied sort of stable environment, that if it was possible to create massive nuclear reactions relatively easy, the Earth would never have been stable, that we wouldn't be here at all.
CA: Bár nem tagadhatod, hogy mivel a földi élet kialakulása egyfajta stabil környezetet igényelt, amennyiben könnyedén lehetne masszív magreakciót létrehozni, akkor a Föld sosem lett volna stabil, sőt egyáltalán nem is létezne.
NB: Yeah, unless there were something that is easy to do on purpose but that wouldn't happen by random chance. So, like things we can easily do, we can stack 10 blocks on top of one another, but in nature, you're not going to find, like, a stack of 10 blocks.
NB: Igen, kivéve, ha bizonyos dolgokat szándékosan könnyű megvalósítani, ám véletlenszerűen nem alakulnak ki. Például könnyen megtehetjük, hogy egymásra halmozunk 10 farönköt, de a természetben nem fogunk egy 10 rönkből álló farakást találni.
CA: OK, so this is probably the one that many of us worry about most, and yes, synthetic biology is perhaps the quickest route that we can foresee in our near future to get us here.
CA: Oké, valószínűleg ez az, ami sokunkat a legjobban aggaszt, és igen, a szintetikus biológia talán a leggyorsabb út, amely a közeljövőben feltehetően odajuttat bennünket.
NB: Yeah, and so think about what that would have meant if, say, anybody by working in their kitchen for an afternoon could destroy a city. It's hard to see how modern civilization as we know it could have survived that. Because in any population of a million people, there will always be some who would, for whatever reason, choose to use that destructive power. So if that apocalyptic residual would choose to destroy a city, or worse, then cities would get destroyed.
NB: Igen, gondoljuk csak el, mivel járhatott volna, ha bárki képes lenne lerombolni egy várost, mondjuk miközben délután a konyhájában tevékenykedik. Nehéz felfogni, hogyan élhette volna túl ezt a modern civilizáció abban a formájában, ahogy ismerjük. Ugyanis egymillió emberből mindig lesz néhány – bármi legyen is az oka –, aki használni akarja azt a pusztító erőt. És ha ezek az apokaliptikus szereplők, egy várost akarnának lerombolni, tényleg városok pusztulnának el.
CA: So here's another type of vulnerability. Talk about this.
CA: Nézzük a sebezhetőség egy másik típusát. Beszéljünk erről.
NB: Yeah, so in addition to these kind of obvious types of black balls that would just make it possible to blow up a lot of things, other types would act by creating bad incentives for humans to do things that are harmful. So, the Type-2a, we might call it that, is to think about some technology that incentivizes great powers to use their massive amounts of force to create destruction. So, nuclear weapons were actually very close to this, right? What we did, we spent over 10 trillion dollars to build 70,000 nuclear warheads and put them on hair-trigger alert. And there were several times during the Cold War we almost blew each other up. It's not because a lot of people felt this would be a great idea, let's all spend 10 trillion dollars to blow ourselves up, but the incentives were such that we were finding ourselves -- this could have been worse. Imagine if there had been a safe first strike. Then it might have been very tricky, in a crisis situation, to refrain from launching all their nuclear missiles. If nothing else, because you would fear that the other side might do it.
NB: Az egyértelmű fekete golyók mellett, melyek szimplán lehetővé teszik csomó minden felrobbantását, mások úgy fejtenék ki hatásukat, hogy negatív ösztönzőként az embereket rossz cselekedetekre sarkallnák. A 2a típus alatt, nevezhetjük így, elképzelhetünk valami olyan technológiát, amely a nagyhatalmakat arra ösztönzi, hogy hatalmas erőiket mozgósítva vigyenek végbe pusztítást. Az atomfegyverek eléggé a képbe illenek, ugye? Több mint 10 billió dollárt költöttünk 70 000 atomtöltet megépítésére, és kilövésre kész állapotban tartjuk őket. A Hidegháború alatt bizony párszor majdnem felrobbantottuk egymást. Nem azért, mert bárki is úgy érezte, jó ötlet 10 billió dollárt költeni magunk felrobbantására, hanem a körülmények erre ösztönöztek bennünket – rosszabb is lehetett volna. Képzeljünk el egy megelőző csapást. Azt követően, krízishelyzetben, nehéz lett volna megállni az összes atomrakéta kilövését. Ha másért nem, legalább attól való félelmünkben, hogy a másik megteszi.
CA: Right, mutual assured destruction kept the Cold War relatively stable, without that, we might not be here now.
CA: A kölcsönösen biztosított megsemmisítés viszonylag stabilizálta a Hidegháborút, enélkül lehet nem lennénk itt.
NB: It could have been more unstable than it was. And there could be other properties of technology. It could have been harder to have arms treaties, if instead of nuclear weapons there had been some smaller thing or something less distinctive.
NB: Instabilabb is lehetett volna a helyzet. A technológia más jellemzői miatt is. Nehezebben kötöttünk volna fegyverkezési egyezményeket, ha atomfegyverek helyett kisebb vagy kevésbé feltűnő dolgokról lett volna szó.
CA: And as well as bad incentives for powerful actors, you also worry about bad incentives for all of us, in Type-2b here.
CA: Nemcsak a nagyhatalmak negatív motivációja, hanem mindannyiunké aggaszt, ahogy a 2b pont is mutatja.
NB: Yeah, so, here we might take the case of global warming. There are a lot of little conveniences that cause each one of us to do things that individually have no significant effect, right? But if billions of people do it, cumulatively, it has a damaging effect. Now, global warming could have been a lot worse than it is. So we have the climate sensitivity parameter, right. It's a parameter that says how much warmer does it get if you emit a certain amount of greenhouse gases. But, suppose that it had been the case that with the amount of greenhouse gases we emitted, instead of the temperature rising by, say, between three and 4.5 degrees by 2100, suppose it had been 15 degrees or 20 degrees. Like, then we might have been in a very bad situation. Or suppose that renewable energy had just been a lot harder to do. Or that there had been more fossil fuels in the ground.
NB: Igen, vegyük például a globális felmelegedést. Elkényelmesedettségünk okán olyan dolgokat teszünk, amelyeknek külön-külön nincs ugyebár jelentős hatása. Ám ha emberek milliárdja tesz így, összesítve már romboló hatással bírnak. A globális felmelegedés most sokkal rosszabb is lehetne. Vegyük a klímaérzékenységi paramétert. Ez mutatja meg, mennyivel lesz melegebb, ha bizonyos mennyiségű üvegházhatású gázt bocsájtunk ki. Ám tegyük fel, hogy a kibocsájtott üvegházhatású gázzal 2100-ra mondjuk nem 3,5-4 fokkal, hanem 15 vagy 20 fokkal emeljük a hőmérsékletet. Akkor lennénk igazán rossz helyzetben. Vagy tegyük fel, nehezebb lenne megújuló energiát előállítani. Vagy több lenne a földben rejlő fosszilis üzemanyag.
CA: Couldn't you argue that if in that case of -- if what we are doing today had resulted in 10 degrees difference in the time period that we could see, actually humanity would have got off its ass and done something about it. We're stupid, but we're not maybe that stupid. Or maybe we are.
CA: Nem tagadhatod, hogy ebben az esetben – hogy ha az, amit ma teszünk, tíz fok különbséget eredményezett volna egy általunk is belátható időszakon belül, az emberiség keményen dolgozott volna valamilyen megoldáson. Hülyék vagyunk, de talán mégsem annyira. Vagy talán mégis.
NB: I wouldn't bet on it.
NB: Nem fogadnék rá.
(Laughter)
(Nevetés)
You could imagine other features. So, right now, it's a little bit difficult to switch to renewables and stuff, right, but it can be done. But it might just have been, with slightly different physics, it could have been much more expensive to do these things.
Más jellemzőket is elképzelhetnek. Jelenleg kicsit nehézkes a megújulókra és hasonlókra való átállás, de meg lehet csinálni. Lehetséges lenne kissé másfajta fizikával, viszont sokkal többe került volna megtenni ezeket.
CA: And what's your view, Nick? Do you think, putting these possibilities together, that this earth, humanity that we are, we count as a vulnerable world? That there is a death ball in our future?
CA: Mit gondolsz, Nick? Ha ezeket a lehetőségeket összerakjuk: ez a Föld, ez az emberiség, sebezhető világnak számít? Tartogat a jövőnk egy halálgolyót?
NB: It's hard to say. I mean, I think there might well be various black balls in the urn, that's what it looks like. There might also be some golden balls that would help us protect against black balls. And I don't know which order they will come out.
NB: Nehéz megmondani. Szerintem szép számmal akadnak az urnában különböző fekete golyók, ez a helyzet. Talán akadnak ott aranygolyók is, amelyek segítenek a feketék elleni védekezésben. Fogalmam sincs, milyen sorrendben kerülnek elő.
CA: I mean, one possible philosophical critique of this idea is that it implies a view that the future is essentially settled. That there either is that ball there or it's not. And in a way, that's not a view of the future that I want to believe. I want to believe that the future is undetermined, that our decisions today will determine what kind of balls we pull out of that urn.
CA: Egy lehetséges elméleti kritikája ennek a gondolatnak, hogy e nézet szerint a jövőnk alapvetően eldöntetett. Vagy van golyó, vagy nincs. Bizonyos tekintetben ez nem az a jövő, amiben hinni szeretnék. Azt akarom hinni, hogy a jövőnk nincs elrendelve, hogy a ma döntései határozzák meg, milyen golyót húzunk ki az urnából.
NB: I mean, if we just keep inventing, like, eventually we will pull out all the balls. I mean, I think there's a kind of weak form of technological determinism that is quite plausible, like, you're unlikely to encounter a society that uses flint axes and jet planes. But you can almost think of a technology as a set of affordances. So technology is the thing that enables us to do various things and achieve various effects in the world. How we'd then use that, of course depends on human choice. But if we think about these three types of vulnerability, they make quite weak assumptions about how we would choose to use them. So a Type-1 vulnerability, again, this massive, destructive power, it's a fairly weak assumption to think that in a population of millions of people there would be some that would choose to use it destructively.
NB: Úgy vélem, ha a felfedezéseket tovább folytatjuk, végül ki fogjuk húzni az összes golyót. Szerintem van egyfajta enyhe technológiai elrendeltség, mert elég valószínű, hogy nem találunk olyan társadalmat, amely pattintott kőbaltát és sugárhajtású repülőt használ. A technológiát szinte úgy is felfoghatjuk, mint egy adag "megengedést". A technológia számtalan dolgot tesz számunkra lehetővé, és különbözőképp hat a világra. Hogy ezt hogyan használjuk, az emberi választáson múlik. Ha a sebezhetőség e három típusára gondolunk, elég valószínű, hogyan döntenénk a használatukat illetően. Egy 1-es típusú sebezhetőség – ez a nagy pusztítóerő – kapcsán eléggé valószínű feltételezés, hogy egy millió emberből néhány felhasználná rombolás céljából.
CA: For me, the most single disturbing argument is that we actually might have some kind of view into the urn that makes it actually very likely that we're doomed. Namely, if you believe in accelerating power, that technology inherently accelerates, that we build the tools that make us more powerful, then at some point you get to a stage where a single individual can take us all down, and then it looks like we're screwed. Isn't that argument quite alarming?
CA: Számomra az egyetlen zavaró érv, hogy tulajdonképp van egyfajta elképzelésünk az urna tartalmáról, ami valószínűsíti, hogy a sorsunk megpecsételődött. Tudniillik, ha hisznek a gyorsító erőben, hogy a technológia eredendően felgyorsul, hogy eszközöket építünk, melyek erősebbé tesznek, hogy egy ponton eljutnak arra a szintre, ahol az egyén képes lesz mindannyiunkat elpusztítani, és az végzetesnek tűnik ránk nézve. Nem aggasztó ez az érvelés?
NB: Ah, yeah.
NB: Dehogynem.
(Laughter)
(Nevetés)
I think -- Yeah, we get more and more power, and [it's] easier and easier to use those powers, but we can also invent technologies that kind of help us control how people use those powers.
Szerintem... Egyre erősebbek leszünk és egyre könnyebben használjuk az erőket, ám feltalálhatunk olyan technológiákat is, melyek kontrollálni képesek, ahogy az emberek használják az erőket.
CA: So let's talk about that, let's talk about the response. Suppose that thinking about all the possibilities that are out there now -- it's not just synbio, it's things like cyberwarfare, artificial intelligence, etc., etc. -- that there might be serious doom in our future. What are the possible responses? And you've talked about four possible responses as well.
CA: Beszéljünk erről, a lehetséges reakcióról. Feltételezve, hogy a jelenleg már létező lehetőségek kapcsán úgy gondolkodunk – nemcsak a szintetikus biológiáról, hanem pl. a kiberháborúról, a mesterséges intelligenciáról stb. –, hogy a jövőben pusztulás várhat ránk. Mik a lehetséges reakciók? Négy lehetőséget említesz válaszként.
NB: Restricting technological development doesn't seem promising, if we are talking about a general halt to technological progress. I think neither feasible, nor would it be desirable even if we could do it. I think there might be very limited areas where maybe you would want slower technological progress. You don't, I think, want faster progress in bioweapons, or in, say, isotope separation, that would make it easier to create nukes.
NB: A technológiai fejlődést korlátozni nem tűnik ígéretes megoldásnak, ha általában véve meg akarnánk állítani a technológiai fejlődést. Nem megvalósítható, és nem is kívánatos út, még ha meg is tehetnénk. Úgy hiszem, igen kevés terület az, ahol le akarnánk lassítani a technológiai fejlődést. Gondolom, nem akarnak gyorsabb fejlődést biológiai fegyverek esetében, vagy mondjuk az izotópok szétválasztásában, mellyel könnyebb lenne atomfegyvereket gyártani.
CA: I mean, I used to be fully on board with that. But I would like to actually push back on that for a minute. Just because, first of all, if you look at the history of the last couple of decades, you know, it's always been push forward at full speed, it's OK, that's our only choice. But if you look at globalization and the rapid acceleration of that, if you look at the strategy of "move fast and break things" and what happened with that, and then you look at the potential for synthetic biology, I don't know that we should move forward rapidly or without any kind of restriction to a world where you could have a DNA printer in every home and high school lab. There are some restrictions, right?
CA: Régebben egyetértettem ezzel. Ám szeretnék most ellenvetéssel élni, mindenekelőtt, mert az elmúlt évtized történéseit nézve, mindig is teljes gázzal mentünk előre, ez oké, ez az egyetlen lehetőségünk. Ám ha a globalizációt és annak gyorsulását, ha a "Haladj gyorsan és zúzd a dolgokat" mottó stratégiáját nézzük, és hogy mi lett annak a sorsa, majd megnézzük a szintetikus biológia kínálta lehetőségeket, nem tudom, tényleg gyorsabban kellene-e haladnunk, vagy bármilyen korlátozás nélkül, egy olyan világ felé, ahol a DNS-nyomtató minden háztartásban és gimnáziumi laborban elérhető. Vannak korlátozások, ugye?
NB: Possibly, there is the first part, the not feasible. If you think it would be desirable to stop it, there's the problem of feasibility. So it doesn't really help if one nation kind of --
NB: Ott van egyrészről, hogy nem megvalósítható. Ha úgy hisszük, kívánatos megállítani, ott a megvalósíthatóság kérdése. Az nem igazán segít, ha egy nemzet valahogy...
CA: No, it doesn't help if one nation does, but we've had treaties before. That's really how we survived the nuclear threat, was by going out there and going through the painful process of negotiating. I just wonder whether the logic isn't that we, as a matter of global priority, we shouldn't go out there and try, like, now start negotiating really strict rules on where synthetic bioresearch is done, that it's not something that you want to democratize, no?
CA: Nem, ha egy nemzet teszi, nem segít, de megállapodásokat korábban is kötöttünk. Úgy éltük túl a nukleáris fenyegetést, hogy felléptünk és átestünk az egyezkedés fájdalmas folyamatán. Csak csodálkozom, hogy mivel ez globálisan elsődleges, nem lenne-e logikus megpróbálni, mondjuk azzal, hogy szigorúan szabályozzuk, hol lehet szintetikusbiológiai kutatásokat végezni, ez nem olyasvalami, ugye, amit demokratizálni akarnánk?
NB: I totally agree with that -- that it would be desirable, for example, maybe to have DNA synthesis machines, not as a product where each lab has their own device, but maybe as a service. Maybe there could be four or five places in the world where you send in your digital blueprint and the DNA comes back, right? And then, you would have the ability, if one day it really looked like it was necessary, we would have like, a finite set of choke points. So I think you want to look for kind of special opportunities, where you could have tighter control.
NB: Teljes mértékben egyetértek – például nem rossz, ha a DNS-szintetizáló elérhető, ne olyan termék legyen, hogy minden labor rendelkezzen vele, hanem inkább szolgáltatás. Mondjuk négy-öt hely a világon, ahová digitális lenyomatot küldhetnek, és DNS-t kapnak vissza, nem? Aztán lenne rá lehetőség, ha egy nap tényleg szükség volna rá, hogy legyenek véges számú ellenőrzőpontok. Úgy értem, ha egyfajta speciális lehetőségeket akarnánk, ahol szigorúbban lehet ellenőrizni.
CA: Your belief is, fundamentally, we are not going to be successful in just holding back. Someone, somewhere -- North Korea, you know -- someone is going to go there and discover this knowledge, if it's there to be found.
CA: Alapvetően abban hiszel, hogy a visszatartás nem vezet eredményhez. Valaki, valahol – mondjuk, Észak-Koreában –, valaki eljut oda és felfedezi ezt a tudást, ha van mit felfedezni.
NB: That looks plausible under current conditions. It's not just synthetic biology, either. I mean, any kind of profound, new change in the world could turn out to be a black ball.
NB: A jelen körülmények között ez valószínű. És nem csak a szintetikus biológiában. Szerintem a világon bármely mélyreható, új változásból lehet fekete golyó.
CA: Let's look at another possible response.
CA: Nézzünk egy másik lehetséges reakciót.
NB: This also, I think, has only limited potential. So, with the Type-1 vulnerability again, I mean, if you could reduce the number of people who are incentivized to destroy the world, if only they could get access and the means, that would be good.
NB: Ez itt szintén csak korlátozott hatással bír. Újra az 1-es típusú sebezhetőséget véve, ha csökkenthető lenne a világ lerombolásában érdekeltek száma, ha csak nekik lenne hozzáférésük, eszközeik, az jó lenne.
CA: In this image that you asked us to do you're imagining these drones flying around the world with facial recognition. When they spot someone showing signs of sociopathic behavior, they shower them with love, they fix them.
CA: Ezen a képen elképzeled, amint drónok repkednek mindenfelé, arcfelismerővel. Ha kiszúrnak valakit szociopata viselkedéssel, megöntözik szeretettel, megjavítják.
NB: I think it's like a hybrid picture. Eliminate can either mean, like, incarcerate or kill, or it can mean persuade them to a better view of the world. But the point is that, suppose you were extremely successful in this, and you reduced the number of such individuals by half. And if you want to do it by persuasion, you are competing against all other powerful forces that are trying to persuade people, parties, religion, education system. But suppose you could reduce it by half, I don't think the risk would be reduced by half. Maybe by five or 10 percent.
NB: Ez olyan, mint egy hibrid kép. Az eltávolítás egyszerre jelenthet bebörtönzést vagy kivégzést, de azt is, hogy szebb színben lássák a világot. Ám a lényeg, tegyük fel, jó eredményeket értünk el, és felére csökkent az effajta egyének száma. Ha meggyőzéssel élnénk, nagy erőkkel kell szembeszállnunk, amelyek ugyanúgy igyekeznek hatni az emberekre: pártok, vallás, oktatás. De tegyük fel, felére csökken a számuk, viszont a kockázat nem csökkenne a felére. Talán öt-tíz százalékkal.
CA: You're not recommending that we gamble humanity's future on response two.
CA: Tehát nem ajánlod, hogy ezzel tegyük kockára az emberiség jövőjét.
NB: I think it's all good to try to deter and persuade people, but we shouldn't rely on that as our only safeguard.
NB: Szerintem jó dolog elrettenteni és meggyőzni az embereket, de nem szabad erre, mint egyetlen biztosítékra támaszkodnunk.
CA: How about three?
CA: És a harmadik?
NB: I think there are two general methods that we could use to achieve the ability to stabilize the world against the whole spectrum of possible vulnerabilities. And we probably would need both. So, one is an extremely effective ability to do preventive policing. Such that you could intercept. If anybody started to do this dangerous thing, you could intercept them in real time, and stop them. So this would require ubiquitous surveillance, everybody would be monitored all the time.
NB: Szerintem két általános módszer jöhet szóba, hogy megerősítsük a világot egy egész seregnyi sebezhetőséggel szemben. Lehet, mindkettő szükséges lesz. Az egyik nagyon hatékony képesség a megelőző rendszabályozás. Időben közbe tudnánk lépni. Ha bárki veszélyes dologba fogna, valós időben közbe tudnánk lépni, megakadályozni. Ehhez totális megfigyelés szükségeltetik, mindenkit, mindenkor megfigyelnének.
CA: This is "Minority Report," essentially, a form of.
CA: Ez a "Különvélemény" egy formája.
NB: You would have maybe AI algorithms, big freedom centers that were reviewing this, etc., etc.
NB: Talán lennének MI algoritmusok, nagy központokkal, amelyek ezeket figyelik stb.
CA: You know that mass surveillance is not a very popular term right now?
CA: Tudod, hogy a tömeges megfigyelés manapság nem túl népszerű?
(Laughter)
(Nevetés)
NB: Yeah, so this little device there, imagine that kind of necklace that you would have to wear at all times with multidirectional cameras. But, to make it go down better, just call it the "freedom tag" or something like that.
NB: Persze; ezért képzeljük el, hogy egy ilyen nyakláncot kellene állandóan viselnünk, benne 360 fokos kamerával. De hogy emészthetőbb legyen, hívhatjuk "szabadságcédulának" vagy valami ilyesmi.
(Laughter)
(Nevetés)
CA: OK. I mean, this is the conversation, friends, this is why this is such a mind-blowing conversation.
CA: Oké. Ez aztán a beszélgetés, barátaim, és pont emiatt ilyen elképesztő a beszélgetés.
NB: Actually, there's a whole big conversation on this on its own, obviously. There are huge problems and risks with that, right? We may come back to that. So the other, the final, the other general stabilization capability is kind of plugging another governance gap. So the surveillance would be kind of governance gap at the microlevel, like, preventing anybody from ever doing something highly illegal. Then, there's a corresponding governance gap at the macro level, at the global level. You would need the ability, reliably, to prevent the worst kinds of global coordination failures, to avoid wars between great powers, arms races, cataclysmic commons problems, in order to deal with the Type-2a vulnerabilities.
NB: Valójában egész nagy beszélgetés folyik erről, csakis erről. Ez rengeteg problémát, kockázatot jelent, nem? Erről később beszélhetünk. A másik, a végső, a másik általános megerősítési lehetőség a kormányzási szakadék egyfajta betömése. A megfigyelés például mikroszintű kormányzási szakadék, megakadályozni bárkit, hogy valami nagyon törvénytelent csináljon. Ez a kormányzási szakadék pedig makroszinten, világszinten is látható. Megbízhatóan szükségünk van arra a képességre, hogy útját álljuk a legsúlyosabb globális koordinációs hibáknak, így kerülve el a nagyhatalmak közti háborúkat, fegyverkezési versenyeket, a közösségek katasztrófáit, hogy lehetőségük legyen a 2a típusú sebezhetőségekkel foglalkozni.
CA: Global governance is a term that's definitely way out of fashion right now, but could you make the case that throughout history, the history of humanity is that at every stage of technological power increase, people have reorganized and sort of centralized the power. So, for example, when a roving band of criminals could take over a society, the response was, well, you have a nation-state and you centralize force, a police force or an army, so, "No, you can't do that." The logic, perhaps, of having a single person or a single group able to take out humanity means at some point we're going to have to go this route, at least in some form, no?
CA: A globális kormányzás manapság idejétmúlt fogalom, de tagadhatod-e a tényt, hogy a történelem során, az emberiség történelmében, a technológiai erő növekedésének minden szakaszában újraszervezték és egyfajtaképp központosították a hatalmat. Például ha egy huligánbanda átvehetné a társadalom fölötti uralmat, a válasz az, hogy egy nemzetállamban, központosított erőkkel, rendőri vagy katonai erővel ez nem lehetséges. A logikus az, hogy ha egyetlen személy, vagy egy csoport, ki tudná irtani az emberiséget, azt jelenti, valamikor rá is kell lépjünk erre az útra, valamilyen formában, nem?
NB: It's certainly true that the scale of political organization has increased over the course of human history. It used to be hunter-gatherer band, right, and then chiefdom, city-states, nations, now there are international organizations and so on and so forth. Again, I just want to make sure I get the chance to stress that obviously there are huge downsides and indeed, massive risks, both to mass surveillance and to global governance. I'm just pointing out that if we are lucky, the world could be such that these would be the only ways you could survive a black ball.
NB: Tény, hogy a politikai szervezettség nagy mértékben nőtt az emberi történelem során. Először vadászó-gyűjtögető horda, majd fejedelemség, városállamok, nemzetek, most nemzetközi szervezeteink vannak, és így tovább. Ismétlem, hangsúlyozom, hogy a tömeges megfigyelésnek és a globális kormányzásnak nyilvánvalóan komoly hátulütői, jelentős kockázatai vannak. Csak rá szeretnék mutatni, hogy ha szerencsénk van, lehet olyan világ is, ahol ezek lesznek a fekete golyó túlélésének egyetlen esélyei.
CA: The logic of this theory, it seems to me, is that we've got to recognize we can't have it all. That the sort of, I would say, naive dream that many of us had that technology is always going to be a force for good, keep going, don't stop, go as fast as you can and not pay attention to some of the consequences, that's actually just not an option. We can have that. If we have that, we're going to have to accept some of these other very uncomfortable things with it, and kind of be in this arms race with ourselves of, you want the power, you better limit it, you better figure out how to limit it.
CA: Ennek az elméletnek a logikája, nekem úgy tűnik, az, hogy nem lehet minden a miénk. Igen, valahogy úgy. Hogy úgy mondjam, sokunk naiv álma az, hogy a technológia mindig a jó erőket szolgálja majd, ne álljunk meg, folytassuk, amilyen gyorsan csak lehet, ne figyeljünk oda következményekre, ez nem választási lehetőség. Meg tudjuk csinálni. Ha megvan, el kell fogadnunk néhány kellemetlen velejáróját is, és mintegy önmagunkkal kell fegyverkezési versenybe szállni: ha akarjuk a hatalmat, korlátoznunk kell, és jobb, ha kitaláljuk, hogyan korlátozhatjuk.
NB: I think it is an option, a very tempting option, it's in a sense the easiest option and it might work, but it means we are fundamentally vulnerable to extracting a black ball. Now, I think with a bit of coordination, like, if you did solve this macrogovernance problem, and the microgovernance problem, then we could extract all the balls from the urn and we'd benefit greatly.
NB: Szerintem ez is egy lehetőség, igen csábító lehetőség, bizonyos értelemben a legkönnyebb, és talán működhet is. De azt jelenti, a fekete golyó kihúzását nézve alapvetően sebezhetőek vagyunk. Szerintem kis koordinációval, ha mondjuk megoldottuk a makro- és mikrokormányzási problémát, akkor minden golyót kihúzhatunk az urnából, és élvezhetjük ezek előnyeit.
CA: I mean, if we're living in a simulation, does it matter? We just reboot.
CA: Ha viszont egy szimulációban élünk, számít ez egyáltalán? Csak újrabootolunk.
(Laughter)
(Nevetés)
NB: Then ... I ...
NB: Akkor... én...
(Laughter) I didn't see that one coming.
(Nevetés) Erre nem számítottam.
CA: So what's your view? Putting all the pieces together, how likely is it that we're doomed?
CA: Szóval, mit gondolsz? Ha összeillesztjük a részleteket, mennyire biztos, hogy halálra vagyunk ítélve?
(Laughter)
(Nevetés)
I love how people laugh when you ask that question.
Szeretem, ahogy nevetnek a kérdés hallatán.
NB: On an individual level, we seem to kind of be doomed anyway, just with the time line, we're rotting and aging and all kinds of things, right?
NB: Mint egyének, az idővel, amúgy is halálra vagyunk ítélve, romlunk és öregszünk és hasonlók, nem?
(Laughter)
(Nevetés)
It's actually a little bit tricky. If you want to set up so that you can attach a probability, first, who are we? If you're very old, probably you'll die of natural causes, if you're very young, you might have a 100-year -- the probability might depend on who you ask. Then the threshold, like, what counts as civilizational devastation? In the paper I don't require an existential catastrophe in order for it to count. This is just a definitional matter, I say a billion dead, or a reduction of world GDP by 50 percent, but depending on what you say the threshold is, you get a different probability estimate. But I guess you could put me down as a frightened optimist.
Valójában ez kissé trükkös. Ha a valószínűségre is kíváncsi, akkor először is: kik vagyunk? Ha nagyon öregek, a halál lehet természetes. Ha nagyon fiatalok, lehet még száz évünk – a valószínűség azon is múlhat, kiről van szó. Aztán a küszöbérték: mi számít a civilizáció pusztulásának? A tanulmányban nemcsak az egzisztenciális katasztrófákat veszem figyelembe. Ez csak meghatározás kérdése. Mondjuk egymilliárd halott vagy a GDP 50%-os csökkenése, ám attól függően, mi a küszöbérték, eltérő valószínűségi becslések jönnek ki. Ám lehet, rémült optimistának tartanak.
(Laughter)
(Nevetés)
CA: You're a frightened optimist, and I think you've just created a large number of other frightened ... people.
CA: Te egy rémült optimista vagy, és szerintem épp most rémítettél meg egy csomó másik ... embert is.
(Laughter)
(Nevetés)
NB: In the simulation.
NB: A szimulációban.
CA: In a simulation. Nick Bostrom, your mind amazes me, thank you so much for scaring the living daylights out of us.
CA: Egy szimulációban. Nick Bostrom, az elméd lenyűgöz, köszönöm, hogy halálos rémületbe kergettél bennünket.
(Applause)
(Taps)