After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We've discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we've also discovered something inspiring, which is that the technology we're developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.
13,8 milliárd év kozmikus történelmét követően univerzumunk életre kelt, tudatára ébredt létezésének. Egy kis kék bolygóról világegyetemünk kicsiny, tudatos összetevői kezdték bámulni a kozmoszt teleszkópjaikkal, és felfedeztek valami lehangolót: Rájöttek, hogy univerzumunk mérhetetlenül nagyobb az őseink által képzeltnél. Az élet észrevehetetlen rendbontásnak tűnik az egyébként halott világmindenségben. Felfedeztünk azonban valami biztatót is, hogy fejlődő technológiánk segítségével az élet úgy fejlődhet, mint soha azelőtt, évszázadok helyett évmilliárdokig a Földön túl a csodás kozmoszban is.
I think of the earliest life as "Life 1.0" because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as "Life 2.0" because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. "Life 3.0," which can design not only its software but also its hardware of course doesn't exist yet. But perhaps our technology has already made us "Life 2.1," with our artificial knees, pacemakers and cochlear implants.
A kezdeti életre "Lét 1.0"-ként gondolok, mivel igen ostoba volt, a baktériumokhoz hasonló, tanulásra képtelen. Az emberiségre "Lét 2.0"-ként gondolok, mivel mi képesek vagyunk tanulni. Kockaként ezt úgy értelmezhetjük, mintha agyunkba új szoftvereket telepítenének: nyelveket és szaktudást. "Lét 3.0", amely saját szoftverén túl hardverét is meg tudja tervezni természetesen nem létezik még. Eszközeinkkel talán a "Lét 2.1" vagyunk, térdprotézisekkel, szívritmus- szabályzókkal, cochleáris implantátummal.
So let's take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there's an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren't just three astronauts but all of humanity. Let's talk about our collective journey into the future with artificial intelligence.
Nézzük meg alaposabban kapcsolatunkat a technológiával! Például az Apolló-11 holdra szállása sikeres és biztató volt. Megmutatta, hogy a technológiát bölcsen használva olyan dolgokat vihetünk véghez, amelyről őseink csak álmodozhattak. De van egy még lelkesítőbb utazás, a rakétánál erősebb meghajtással, ahol nem csak három űrhajós utazik, hanem az egész emberiség. Beszéljünk közös utazásunkról a jövőbe a mesterséges intelligenciával, az MI-vel!
My friend Jaan Tallinn likes to point out that just as with rocketry, it's not enough to make our technology powerful. We also have to figure out, if we're going to be really ambitious, how to steer it and where we want to go with it. So let's talk about all three for artificial intelligence: the power, the steering and the destination.
Barátom, Jaan Tallinn szeret rámutatni, hogy éppúgy, mint a rakétatechnikánál, nem elég az erős technológia. Ha eltökéltek vagyunk, azt is ki kell dolgozzuk, hogyan irányítsuk, és mire használjuk. Beszéljünk az MI-vel kapcsolatosan e három tényezőről: az erőről, az irányításról és a célról.
Let's start with the power. I define intelligence very inclusively -- simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you're made of meat. It's really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn't walk. Now, they can do backflips. Not long ago, we didn't have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn't do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn't beat us at the game of Go. Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world's best player by just playing against itself. And the most impressive feat here wasn't that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.
Kezdjük az erővel. Intelligencián egyszerűen komplex céljaink megvalósítási képességét értem, belevéve a biológiai és a mesterséges intelligenciát is. Hagyjuk a buta szénsoviniszta elméletet, hogy csak az lehet okos, ami élő. Igazán meglepő, ahogy az MI ereje növekedett mostanában! Gondoljuk csak meg. Nemrég a robotok járni sem tudtak, most hátraszaltót csinálnak. Nemrég még nem volt önvezető autónk, ma automata rakétáink vannak. Nemrég az MI nem volt képes arcfelismerésre, ma képes hamis arcokat előállítani, arcunkat szimulálva olyasmiket mondani, amit sohasem mondanánk. Nemrég az MI nem győzött le minket góban, aztán a Google DeepMind AlphaZero MI megtanulta 3000 év emberi gojátszmáit és go-bölcsességét, majd figyelmen kívül hagyva őket, csak önmagával játszva vált világelsővé. De a leglenyűgözőbb nem az emberi játékosok legyőzése volt, hanem az MI-kutatóké, akik évtizedeket töltöttek a játék szoftverének fejlesztésével. Az AlphaZero nem csak góban győzte le az MI-kutatókat, hanem sakkban is, amin már 1950 óta dolgozunk.
So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there's a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront --
Az MI e szédítő fejlődése felveti a kérdést: mit várhatunk még? Szeretek erről gondolkodni a feladatok ezen elméleti tájképe alapján. A magasság jelzi, milyen nehéz az MI-nek a feladat teljesítése emberi szinten. A tengerszint az, ahol ma az MI tart. A tengerszint nő az MI fejlődésével, globális felmelegedés zajlik a feladattérképen, a nyilvánvaló következtetés, hogy kerüljék a vízparti foglakozásokat,
(Laughter)
(Nevetés)
which will soon be automated and disrupted. But there's a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence -- AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, "Ah, there will always be jobs that humans can do better than machines," are simply saying that we'll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there's a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what's known as superintelligence.
melyeket hamarosan elér az automatizálás. Van egy sokkal nagyobb kérdés is: Meddig emelkedik a víz? Elönt végül mindent, emberi szinten végezve minden feladatot? Ez a definíciója az általános mesterséges intelligenciának, az ÁMI-nak, amely az MI-kutatók Szent Grálja a kezdetek óta. Eszerint akik így beszélnek: "Mindig lesznek foglalkozások, amelyekben az emberek jobbak a gépeknél!", azt mondják, az ÁMI sosem jön létre. Lesz majd pár emberi foglalkozás, vagy adhatunk jövedelmet és célt az embereknek foglalkozásaikkal, de az ÁMI mindenképp átalakítja az általunk ismert életet, mikor nem mi leszünk a legintelligensebbek. Ha a vízszint eléri az ÁMI-t, a további MI fejlődést főleg maga az MI fogja irányítani, ami azt jelenti, hogy lehetséges a további MI jelentősen gyorsabb fejlődése mint az emberi kutatás és a fejlődés években mérhető időtartama, felvetve az intelligencia kirobbanó fejlődésének vitatott lehetőségét, amikor az önmagát ismétlődően fejlesztő MI gyorsan messze maga mögött hagyja az emberi intelligenciát, és létrehozza a szuperintelligenciát.
Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won't happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis's optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question -- and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?
Mi a valóság? Elérjük az ÁMI-t hamarosan? Néhány híres MI-kutató, pl. Rodney Brooks szerint, ez nem következik be még pár száz évig. De mások – mint a Google DeepMind alapítója Demis Hassabis – optimistábbak. A gyors megvalósuláson dolgoznak. Felmérések szerint a legtöbb MI kutató osztja Demis optimizmusát, szerintük évtizedeken belül eljön az ÁMI. Sokan megéljük ezt, ami felveti a kérdést, mi lesz utána? Mi legyen az emberek szerepe, ha a gépek mindent jobban és olcsóbban végeznek el?
The way I see it, we face a choice. One option is to be complacent. We can say, "Oh, let's just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?"
Úgy látom, választás előtt állunk. Az egyik az önteltség. Azt mondjuk: "Építsünk csak gépeket, amik mindent meg tudnak tenni, amit mi, ne aggódjunk a következmények miatt! Ha a gépek elavulttá teszik az embereket, mi baj lehet belőle?"
(Laughter)
(Nevetés)
But I think that would be embarrassingly lame. I think we should be more ambitious -- in the spirit of TED. Let's envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We're making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It's a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I'm optimistic that we can create a really inspiring high-tech future ... if -- and this is a big if -- if we win the wisdom race -- the race between the growing power of our technology and the growing wisdom with which we manage it. But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times -- invented the fire extinguisher.
Szerintem ez kínosan ostoba dolog volna. Nagyra kéne törnünk a TED szellemében. Képzeljünk el igazán biztató csúcstechnológiás jövőt, és próbáljunk arra tartani. Ez rakétahasonlatunk második részéhez vezet: az irányításhoz. Erősebbé tesszük az MI-t, de hogyan irányítsuk olyan jövő felé, ahol az MI nem vergődéshez, hanem fejlődéshez segít bennünket? Ennek előmozdítására megalapítottuk az Élet Jövője Intézetet. Nonprofit, jótékony technológiai alkalmazásokat támogat. Célunk csak az élet jövőjének biztosítása, és ösztönző, amennyire lehet. Szeretem a technológiát. A technológia miatt jobb ma, mint a kőkorszakban volt. Optimista vagyok, hogy létrehozhatunk motiváló csúcstechnológiájú jövőt, ha – és ez egy nagy "ha" – megnyerjük a bölcsességversenyt: technológiánk növekvő erejének és az őt irányító bölcsességünk fejlődésének versenyét. Ez azonban stratégiaváltoztatást igényel, mert régi stratégiánk a hibákból tanulás. Felfedeztük a tüzet – csomószor elszúrtuk –, hát feltaláltuk a tűzoltókészüléket.
(Laughter)
(Nevetés)
We invented the car, screwed up a bunch of times -- invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don't you think?
Feltaláltuk az autót – csomószor elszúrtuk –, feltaláltuk a közlekedési lámpákat, a biztonsági övet, a légzsákot. De olyan hatalmas technológiákkal, mint a nukleáris fegyverek és az ÁMI, vacak stratégia a hibákból tanulni, nem gondolják?
(Laughter)
(Nevetés)
It's much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we'll get. But it is funny because sometimes people tell me, "Max, shhh, don't talk like that. That's Luddite scaremongering." But it's not scaremongering. It's what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That's was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.
Jobb előrelátónak lenni, mint utólag javítgatni; tervezni, elsőre jól alkotni meg mindent, mert talán ez az egyetlen lehetőségünk. Érdekes, hogy néha azt mondják nekem: "Max, ne beszélj így, ez gépromboló pánikkeltés!" De ez nem pánikkeltés. A Massachusettsi Technológiai Intézetnél ezt biztonsági tervezésnek hívjuk. Gondolják meg: mielőtt a NASA fellőtte az Apolló-11-et, módszeresen átgondoltak minden hibalehetőséget, amikor embereket helyeznek egy robbanóanyag-tartály fölé, és kilövik őket oda, ahol senki nem segíthet nekik. És sok hibalehetőség volt. Ez pánikkeltés volt? Nem. Ez pontosan a biztonsági tervezés volt, ami biztosította a küldetés sikerét, és pontosan az a stratégia, amit követnünk kéne az ÁMI-val. Átgondolni az esetleges veszélyeket, és biztosítani, hogy jól működjön.
So in this spirit, we've organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.
Erre gondolva konferenciákat szerveztünk, összehozva a vezető MI-kutatókat és más gondolkodókat, megvitatni, hogy fejlesszük bölcsen jótékony irányba az MI-t. Utolsó konferenciánk tavaly volt a kaliforniai Asilomarban, összeállítottuk e 23 alapelvből álló listát, amelyet azóta aláírt több mint 1000 MI-kutató és kulcsfontosságú iparágak vezetői. Három alapelvet említenék önöknek.
One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard -- and successfully -- for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can't figure out how to divide this pie so that everyone is better off, then shame on us.
Egy: ne legyen fegyverkezési verseny és halálos önrendelkezésű fegyverek. Az alapgondolat, hogy bármely új tudomány alkalmazható az emberek segítésére vagy károsítására egyaránt. Például a biológiát és kémiát sokkal inkább használják új gyógyszerek, kezelések fejlesztésére, mint emberek megölésére, mert a biológusok és kémikusok sikeresen léptek fel a biológiai és vegyi fegyverek betiltásáért. Ugyanebben a szellemben most az MI-kutatók akarják betiltani a halálos önrendelkező fegyvereket. Egy másik Asilomar MI-alapelv, hogy enyhítenünk kéne az MI-alapú jövedelmi egyenlőtlenséget. Azt gondolom, ha drasztikusan megnöveljük a gazdasági tortát az MI-vel, de nem oldjuk meg az elosztását úgy, hogy mindenkinek jobb legyen, az szégyen ránk nézve.
(Applause)
(Taps)
Alright, now raise your hand if your computer has ever crashed.
Emeljék fel a kezüket, ha számítógépük valaha is összeomlott!
(Laughter)
(Nevetés)
Wow, that's a lot of hands. Well, then you'll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today's buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn't malice, like in silly Hollywood movies, but competence -- AGI accomplishing goals that just aren't aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn't do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren't aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don't put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.
Ez rengeteg kéz! Akkor értékelniük kell ezt az alapelvet, hogy többet kéne befektetni az MI biztonságkutatásba, mert egyre több döntés és infrastruktúra irányítását bízzuk rá, így tudnunk kell, hogy a mai hibás és feltörhető számítógépeinket hogyan alakítsuk át igazán megbízható MI-rendszerekbe, mivel különben e remek technológiák meghibásodhatnak és árthatnak nekünk, vagy feltörve őket ellenünk fordíthatók. Az MI-biztonsági munka magába kell foglalja az MI-értékelés kidolgozását, mert a valódi ÁMI-veszély nem a rosszindulat, mint a buta hollywoodi filmekben, hanem a hozzáértés, amivel az ÁMI a mieinktől eltérő célokat valósít meg. Pl. amikor mi, emberek a nyugat-afrikai fekete rinocéroszok kihalását okoztuk, nem azért tettük, mert ördögien gyűlöljük a rinocéroszokat, ugye? Hanem azért, mert okosabbak voltunk náluk, és céljaink nem egyeztek az övékkel. Az ÁMI definíció szerint okosabb nálunk, ezért, hogy ne kerüljünk a rinocéroszok helyzetébe, amikor létrehozzuk az ÁMI-t, meg kell értetnünk vele céljainkat, el kell fogadtatni, és megőrizni őket.
And whose goals should these be, anyway? Which goals should they be?
Igen, de kinek a céljai legyenek ezek? Milyen célok legyenek?
This brings us to the third part of our rocket metaphor: the destination. We're making AI more powerful, trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about -- not even here at TED -- because we're so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that's vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there's some some people who want it to be just machines.
Ez a rakétahasonlatunk harmadik részéhez vezet bennünket: a cél meghatározásához. Egyre erősebbé tesszük az MI-t, igyekszünk kitalálni, hogyan irányítsuk, de mit akarunk megvalósítani vele? Ez egy tabutéma, amiről szinte senki sem beszél - még itt a TED-nél sem, mivel annyira el vagyunk foglalva rövidtávú MI-kihívásokkal. Fajunk próbálja létrehozni az ÁMI-t gazdasági érdekeink és kíváncsiságunk által vezérelve, de miféle jövőbeli társadalmat remélünk felépíteni általa? Közvélemény-kutatást végeztünk mostanában, és megdöbbentem, hogy a legtöbben egyetértünk egy szuperintelligencia építésében, amely minden tekintetben messze okosabb nálunk. A legnagyobb egyetértés abban volt, hogy az életet terjesszük a világegyetemben, de sokkal kevésbé értettek egyet abban, kinek vagy minek kellene irányítania. Elég jól szórakoztam, mikor láttam, vannak, akik azt akarják, hogy ezek csupán gépek legyenek.
(Laughter)
(Nevetés)
And there was total disagreement about what the role of humans should be, even at the most basic level, so let's take a closer look at possible futures that we might choose to steer toward, alright?
Az emberek jövőbeli szerepét illetően óriási volt a nézeteltérés még alapszinten is. Nézzük meg alaposabban a lehetséges jövőképeket, amely felé tarthatunk!
So don't get me wrong here. I'm not talking about space travel, merely about humanity's metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren't smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren't just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn't those people who don't want human extinction have a say in the matter, too? Now, if you didn't like either of those two high-tech options, it's important to remember that low-tech is suicide from a cosmic perspective, because if we don't go far beyond today's technology, the question isn't whether humanity is going to go extinct, merely whether we're going to get taken out by the next killer asteroid, supervolcano or some other problem that better technology could have solved.
Ne értsenek félre, nem az űrutazásról beszélek, csupán az emberiség képzeletbeli jövőutazásáról. Néhány munkatársam kedvelte lehetőség, hogy emberi felügyelet alatt tartott szuperintelligenciát építünk, egy rabszolga–istent, leválasztva az internetről, hihetetlen technológia és vagyon megteremtésére használva, bárki is irányítja azt. De Lord Acton óva intett bennünket: a hatalom megveszteget, az abszolút hatalom abszolút mértékben is képes rá, ezért aggódhatunk, hogy az emberiség talán nem elég okos, vagy inkább bölcs, hogy uralja ezt az óriási erőt. Erkölcsi aggályaink mellett a magasabb rendű elmék szolgasorban tartását illetőleg aggódhatunk, hogy ez a szuperintelligencia talán túljár az eszünkön, kitör, és átveszi az uralmat. Olyan kollégáim is vannak, akik szerint ez a hatalomátvétel rendben van, még ha az emberiség kihalását is okozza, ha az MI-k méltó leszármazottaink, gyermekeink. De honnan tudhatnánk, hogy az MI-k magukévá tették értékrendünket, nem öntudatlan zombik, melyeket emberi tulajdonságokkal ruházunk fel? És nem kéne, hogy azoknak, akik nem akarják az emberiség kihalását, legyen szavuk az ügyben? Ha egyik fejlett technológiai lehetőség sem nyerte el tetszésüket, ne feledjék, hogy a fejletlen technológia - kozmikus nézetből - öngyilkosság. Mivel ha nem haladjuk túl a mai technológiát, a kérdés nem az lesz, hogy kihal-e az emberiség, hanem az, hogy kihalásunkat egy gyilkos aszteroida, egy szupervulkán, vagy más katasztrófa okozza majd, melyet a jobb technológia megoldhatott volna.
So, how about having our cake and eating it ... with AGI that's not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called "friendly AI," and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences -- basically making us the masters of our own destiny.
Mi lenne, ha olyan ÁMI segítségével jutnánk a tortánkhoz, amely nincs szolgaságban, de jól viszonyul hozzánk, mert értékrendje egyezik a miénkkel? Ez a lényege annak, amit Eliezer Yudkowsky "barátságos MI"-nek nevezett el. Ez nagyszerű volna, ha megvalósítanánk! Nem csupán megszüntetné a betegségeket, szegénységet, bűnözést és más szenvedést hozó dolgokat, de szabadon választhatnánk a pozitív élmények fantasztikusan szélesedő skálájáról. Saját sorsunk irányítóivá tenne minket.
So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history -- let's face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody's better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.
Összegezve, kapcsolatunk a technológiával bonyolult, de a nagy kép egyszerű. Az ÁMI-t pár évtizeden belül várja a legtöbb MI-kutató. Ha felkészületlenül ér bennünket, az valószínűleg az emberi történelem legnagyobb hibája lesz. Nézzünk szembe vele! Brutális, globális diktatúrát hozhat létre soha nem látott egyenlőtlenséggel, felügyelettel és szenvedéssel, és akár az emberiség kihalásával. De gondos irányítás mellett fantasztikus jövőben találhatjuk magunk, ahol mindenki élete jobb: a szegény gazdag, a gazdag még gazdagabb. Mindenki egészséges, és szabadon valósíthatja meg álmait.
Now, hang on. Do you folks want the future that's politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societies and give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical -- literally.
De várjunk csak! Jobb- vagy baloldali politikát akarunk? Istenfélő társadalmat szigorú erkölcsi szabályokkal, vagy hedonisztikusat, korlátozások nélkül, akár a folyamatos Burning Man fesztivál. Gyönyörű partok, erdők, tavak legyenek, vagy inkább rendezzünk át néhány ilyen részt számítógépekkel, virtuális élmények létrehozására? Egy barátságos MI-vel mindegyik társadalmat létrehozhatjuk, szabadon választva, hol akarunk élni, mivel már nem korlátoznának bennünket intelligenciánk határai, csupán a fizikai törvények. Így a források és a hely erre szó szerint csillagászati mértékű lenne.
So here's our choice. We can either be complacent about our future, taking as an article of blind faith that any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious -- thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We're all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.
Választhatunk. Lehetünk önteltek a jövőt illetően, vak hittel, hogy bármely új technológia garantáltan jót hoz számunkra, és ismételgethetjük ezt mantraként, kormányát vesztett hajóként sodródva saját elértéktelenedésünk felé, vagy lehetünk igényesek, komolyan átgondolva, hogyan irányítsuk technológiánkat és hova akarunk eljutni vele, létrehozva a csodák korát. Mind azért vagyunk itt, hogy ünnepeljük a csodák korát, és úgy érzem, ennek lényege az, hogy ne legyőzötté váljunk, hanem megerősödjünk technológiánk által.
Thank you.
Köszönöm.
(Applause)
(Taps)