After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We've discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we've also discovered something inspiring, which is that the technology we're developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.
138억 년의 우주 역사를 뒤로하고 우리 우주는 잠에서 깨어나 스스로를 자각하게 되었습니다. 작고 푸른 행성에서 우주의 아주 작은 부분을 알던 우리는 망원경을 통해 먼 우주를 바라보며 겸손하게 무언가를 찾고 있습니다. 이 거대한 우주의 광대함은 우리의 상상 이상이었고 생명의 아주 미세한 동요가 없었더라면 이미 죽어버린 우주라는 것도 알았죠. 하지만 우리가 영감을 얻을 만한 것도 발견했죠. 우리의 기술을 통해서 이전에 없던 번성을 누릴 역량을 가졌다는 사실입니다. 단지 수 세기 동안이 아니라 수십억 년 동안 번성하고 단지 우리 지구에서만이 아니라 이 놀라운 우주 안에서 말이죠.
I think of the earliest life as "Life 1.0" because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as "Life 2.0" because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. "Life 3.0," which can design not only its software but also its hardware of course doesn't exist yet. But perhaps our technology has already made us "Life 2.1," with our artificial knees, pacemakers and cochlear implants.
저는 초창기의 생명을 "생명 1.0"이라고 생각합니다. 미생물처럼 너무나 바보 같았기 때문이죠. 살면서 아무것도 배울 수 없었습니다. 우리 인간은 "생명 2.0"입니다. 학습할 수 있기 때문이죠. 좀 괴상하게 표현하자면 우리 두뇌에 새로운 소프트웨어를 설치했다고 볼 수 있습니다. 언어와 업무 능력 같은 것들이요. "생명 3.0"은 소프트웨어뿐만 아니라 하드웨어도 만들 수 있습니다. 물론 아직 이건 실현되지 않았죠. 하지만 기술은 우리를 이미 "생명 2.1"로 만들었습니다. 인공 무릎 관절, 인공 심장 박동기, 인공 달팽이관 이식 같은 거로 말이죠.
So let's take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there's an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren't just three astronauts but all of humanity. Let's talk about our collective journey into the future with artificial intelligence.
자 그럼, 인간과 기술 사이의 관계를 좀 더 깊이 살펴보기로 하겠습니다. 예를 하나 들어보죠. 아폴로 11호의 달 탐사 계획은 성공적이었고 고무적이었습니다. 인류가 기술을 현명하게 사용하면 우리 선조가 꿈꾸던 일을 현실로 이루어낼 수 있음을 증명해주었죠. 하지만 그보다 더 고무적인 여정이 있습니다. 로켓 엔진보다 더 강력한 추진력을 얻고 있죠. 단 세 명의 우주인을 승객으로 하는 것이 아니라 인류 전체가 승객입니다. 미래를 향한 우리 모두의 여정에 대해 이야기해봅시다. 바로 인공지능입니다.
My friend Jaan Tallinn likes to point out that just as with rocketry, it's not enough to make our technology powerful. We also have to figure out, if we're going to be really ambitious, how to steer it and where we want to go with it. So let's talk about all three for artificial intelligence: the power, the steering and the destination.
제 친구 얀 탈린은 이렇게 말하곤 했습니다. 로켓공학과 마찬가지로 우리 기술을 강력하게 만들기에는 아직 부족함이 있다고 말이죠. 우리에게 진정 야심 찬 계획이 있는지 알아야 한다고 지적했죠. 어떤 방향으로 이끌어 갈지와 원하는 목표를 알아야 한다고요. 그럼 인공지능에 있어서 세 가지 요소에 대해 이야기해보죠. 힘, 방향성 그리고 목표입니다.
Let's start with the power. I define intelligence very inclusively -- simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you're made of meat. It's really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn't walk. Now, they can do backflips. Not long ago, we didn't have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn't do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn't beat us at the game of Go. Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world's best player by just playing against itself. And the most impressive feat here wasn't that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.
먼저 '힘'을 얘기해보죠. 저는 아주 포괄적 의미로 지능을 이렇게 정의합니다. 어려운 목표를 달성하는 능력이라고 간단히 정의할 수 있죠. 여기에는 생물학적, 그리고 인공적인 지능이 모두 포함되어 있습니다. 하지만 어리석은 '탄소 쇼비니즘'처럼 탄소로 이루어진 유기체만 사고 능력을 가질 수 있다는 생각은 배제하고자 합니다. 최근 AI가 가진 힘이 얼마나 성장했는지를 보면 정말 놀랍습니다. 한번 생각해보세요. 얼마 전까지만 해도 로봇은 걷지도 못했습니다. 이제는 뒤로 공중제비도 돌 수 있죠. 얼마 전까지만 해도 자율주행 자동차는 존재하지도 않았지만 이제는 자율비행 로켓이 등장했습니다. 얼마 전까지만 해도 AI는 얼굴 인식도 하지 못했지만 이제 AI는 가짜 얼굴을 만들어내서 여러분이 하지도 않은 말을 한 것처럼 조작하기도 합니다. 얼마 전까지만 해도 AI는 바둑에서 인간을 이기지 못했지만 이제 구글 딥마인드의 알파제로 AI는 인간의 3000년 바둑 역사와 바둑의 지혜를 익혔습니다. 다 제쳐두고, 자기 자신과 싸우면서 세계 최고의 바둑기사가 되었죠. 가장 인상적인 업적은 인간을 물리쳤다는 것이 아니라 바둑 프로그램 개발에 수십 년을 공들여 온 인간 개발자들을 물리쳤다는 사실입니다. 알파제로는 바둑뿐만 아니라 체스에서도 인간 개발자들을 물리쳤습니다. 체스는 1950년부터 연구해왔는데도 말이죠.
So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there's a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront --
최근 AI의 놀라운 발전을 보면서 이런 질문을 하게 됩니다. 얼마나 더 발전하게 될까요? 이 질문과 관련해서 추상적인 풍경으로 바꿔서 직업을 생각해보죠. 지형의 높이는 인간 수준에 대비한 AI의 작업 난이도를 의미합니다. 해수면은 현재 AI가 할 수 있는 일의 수준을 의미하죠. AI가 발전할수록 해수면은 높아집니다. 이 직업 풍경에 일종의 지구 온난화가 일어나고 있다고 할 수 있죠. 따라서 물가에 놓인 직업은 선택하지 않는 게 당연할 겁니다.
(Laughter)
(웃음)
which will soon be automated and disrupted. But there's a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence -- AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, "Ah, there will always be jobs that humans can do better than machines," are simply saying that we'll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there's a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what's known as superintelligence.
그런 직업은 머지않아 자동화되거나 사라질 테니까요. 그런데 여기에는 더 중요한 질문이 놓여있습니다. 이 해수면이 얼마나 더 높아질까요? 결국 모든 것이 물에 잠기고 모든 직업에서 인간의 지능과 맞먹게 될 것입니다. 이것이 범용 인공지능의 정의입니다. AGI 라고 하죠. AI 연구의 태초부터 생각했던 AI의 성배와 같은 것입니다. 이에 대해서 사람들은 이렇게 말했습니다. "작업에서는 인간이 항상 기계보다 뛰어날 거야" 이 말은 AGI는 절대 존재하지 않는다는 걸 의미하죠. 물론 일부 인간의 직업을 선택하거나 소득과 삶의 목적을 부여하기 위한 직업을 선택할 수 있습니다. 하지만 AGI는 어쨌든 우리 삶을 바꿀 것이고 더는 인간이 가장 지적인 존재로 남아있지 않을 것입니다. 이제, 해수면이 AGI까지 높아지면 AI의 발전은 인간이 아니라 AI가 주도하게 될 것입니다. 이것이 의미하는 바는 AI의 발전이 더욱 가속화되어 현재 인간의 AI 연구 및 개발 속도를 뛰어넘을 것이라는 사실입니다. 논란이 되고 있는 지능의 폭발적 증가 가능성으로 인해 AI가 반복해서 스스로 개량함으로써 인간 지능을 급격히 앞지르게 되고 이른바 초지능이 탄생할 것입니다.
Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won't happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis's optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question -- and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?
좋아요, 실상을 살펴보죠. 조만간 AGI가 실현될까요? 로드니 브룩스 같은 유명한 AI 연구자들은 수백 년 내에 그런 일은 없을 거라 보고 있습니다. 하지만 구글 딥마인드의 창업자인 데미스 하사비스 같은 사람들은 훨씬 낙관적으로 보고 AGI 실현 시기를 앞당기려고 애쓰고 있죠. 그리고 최근 조사에 따르면 AI 연구자 대부분이 데미스 하사비스의 낙관론에 동조하고 있으며 수십 년 내에 AGI가 실현될 것으로 기대하고 있습니다. 우리가 죽기 전에 실현될지 모르겠네요. 또 의문이 생깁니다. 다음은 뭘까요? 우리 인간이 해야 할 역할은 뭘까요? 모든 면에서 기계가 인간보다 더 경제적이고 더 낫다면 말이죠.
The way I see it, we face a choice. One option is to be complacent. We can say, "Oh, let's just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?"
예상컨대 우리는 선택의 기로에 놓일 것입니다. 그중 하나는 자만하는 것이죠. 이렇게 말하면서요. "기계를 만들어서 우리가 할 일을 다 시키지 뭐. 그 결과는 걱정할 필요 없잖아. 인간을 쓸모없게 만드는 기술이 나온다고 해서 뭐가 잘못될 리가 있겠어."
(Laughter)
(웃음)
But I think that would be embarrassingly lame. I think we should be more ambitious -- in the spirit of TED. Let's envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We're making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It's a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I'm optimistic that we can create a really inspiring high-tech future ... if -- and this is a big if -- if we win the wisdom race -- the race between the growing power of our technology and the growing wisdom with which we manage it. But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times -- invented the fire extinguisher.
이건 황당할 정도로 궁색한 말이라고 생각해요. 우리는 더 큰 야망을 품어야 합니다. TED의 정신으로 말이죠. 진정으로 영감을 주는 첨단 기술의 미래를 그려야 합니다. 그리고 그곳을 향해 나아가야 하죠. 여기서 로켓으로 비유되는 두 번째 부분으로 넘어가죠. 방향성입니다. 우리는 더욱 강력한 AI를 만들고 있죠. 하지만, 어떻게 해야 그 발전 방향을 AI가 인류를 곤경에 빠뜨리지 않고 번성하도록 이끌 수 있을까요? 저는 이를 위해서 공동으로 "생명의 미래 연구소"를 설립했습니다. 공익적 기술 사용을 도모하는 작은 비영리 단체죠. 저희의 목표는 단순히 생명체의 미래를 실현하고 그 일을 최대한 격려하는 것입니다. 말하자면, 저는 기술을 사랑합니다. 지금이 석기시대보다 나은 이유가 바로 기술 덕분입니다. 저는 정말 고무적인 첨단 기술의 미래가 올 것이라 낙관하고 있습니다. 만약에.. 정말로 만약에요. 만약에 경쟁에서 지혜로움이 이기려면 말이죠. 우리 기술이 갖는 능력이 커질지 그걸 관리할 우리의 지혜가 커질지의 경쟁에서요. 그러려면 전략을 바꿀 필요가 있습니다. 왜냐하면 지금까지의 전략은 실수를 통해 배운 것이기 때문이죠. 우리는 불을 발명했고 시간이 한없이 흐른 뒤에 소화기를 발명했습니다.
(Laughter)
(웃음)
We invented the car, screwed up a bunch of times -- invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don't you think?
우리는 자동차를 발명했고, 시간이 한참 지난 뒤에 신호등을 발명했고, 안전벨트와 에어백을 발명했죠. 하지만 핵무기나 AGI 같이 훨씬 막강한 기술에 대해서도 실수에서 교훈을 얻는다는 건 너무나 형편없는 전략이죠. 그렇지 않나요?
(Laughter)
(웃음)
It's much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we'll get. But it is funny because sometimes people tell me, "Max, shhh, don't talk like that. That's Luddite scaremongering." But it's not scaremongering. It's what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That's was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.
반응하기보다 선행하는 것이 훨씬 나을 겁니다. 미리 계획을 세우고 초기에 바로잡아야죠. 그때밖에 기회가 없기 때문입니다. 재밌게도 이런 말을 하는 사람들이 있어요. "맥스. 쉬잇! 그런 식으로 말하지 말아요. 기술 반대론자들이 겁주는 거 같잖아요." 하지만 겁주려는 게 아닙니다. 이걸 저희 MIT에서는 안전공학이라고 하는데요. 이점을 한번 생각해보세요. NASA가 아폴로 11호를 발사하기 전에 오류가 일어날 수 있는 모든 부분을 체계적으로 검토했습니다. 폭발성 연료를 실은 연료통 위에 사람을 태우고 도와줄 이가 없는 곳으로 그들을 보내야 했으니까요. 문제가 생길 소지가 너무나 많았죠. 그게 겁주는 건가요? 아니죠. 그것이 바로 안전공학이었습니다. 탐사 계획의 성공을 위한 것이었죠. 그리고 그것이 바로 AGI에 대해 우리가 취해야 할 전략입니다. 잘못될 수 있는 부분을 생각하고 제대로 바로잡아 두는 것이죠.
So in this spirit, we've organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.
그런 생각을 가지고 저희는 컨퍼런스를 열었습니다. 선도적인 AI 연구자들과 각 분야 권위자들 불러 모아서 AI를 이롭게 하기 위해 필요한 지혜를 어떻게 키워갈지 토론했죠. 가장 최근의 컨퍼런스는 작년에 캘리포니아주 애실로마에서 있었는데요. 거기에서 23개의 원칙을 정했습니다. 이 원칙에 1,000명이 넘는 AI 연구자들과 주요 산업계 대표들이 동의하였는데요. 그중에서 3개의 원칙을 말씀드리려고 합니다.
One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard -- and successfully -- for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can't figure out how to divide this pie so that everyone is better off, then shame on us.
첫째로 군비 경쟁과 자동 살상 무기를 근절해야 한다는 것입니다. 모든 과학기술은 사람들을 돕는 수단이 될 수도 있고 해칠 수도 있기 때문이죠. 예를 들어, 생물학과 화학은 살상의 수단으로 쓰이기보다 신약과 치료제 개발에 더 많이 쓰이죠. 왜냐하면 생물학자와 화학자들은 강력하게, 그리고 성공적으로 생화학무기를 막아왔습니다. 마찬가지로 AI 연구자들도 자동 살상 무기를 비난하고 금지시키고 싶어 합니다. 애실로마 AI 원칙 중 다른 하나는 AI로 인한 소득 불평등을 줄여야 한다는 것입니다. AI를 통해 경제 규모가 극단적으로 성장하더라도 그 경제 파이를 나누어 모두가 잘살 수 있는 방법을 여전히 찾지 못한다면 부끄러운 일이겠죠.
(Applause)
(박수)
Alright, now raise your hand if your computer has ever crashed.
좋아요, 혹시 컴퓨터가 다운된 적 있는 분은 손을 들어보세요.
(Laughter)
(웃음)
Wow, that's a lot of hands. Well, then you'll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today's buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn't malice, like in silly Hollywood movies, but competence -- AGI accomplishing goals that just aren't aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn't do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren't aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don't put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.
와, 손을 든 분이 꽤 많네요. 그러면 이 원칙이 맘에 드실 거예요. 우리는 AI 안전을 위한 연구에 더 많이 투자해야 한다는 겁니다. AI로 하여금 판단과 사회기반에 더 많이 개입하도록 하기 때문이죠. 오류가 많고 해킹당할 위험도 있는 현재의 컴퓨터를 바꾸어 신뢰할만한 강력한 AI 시스템으로 만들 방법을 찾아야 합니다. 그렇지 않으면, 이 대단한 신기술이 오작동하여 우리에게 해를 끼치거나 아니면 해킹당해서 우리에게 대적할지도 모릅니다. 그리고 이 AI의 안전에 관한 연구는 AI 가치 조합 연구도 포함해야 합니다. 바보 같은 할리우드 영화에서나 그렇지 AGI의 진정한 위협은 적대감이 아니기 때문이죠. 오히려 권한입니다. AGI가 이루려는 목표는 우리의 목표와 일치하지 않습니다. 예를 들면, 우리 인간이 서아프리카의 검은 코뿔소의 멸종을 초래했지만 우리가 코뿔소 혐오자라서 그랬던 것은 아니잖아요. 단지 우리가 코뿔소보다 똑똑했기 때문입니다. 우리의 목표가 코뿔소의 목표와는 달랐던 것이죠. 그런데 AGI는 당연히 우리보다 똑똑할 겁니다. 그러니 우리도 우리 자신을 코뿔소 같은 처지가 되도록 만들면 안 되겠죠. 우리가 AGI를 만든다면 컴퓨터에게 우리의 목표를 가르칠 방법을 찾아야 합니다. 우리의 목표를 받아들이고 유지하도록 해야 하죠.
And whose goals should these be, anyway? Which goals should they be?
그럼 도대체 누구의 목표를 선택해야 할까요? 어떤 목표이어야 할까요?
This brings us to the third part of our rocket metaphor: the destination. We're making AI more powerful, trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about -- not even here at TED -- because we're so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that's vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there's some some people who want it to be just machines.
이것이 로켓으로 비유되는 세 번째 부분입니다. 바로 최종 목표죠. 우리는 더욱 막강한 AI를 연구하고 그렇게 할 방법을 찾으려 노력하죠. 하지만 얼마나 강력하길 바라는 걸까요? 이것은 방 안의 코끼리 같은 것입니다. 아무도 말하려 하지 않죠. 여기 TED에서 조차도요. 왜냐하면 우리는 단기적인 AI 문제에만 집착하기 때문입니다. 보세요. 우리 인류는 AGI를 만들려고 합니다. 그 동기는 호기심과 경제성이죠. 그런데 미래에 그것이 성공했을 때 어떤 사회가 되기를 기대하는 거죠? 최근에 이에 관한 설문조사를 했는데요. 결과는 놀라웠어요. 대부분의 사람들이 실제로 초지능 개발을 원하고 있었습니다. 우리보다 모든 면에서 훨씬 뛰어난 AI를 원하고 있었죠. 대다수가 동의한 부분은 우리가 큰 꿈을 가져야 하고 인류가 우주로 나가도록 해야 한다는 것이었습니다. 하지만 누가 어떤 책임을 맡을지는 의견이 분분했습니다. 그리고 정말 재밌는 부분은 컴퓨터에 맡기자고 하는 사람도 있다는 거예요.
(Laughter)
(웃음)
And there was total disagreement about what the role of humans should be, even at the most basic level, so let's take a closer look at possible futures that we might choose to steer toward, alright?
그리고 인간의 맡아야 할 역할에 대해서는 모두가 같은 답을 했습니다. 가장 기초적인 수준에 있더라도 어떤 미래가 올지 잘 살펴보고 어떤 방향으로 갈지 선택해야 하지 않겠어요?
So don't get me wrong here. I'm not talking about space travel, merely about humanity's metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren't smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren't just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn't those people who don't want human extinction have a say in the matter, too? Now, if you didn't like either of those two high-tech options, it's important to remember that low-tech is suicide from a cosmic perspective, because if we don't go far beyond today's technology, the question isn't whether humanity is going to go extinct, merely whether we're going to get taken out by the next killer asteroid, supervolcano or some other problem that better technology could have solved.
아, 오해하지 마세요. 이것으로 우주여행을 얘기하려는 게 아닙니다. 미래를 향한 우리 인류의 여정을 비유적으로 표현한 거예요. 저의 AI 연구 동료 몇몇의 의견 중 하나는 초지능을 만들되 인간의 통제하에 두자는 것입니다. 마치 노예가 된 신처럼 말이죠. 인터넷 연결을 끊어버리고 상상을 뛰어넘는 기술과 부를 만드는 데에만 사용하는 겁니다. 자신을 통제하는 사람을 위해서요. 액톤 경은 이렇게 경고했습니다. 권력은 타락하고, 절대 권력은 반드시 부패하기 마련이라고 했죠. 그러니 우리는 인간이 똑똑하지 않다고 걱정할 것이 아니라 오히려 AI의 막강한 능력을 다룰 만큼 매우 똑똑하다는 걸 걱정해야 합니다. 뛰어난 AI를 노예로 만든다는 것에 죄책감을 가질 것이 아니라 우리가 염려해야 할 것은 어쩌면.. 우리를 훨씬 능가하는 초지능이 나타나서 모든 걸 차지할 수 있다는 사실입니다. 그런데 제 동료 중에는 AI에게 지배당해도 좋다는 이도 있습니다. 심지어 인류가 멸종하게 되더라도 AI가 우리의 후손이 될 만하다고 생각되면 그래도 괜찮다는 거예요. 우리 아이들처럼 말이죠. 그런데 AI가 우리의 가장 좋은 점만 취할 거라고 어떻게 확신하죠? 사람 행세를 하는 의식 없는 좀비가 되지 않을 거라고 어떻게 알죠? 인류의 멸종을 원치 않는 사람들도 잠자코 당해야 하는 건가요? 만약 여러분이 첨단 기술에 대한 이 두 가지 선택을 모두 포기한다면 우주적 관점에서 보면 저급한 기술은 자살 행위임을 기억해 두셔야 합니다. 왜냐하면 현재의 기술을 뛰어넘지 못하면 인류의 멸종이 문제가 아니라 단순히 다른 문제로 우리가 죽을 수도 있으니까요. 살인적인 소행성이나 화산 대폭발 아니면 첨단 기술이 있었다면 해결되었을 다른 문제들로 말이죠.
So, how about having our cake and eating it ... with AGI that's not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called "friendly AI," and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences -- basically making us the masters of our own destiny.
그렇다면 두 마리 토끼를 한 번에 잡으면 어떨까요? AGI를 노예로 만들지는 못했지만 우리와 같은 가치관을 갖고 우리에게 호의를 베풀게 하는 거죠. 그것이 엘리제 유드코프스키가 말한 "친근한 AI"의 요지입니다. 그렇게만 된다면 정말 최고죠. 그러면 부정적인 요소들을 없앨 수 있을 겁니다. 질병, 빈곤, 범죄, 그 밖의 어려운 문제들이요. 뿐만 아니라 우리에게 선택의 자유도 가져다줄 거예요. 멋지고 다양한 긍정적 요소들을 선택할 수 있게 될 겁니다. 그러면 우리의 운명을 우리가 원하는 대로 바꿀 수 있게 되겠죠.
So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history -- let's face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody's better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.
정리해서 말씀드리면 기술과 관련한 우리의 현실은 매우 복잡합니다. 하지만 큰 그림은 오히려 단순하죠. AI 연구자 대부분은 수십 년 내에 AGI가 등장할 거라고 기대합니다. 그에 대한 대비 없이 우왕좌왕하고 있으면 인류 역사상 최대의 실수를 저지를지도 모릅니다. 맞부딪혀야 해요. 잔혹한 세계적 독재자를 만들어 전례가 없는 불평등과 감시, 그리고 고통이 있을지 모릅니다. 심지어 인류의 멸종까지도요. 하지만 우리가 잘 이끈다면 모두가 잘살 수 있는 환상적인 미래를 만들 수도 있어요. 가난한 이는 부자가 되고 부자는 더 부자가 되며 모두가 건강하게 살며 자유롭게 꿈을 이룰 수 있습니다.
Now, hang on. Do you folks want the future that's politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societies and give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical -- literally.
그런데 말이죠. 정치적으로 우익 또는 좌익의 미래 사회를 원하시나요? 엄격한 도덕적 규율을 갖는 경건한 사회를 원하시나요? 아니면 자유로운 쾌락을 원하시나요? 매일 버닝맨 축제가 열리듯이요. 아름다운 해변과 숲과 호수를 원하시나요? 아니면 컴퓨터가 만든 가상 체험으로 원자 재배열을 연구하고 싶으신가요? '친근한 AI'가 있다면 이 모든 게 가능합니다. 사람들은 각자 원하는 삶을 자유롭게 선택할 수 있습니다. 왜냐하면 우리는 더는 지능의 한계에 제한받지 않고 오직 물리 법칙만 남기 때문이죠. 이를 위한 자원과 공간은 문자 그대로 천문학적인 수준이 될 것입니다.
So here's our choice. We can either be complacent about our future, taking as an article of blind faith that any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious -- thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We're all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.
이제 우리의 선택이 남아있습니다. 한 가지 선택은 우리 미래를 자만하는 것입니다. 그저 맹신하는 거예요. 모든 신기술이 우리에게 이득을 가져다줄 거라고 우리 스스로에게 계속해서 주문을 걸기만 하는 겁니다. 표류하는 배처럼 떠다니며 진부한 방향으로 흘러가겠죠. 아니면 야망을 선택할 수도 있습니다. 우리 기술을 어떻게 이끌어 갈지 심사숙고하고 경이로움의 시대를 만들어 내려면 어디로 향해야 할지 고민하는 겁니다. 우리 모두는 경이로움의 시대를 기념하려고 이곳에 모였습니다. 저는 그 본질은 우리가 기술의 힘에 제압당하는 것이 아니라 기술로써 우리가 힘을 얻는 거라고 생각합니다.
Thank you.
감사합니다.
(Applause)
(박수)