After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We've discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we've also discovered something inspiring, which is that the technology we're developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.
له دواى13.8 ملیار ساڵ له مێژووى گهردوون يونيڤێرسەکەی ئێمه بێدار بۆوه به خۆى ئاشنا بوو له ههسارهيهكى بچووكى شينهوه زۆر گچكه، بهشه بهئاگاييهكانى يونيڤێرس دهستيان كرد به وردبوونهوه له گهردوون لهڕێى تێليسكۆبهوه ههندێ شتى سهرپێى دۆزرايهوه ئهوهمان دۆزييهوه كه يونيڤێرسهكهمان زۆر مهزنتره لهوهى باوباپيرانمان وێنەيان كردبوو ههروهها ژيان به نزيكى وهك پشێوييهكى بچووكى ههستپێنهكراو دهركهوت لهسهر ديوهكهى ديكه يونيڤێرسه مردووهكه هەروەها شتێکی ئيلهام بهخشيشمان دۆزييهوه ئهويش ئهوهيه ئهو تێكنۆلۆژيايهى كه بهروه پێشخستنى دهبهين له توانايدايه ژيان گهشه پێ بدات بهشێوهيهك ههرگيز پێشتر وا نهبووبێت نهك تهنيا بۆ چهند سهدهيهك بهڵكو بۆ بليۆنان ساڵ ههروهها نهك تهنيا عهرد، بهڵكو زۆر شوێنى ئهم گهردوونه سهرسوڕهێنهره
I think of the earliest life as "Life 1.0" because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as "Life 2.0" because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. "Life 3.0," which can design not only its software but also its hardware of course doesn't exist yet. But perhaps our technology has already made us "Life 2.1," with our artificial knees, pacemakers and cochlear implants.
من بير لهسهرهتاييترين ژيان وهك "ژيانى 1.0" دهكهمهوه چونكه بهڕاستى بێدهنگ بوو وهك بهكتريا بهدرێژايى ژيانى تواناى فێربوونى نييه بير له ئێمه مرۆڤ وهك ژيانى 2.0 دهكهمهوه چونكه دهتوانين فێربين، زۆر ههڵوهداى زانينين و لهبلهبانين له قسهدا لهوانهيه بيرلهداخڵكردنى پڕۆگرامێكى نوێ بۆناو مێشكمان بكرێتهوه وهك زمان و لێهاتوويهكانى ئيش. ژيانى 3.0 كه له توانايدايه نهك تهنيا پڕۆگرامهكانى بهڵكو ئامێرهكانيشى ديزانیان بكات بێگومان ئهمه هێشتا لهئارادا نييه وهلێ دهشێ تهكنۆلۆژياكهمان ههنووكه ئێمهى كرد بێت به ژيانى 2.1" به ئهژنۆ دهستكرد، ڕێكخهرى ترپهكانى دڵ و چاندنى لوولپێچهكانى گوێچكهمانهوه
So let's take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there's an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren't just three astronauts but all of humanity. Let's talk about our collective journey into the future with artificial intelligence.
كهواته با سهرنجێكى نزيكتر له پهيوهنديمان به تهكنۆلۆژايهوه بدهين، باشه؟ بۆ نموونه 11ئهركى ههيڤى ئهپۆلۆ ههردووك سهركهوتوو و ئيلهام بهخش بووç ئهوهى نيشان دا چۆن بنيادهم حهكيمانه تهكنۆلۆژيا بهكاردههێنێ دهتوانين شتگهلێك ئهنجام بدهين كه باوباپيرانمان تهنيا خهونيان پێوه ديوه. وهلێ گهشتێكى زياتر ئيلهامبهخش ههيه له لايهن شتێكى بهقوهتتر له مهكينهى مووشهك ههڵدهدرێ، لهوێ سهرنشينهكان تهنيا سێ كهشتيوانى ئاسمانى نين بهڵكو ههموو مرۆڤايهتييه. با دهربارهى گهشته هاوبهشهكهمان له دواڕۆژدا قسه بكهين به زيرهكى دهستكردهوه (زد).
My friend Jaan Tallinn likes to point out that just as with rocketry, it's not enough to make our technology powerful. We also have to figure out, if we're going to be really ambitious, how to steer it and where we want to go with it. So let's talk about all three for artificial intelligence: the power, the steering and the destination.
هاوڕێكهم جين تالين حهز دهكات ئاماژه بهمه بدات وهك مووشهك ئهوه تهنيا بهس نييه بۆ ئهوهى كه تهكنۆلۆژياكهمان بهتوانا بێت، بهڵكو پێويسته ئهوهش بدۆزينهوه كه ئايا بهڕاستى ئێمه بهپهرۆشين، چۆن پێشهنگى ئهمه دهكهين، ههروهها دهمانهوێ بۆ كوێ بڕۆين پێى. كهواته با باسى ههر سێ جۆره زيرهكى دهستكردهوه(ز.د) بكهين هێز، ئاڕاستهكردن و شوێنى مهبهست
Let's start with the power. I define intelligence very inclusively -- simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you're made of meat. It's really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn't walk. Now, they can do backflips. Not long ago, we didn't have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn't do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn't beat us at the game of Go. Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world's best player by just playing against itself. And the most impressive feat here wasn't that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.
با له هێزهوه دهست پێ بكهين. من زيرهكى بهشيوهيهكى زۆر گشتگير باس دهكهم، بهسادهيى وهك تواناكانمان بۆ بهدهستهێنانى ئامانجه ئاڵۆزهكان چونكه من دهمهوێ ههردووك زيرهكى بايۆلۆژى و دهستكرد لهخۆ بگرێ ههروهها دهمهوێ لهبيرۆكهى پووچى كاربۆن-شۆفينيزم بهدوور بم ئهوهى كه تهنيا لهوبارهدا زيرهك دهبى ئهگهر له گۆشت دروست كرا بي. ئهمه بهڕاستى سهرسوڕهێنهره كه چۆن بهم دواييه هێزى زیرەکی دەستکردەوە گهشهى سهند تهنيا بير لهمه بكهنهوه تا ماوهيهك زۆر نا لهمهوبهر ڕۆبۆتهكان نهياندهتوانى كه بڕۆن. ئێستاكه ، دهتوانن بۆ دواوه تهقله لێ بدهن ماوهيهك زۆر نا لهمهوبهر ئۆتۆمبێلمان نهبوو كه خۆى خۆى لێ بخوڕێت ئێستاكه، مووشهكمان ههيه خۆى دهفڕێت ماوهيهكى زۆر نا لهمهوبهر زیرەکی دەستکرد، نهيدهتوانى ڕووخسار بناسێتهوه ئێستاكه، زیرەکی دەستکرد دهتوانێ ڕووخسارى ساخته دروست بكات لاسايى ڕووخسارت بكاتهوه ئهو شتانه بڵێ كه ههرگيز تۆ نهتگوتوون. ماوهيهكى زۆر نا لهمهوبهر زیرەکی دەستکرد نهيدهتوانى له يارى بڕۆ-دا لێمان بهرێتهوه پاشان، زیرەکی دەستکردی ديپ مايند ئهلفا زیڕوی گۆگڵ سێ ههزار ساڵى مرۆڤى له يارى بڕۆ-دا برد بۆ خۆى ههروهها داناييهكهشى له يارى بڕۆ- دا ئهمانهى فهرامۆش كرد و بوو به باشترين ياريزان لهڕێى ياريكردن له دژى خۆى. سهراسيمهترين كاريشى ئهوه نهبوو ياريزانه مرۆييهكانى پانوپليش كردهوه بهڵكو ئهوهبوو توێژهرهوانى زیرەکی دەستکردیشى پانوپليش كردهوه كه چهند دهيهيهكيان بهسهر برد له دروستكردنى پڕۆگرامى ياريدا ئهلفازيڕۆ توێژهرهوانى زیرەکی دەستکرد تهنيا له يارى بڕۆدا پانوپليش نهكردهوه بهڵكو له شهترهنجيشدا كه ئێمه لهساڵى 1950 هوه كارى لهسهر دهكهين
So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there's a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront --
لهبهر ئهوه، ههموو ئهم بهرهوپێشچوونه سهرسوڕهێنهرهى ئهم دواييه، ،له زیرەکی دەستکرد بهڕاستى پرسيارێ دهوروژێنن تا چ ئاستێك دهڕوات؟ حهز دهكهم بير لهم پرسياره بكهمهوه له شێوهى ديمهنى ئهبستراكتى ئهركهكاندا بهرزايى لهئاستى ڕووى دهرياوه، ئهوه دهنوێنێ كه چهند سهخته زیرەکی دەستکرد ههر يهكێ له ئهركهكان جێبهجێ بكا له ئاستى مرۆڤدا ههروهها ئاستى دهريا ئهوه دهنوێنێ كه زیرەکی دەستکرد لهمڕۆدا دهتوانێ چى بكات ئاستى دهريا لهبهرزبوونهوهدايه ههروهك چۆن ز.د لهبهروپێشچووندايه كهواته جۆرێك له گهرمبوونى جيهانى لێره ههيه له ديمهنى ئهركهكاندا ههروهها پهيامهكه لێرهدا ڕوونه، ئهويش
(Laughter)
دووركهوتنهوهيه له كاركردن له بهردهم دهريا
(پێكهنين)
which will soon be automated and disrupted. But there's a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence -- AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, "Ah, there will always be jobs that humans can do better than machines," are simply saying that we'll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there's a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what's known as superintelligence.
كه بهم زووانه دهكرێ به ئۆتۆماتيكى و بهردهست نابێت وهلێ پرسيارێكى لهوه گهورهتريش ههيه بهرزبوونهوهى ئاو له كۆتاييدا دهگاته چهند؟ دواجار هێنده بهرز دهبێتهوه كه ههموو شتێ ڕادهماڵێ له ههموو ئهركهكاندا لهگهڵ زيرهكى مرۆڤدا هاوجێ دهبێت ئهمه پێناسهى زيرهكى دهستكردى گشتييه ئانکو ز.د.گ كه جامى پيرۆزى توێژينهوهكانى زد بوو ههر له سهرهتاى سهرههڵدانييهوه لهڕێى ئهم پێناسهيهوه ئهو كهسانهى كه دهڵێن ئا، ههميشه ئهو ئيششانه دهمێننهوه كه مرۆڤ له ئامێرهكان باشتر دهيكهن بهسادهيى دهڵێن ههرگيز ز.د گشتيمان دهستناكهوێ بهدڵنيايى، دهشێ هێشتا ئهو ههڵبژێرين كه ههنێ ئيشى مرۆڤ بمێننهوه بۆئهوهى مرۆڤ مووچهى ههبێت لهگهڵ ماناى ئهو ئيشهى كه دهيكهين وهلێ ز.د.گ له ههموو دۆخهكاندا ژيان بهو شێوهيه دهگۆڕێ كه ئێمه ناسيومانه كه چى ديكه مرۆڤ زيرهكترين نييه. ئێستاكه، ئهگهر ئاستى ئاو بگاته ز.د.گ ئهوكاته پيشكهوتنى زياتر بهڕێوهدهچێ بهشێوهيهكى سهرهكى لهلايهن مرۆڤهوه نا، بهڵكو لهلايهن ز.د وه ئهمهش ئهوه دهگهيهنێ كه ئهو ئهگهره ههيه كه دواڕۆژى ز.د زۆر خێراتر بێت له توێژينهوهى نموونهيى مرۆڤ و خشتهى كاتى پهرهسهندن بهپێى ساڵهكان ئهگهرى كێشمهدارى تهقينهوهى ز.د بهرز دهبێتهوه كاتێك ز.د خۆى بهرهو پێش دهبات به خێرايى، زيرهكى مرۆڤ زۆر له دواوه بهجێدێڵێ ئهوه دهخوڵقێنێ كه پێى دهوترێ سوپهر زيرهكى.
Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won't happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis's optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question -- and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?
باشه، با له واقيع بكۆڵينهوه ئايا بهم زووانه ز.د.گ دهست دهكهوێ؟ ههندێ له توێژهرانى بهناوبانگى ز.د وهك ڕۆدنى بروكس لهو بڕوايهدايه تا سهد ساڵى ديكه ڕوو نهدات وهلێ كهسانى ديكه، وهك دۆزهرهوهى "گۆگڵ ديپمايند"، ديميس هاسابيس زۆر گهشبينترن، ههروهها كاردهكهن بۆئهوهى ئهوه زووتر ڕوو بدات ههروهها ئامارێك بهم دوواييانه ئاماژه دهدا كه زۆربهى توێژهرهوانى ز.د لهڕاستيدا هاوبهشى گهشبينيهكهى ديميس دهكهن پێشبينى ئهوه دهكهن له ماوهى دهيهيهكدا ز.د.گ بهدهست بێنين، واته له ماوهى ژيانى زۆرێك له ئێمهدا كه ئهو پرسياره دهوروژێنێ ئێ ئهى دواى ئهوه چى؟ دهمانهوێ ڕۆڵى بنيادهم چى بێ؟ ئهگهر ئامێرهكان بتوانن ههموو شتێ بهباشتر و ههرزانتر له ئێمه بكهن؟
The way I see it, we face a choice. One option is to be complacent. We can say, "Oh, let's just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?"
پێموايه ڕووبهڕووى ههڵبژاردن دهبينهوه، ههڵبژاردنێكيان ئهوهيه ڕهزامهند دهبين دهتوانين بڵێين: "ئۆو دهى با ئهو ئامێرانه دروست بكهين كه دهتوانن ههموو ئهو شتانه بكهن كه ئێمه دهتوانين بيانكهين ههروهها نائارام نهبين بهرامبهر دهرئهنجامهكان دهى، ئهگهر ئهو تهكنۆلۆژيايه دروست بكهين كه وا بكا ههموو بنيادهم فهرامۆش بكا
(Laughter)
كهواته دهبێت ئهگهرى ڕوودانى چ ههڵهيهك ههبێ؟
(پێكهنين)
But I think that would be embarrassingly lame. I think we should be more ambitious -- in the spirit of TED. Let's envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We're making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It's a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I'm optimistic that we can create a really inspiring high-tech future ... if -- and this is a big if -- if we win the wisdom race -- the race between the growing power of our technology and the growing wisdom with which we manage it. But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times -- invented the fire extinguisher.
وهلێ پێم وايه ئهمه بهشێوهيهكى شهرمنده شهل دهبێ، پێم وايه پێويسته زياتر بهپهرۆش بين له چالاكى تێد-دا با بهڕاستى وێناى كاريگهرى ئهفرێنهرى تهكنۆلۆژياى باڵاى دواڕۆژ بكهين ههروهها ههوڵ بدهين ڕووهو ئهوه ئاڕاستهى بكهين ئهمه دهمانبات بۆ بهشى دووهمى ميتافۆرى ڕۆكێتهكه: ئاڕاستهكردن وا له ز.د دهكهين هێزى زياتر بێت وهلێ چۆن ئاڕاستهى بكهين ڕووهو دواڕۆژ؟ كه ز.د يارمهتى مرۆڤايهتى بدا زياتر پێشى بخا، نهك نابووتى بكا. بۆ يارمهتيدانى بۆ ئهمه بهشداريم كرد له دهمهزراندنى پهيمانگهى دواڕۆژى ژيان بچووكه لهدووى قازانج ناگهڕێ، هانى بهكارهێنهرانى تهكنۆلۆژيا دهدا بۆ سوودوهرگرتن ئامانجى ئيمه بهسادهيى بۆئهوهيه كه دۆڕۆژى ژيان بوونى ههبێت ههروهها چهنده بكرێ ئيلهامبهخشيش بێت. ئێوه دهزانن، من تهكنۆلۆژيام خۆش دهوێ بههۆى تهكنۆلۆژياوهيه كه ئهمڕۆ باشتره لهسهردهمى بهرد ههروهها من گهشبينم كه دهتوانين له دواڕۆژدا تهكنۆلۆژيايهكى باڵاى ڕاستهقينهى ئيلهامبهخش بخوڵقێنين ئهگهر- ههروهها ئهمه ئهگهرێكى گهورهيه ئهگهر له پێشبڕكێى داناييدا بردمانهوه پێشبڕكێى نێوان گهشهكردنى هێزى تهكنۆلۆژياكهمان لهگهڵ گهشهكردنى دانايى لهڕێى چييهوه ئهمه بهڕێوه دهبهين وهلێ ئهمه پێويستى به گۆڕينى ستراتيژى دهبێت چونكه ستراتيژى پيشوومان لهڕێى ههڵهكانهوه فێر بووين. ئێمه ئاگرمان دۆزييهوه، يهك دنيا جار دڵتهنگ و نائارام بووين تا ئاگركوژێنهرهوهمان داهێنا
(Laughter)
(پێكهنين)
We invented the car, screwed up a bunch of times -- invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don't you think?
ئێمه ئۆتۆمبێلمان داهێنا، يهك دنيا جار دڵتهنگ و نائارم بووين تا ترافيك لايت و پشتوێنى خۆبهستنهوه و كيسى ههوامان داهێنا وهلێ لهگهڵ بههێزترين تهكنۆژيا وهك چهكى ناوكى و ز،د ى گشتى فێربوون له ههڵهكانهوه ستراتيژێكى خراپه ئێوه لهو باوهڕهدا نين؟
(Laughter)
(پێكهنين)
It's much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we'll get. But it is funny because sometimes people tell me, "Max, shhh, don't talk like that. That's Luddite scaremongering." But it's not scaremongering. It's what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That's was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.
زۆر باشتره بكهربيت وهك لهوهى كاريگهريت لهسهر بێت پلان دابنێ و شتهكان يهكسهر ههر لهيهكهم جارهوه تهواو بكه چونكه لهوانهيه ئهوه تهنيا جار بێت كه بتوانين بيكهين وهلێ، شتهكه پێكهنيناويه، چونكه ههندێ جار خهڵك پێم دهڵێن ماكس، ششش، بهو شێوهيه قسه مهكه ئهمه ترساندنه لهلايهن شكێنهرى ئامێرهكانهوه. وهلێ ئهمه ترساندن نييه ئهمه ئهوهيه كه له ئيم ئاى تى پێىدهڵێن سهلامهتى ئامێرهكان. بير لهوه بكهنهوه بهرلهوهى ناسا ئهپۆلۆى 11 به مهمهيهك ههڵبدا به شێوهيهكى سيستيماتيكى بيريان له ههموو ئهو شتانهوه كردهوه كه دهشێ به ههڵه ڕوو بدهن كاتێك كه خهڵكى دهخهيته سهر ئهو تانكانهى سووتهمهنى كه دهتهقێنهوه ههروهها بۆ شوێنێ ههڵيان دهدهى كه هيچ كهسێ ناتوانێ يارمهتييان بدا ههروهها دهشێ زۆر شت ههبن كه ههڵه دروست بكهن ئايا ئهم خهڵك تۆقاندنه؟ نهخێر ئهمه به وردى سهلامهتى ئامێرهكانه كه سهركهوتنى مهمهكه دڵنيا دهكات ههروهها به وردى ئهوه ئهو ستراتيژهيه كه پێموايه پێويسته لهگهڵ ز.د.گ دا بگيرێتهبهر بيركردنهوه لهوهى دهشێ چ ههڵهيهك ڕوو بدا
So in this spirit, we've organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.
بۆئهوهى دڵنيا بيت لهوهى كه شتهكان بهڕاستى بهڕێوهدهچن لهبهر ئهوه بهم ڕۆحهوه كۆنگرهكانمان ڕێكخست ههردووكيانمان پێكهوه هێنا پێشهنگى توێژهرانى ز.د و مفكرهكانى ديكه بۆ قسهكردن لهسهر ئهوهى چۆن ئهم داناييه گهشه پێ بدهين تا ز د سووتمهند بێ دوا كۆنگرهمان له ئهسيلۆمار كاليفۆرنيا بوو ساڵى ڕابردوو ههروهها ئهم ليستهمان به 23 بنهماوه دروست كرد كه لهو كاتهوه لهلايهن ههزار توێژهرى ز.د هوه ئيمزا كراوه ههروهها لهلايهن كۆمهڵێك له سهرۆكى پيشهسازييهكانيشهوه ههروهها دهمهوێ دهربارهى ئهم سێ بنهمايه قسهتان بۆ بكهم
One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard -- and successfully -- for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can't figure out how to divide this pie so that everyone is better off, then shame on us.
يهكێك لهوانه پێويسته له پێشبڕكێى چهكدارى و چهكى سهربهخۆى فهوتێنهر خۆمان بهدوور بگرين بيرۆكهكه لێرهدا لهوهدايه ههر زانستێك دهشێ بۆ ڕێگاى تازهى يارمهتيدانى خهڵك بهكار بێت يان بۆ ڕێگهى تازهى ئازاردانى خهڵك بۆ نموونه، بايۆلۆژى و كيميا زياتربهكارهاتوون بۆ دهرمانى نوێ، يان چارهسهرى نوێ، زياتر له ڕێگاى تازه بۆ كوشتنى خهڵك چونكه بايۆلۆژيزان و كيميازانهكان سهرسهختانه كاريان كرد ههروهها بهشێوهيهكى سهركهوتووانهش بۆ قهدهغهكردنى چهكى بايۆلۆژى و كيميايى به ههمان ڕۆحهوه زۆربهى توێژهرانى ز.د يش دهيانهوێ ئيدانه و قهدهغهى چهكه كوژهره سهربهخۆكان بكهن يهكێكى ديكه له پرهنسيپهكانى ئهسيلۆماربۆ ز.د ئهوهيه پێويسته ئهو نايهكسانييه كهم بكهينهوهكه تايبهته به بودجهى ز.د لهو باوهڕهدام دهتوانين بهشێوهيهكى دراماتيكى، ئابووريى پاى لهگهڵ ز.د دا گهشه پێ بدهين ههروهها هيشتا ناتوانين ئهوه بزانين كه چۆن ئهم پايه دابهش بكهين بهو شێوهيهى كه ههمووان له دۆخێكى باشتردا بن
(Applause)
كهواته ئهوه نهنگييه بۆ ئێمه
(چهپڵهلێدان)
Alright, now raise your hand if your computer has ever crashed.
باشه،ئێستا دهست بهرز بكهرهوه، ئهگهر جارێ له جاران كۆمپيوتهرهكهت شكا بێ
(Laughter)
(پێكهنين)
Wow, that's a lot of hands. Well, then you'll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today's buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn't malice, like in silly Hollywood movies, but competence -- AGI accomplishing goals that just aren't aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn't do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren't aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don't put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.
واو، ئهوه ژمارهيهكى زۆره له دهست كهواته تۆ پێزانينت دهبێت بۆ ئهم پرهنسيپه ئهويش ئهوهيه پێويسته سهرمايهى زياتر له توێژينهوهكانى سهلامهتى ز.د دا بخهينهگهڕ چونكه ئهگهر زيرهكى دهستكرد بكهينه بهرپرسيارى تهنانهت بڕيارى زياتر و ژێرخانى ئابوورى پێويستمان بهوهيه چۆن ئهم كۆمپيوتهره شێت و قابيلى هاككردنانهى ئهمڕۆ بگوازينهوه بۆ سيستمى بههێزى ز.د كه بهڕاستى بتوانين متمانهيان پێ بكهين چونكه ئهگهر وانهبێ ههموو ئهم تهكنۆلۆژيا باشانه دهشێ شكست بێنن و زيانمان پێ بگهيهنن يان هاك بكرێن و له دژى خۆمان ههڵبگهڕێنهوه ههروهها ههموو ئهم كارى سهلامهتيهش پێويسته بههاى بێلايهنى ز.د لهخۆ بگرێ چونكه ههڕهشهى ڕاستهقينه لهلايهن ز.د.گ-هوه ڕقوكينه نييه وهك فيلمه بێماناكانى هۆليۆد وهلێ توانسته بهديهێنانى ئامانجهكانى ز.د.گ لهگهڵ ئێمهدا ناچێ بهڕێوه بۆنموونه كاتێك ئێمهى بنيادهم ئاژهڵى تاك شاخمان لهخۆرئاواى ئهفهريقا قڕ تێخست ئێمه وامان نهكرد لهبهر ئهوهى ئێمه كۆمهڵێك شهيتان بووين و ڕقمان له تاك شاخ بوو، وا بووين؟ وامان كرد، چونكه ئێمه لهوان زيرهكتر بووين ئامانجهكانى ئێمهش لهگهڵ ئهواندا نهدهگونجان وهلێ ز.د.گ له پێناسهكهيهوه له ئێمه زيرهكتره كهواته بۆ ئهوهى دڵنيا بين لهوهى كه خۆمان نهخهينه بارودۆخێكى وهك ئهو تاك شاخانهوه ئهگهر ئێمه ز.د.گ بخوڵقێنين پێويستمان بهوهيه بزانين چۆن وا لهم ئامێرانه بكهين له ئامانجهكانى ئێمه تێبگا ئامانجهكانمان لهخۆبگرێ و پارێزگارييان لێ بكات
And whose goals should these be, anyway? Which goals should they be?
ههروهها ئهم ئامانجانه پيويسته ئامانجى كێ بن، ههر چۆنێ بێت؟ پێوسته ئامانجهكان چى بن؟
This brings us to the third part of our rocket metaphor: the destination. We're making AI more powerful, trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about -- not even here at TED -- because we're so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that's vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there's some some people who want it to be just machines.
ئهمه بهرهو بهشى سێيهممان دهبات له ڕۆكێته مهجازيهكه: شوێنى مهبهست وا له ز.د دهكهين كه زياتر بههێز بێت ههوڵ دهدهين ئهوه بزانين كه چۆن ئاڕاستهى بكهين وهلێ دهمانهوێ بۆ كوێ ئاڕاستهى بكهين؟ ئهمه "فيلهكهيه لهناو ژوورهكهدا" كه كهس نايهوێ لهبارهيهوه قسه بكات تهنانهت لێرهش له تێد چونكه تهركيزمان چڕكرۆدتهوه لهسهر ڕووبهڕووبوونهوهى كورتخايهنى ز.د تهماشاكه، توخمى ئێمه دهيهوێ ز.د دروست بكات كه كونجكوڵى و ئابوورى هاندهرى بوون وهلێ چ جۆره كۆمهڵگهيهكى دواڕۆژ دهخوازين ئهگهر سهركهوتين؟ بهم دواييانه ڕاپرسيهكمان كرد ههروهها تووشى شۆك بووم كه بينيم زۆربهى خهڵك لهڕاستيدا دهيانهوێ ئێمه سوپهر زيرهكى دروست بكهين ئهو ز.د كه له ههموو ڕوويهكهوه له ئێمه زيرهكتر بێت گهورهترين ڕێكهوتن ههبووكه ئێمه پێويسته خواستمان ههبێت ههوڵ بدهين ژيان لهناو گهردووندا بڵاو بكهينهوه وهلێ ڕێكهوتنى كهمتر ههبوو لهسهر ئهوهى كێ دهبێت بهرپرسيار بێت، لهڕاستيدا تهواو چێژم بينى له بينينى ئهوهى كه ههندێ خهڵك دهيانهوێ تهنيا ئامێرهكان بن
(Laughter)
(پێكهنين)
And there was total disagreement about what the role of humans should be, even at the most basic level, so let's take a closer look at possible futures that we might choose to steer toward, alright?
ههروهها ڕێنهكهوتنى تهواو ههبوو دهربارهى ڕۆڵى مرۆڤ دهبێت چى بێت تهنانهت له ئاسته ههره سهرهكييهكاندا كهواته با سهرنجێكى نزيكتر بدهين له دواڕۆژى ڕێتێچوو لهوانهيه ئهوه ههڵبژێرين كه بهرهو ڕووى بڕۆين ، باشه؟
So don't get me wrong here. I'm not talking about space travel, merely about humanity's metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren't smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren't just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn't those people who don't want human extinction have a say in the matter, too? Now, if you didn't like either of those two high-tech options, it's important to remember that low-tech is suicide from a cosmic perspective, because if we don't go far beyond today's technology, the question isn't whether humanity is going to go extinct, merely whether we're going to get taken out by the next killer asteroid, supervolcano or some other problem that better technology could have solved.
كهواته به ههڵه لێم تێمهگهن من باسى گهشتى فهزايى ناكهم تهنيا باسى گهشتى مهجازى مرۆڤايهتى دهكهم بهرهو دواڕۆژ. يهكێك له ههڵبژاردهكان كه ژمارهيهك له هاوكارانم له ز.د حهزيان لێيهتى ئهوهيه سوپهر زيرهكى دروست بكهين و لهژێر كۆنترۆڵى مرۆڤدا بيهێڵينهوه وهك كۆيلهى خودا له ئينتهرنێت دايببڕين ههروهها بهكارى بێنين بۆ دروستكردنى تهكنۆلۆژيا و سهروهتى وێنەنهكراو بۆ بهرژهوهنىدى ههركهسێ كه كۆنترۆڵى ئهمه دهكات وهلێ ئاكتۆن خوداوهند ئاگادارمان دهكاتهوه كه هێز گهندهڵ دهبێت، ههروهها هێزى ڕهها به ڕههايى گهندهڵ دهبێت كهواته دهشێ نائارام بيت كه لهوانهيه بنيادهم بهشى پێويست زيرهك نهبێ يان حهكيم نهبێت وهك پێويست تا هێزێكى وا گهوره كۆنترۆڵ بكات. ههروهها بهچاوپۆشين له مۆراڵى ههستكردن به ئازارى ويژدانيش دهربارهى كۆنترۆڵكردنى سوپهر مێشك دهشێ نائارام بيت لهوهى كه لهوانهيه سوپهر زيرهكى زيرهكتر بێت له ئێمه فێڵمان لێ بكات و كۆنترۆڵمان بكات وهلێ ئهو هاوكارانهشم ههن بهلايانهوه ئاساييه كه ز.د جێگرهوه بێ ههروهها تهنانهت ببێته هۆى قڕكردنى مرۆڤيش مادام ئێمه وا ههست دهكهين كه ز.د هكان نهوهى شايستهى ئێمهن وهك منداڵهكانمان وهلێ چۆن ئهوه بزانين كه ز.د هكان باشترين بههاكانى ئێمهيان ههڵگرتۆتهوه تهنيا زومبى بێئاگا نين فێڵمان لێ بكهن كه وهك مرۆڤ مامهڵهمان لهگهڵ كردوون ههروهها ئهو خهڵكهش كه نايانهوێ مرۆڤ قڕببێت ئايا نابێت له كێشهكهدا قسهيهكيان ههبێت؟ ئيستا گهر حهزمان له هيچ كام نهبێ لهم دوو ههڵبژارده تهكنۆلۆژيه باڵايه ئهوه گرنگه له بيرمان بێت كه تهكنۆلۆژياى نزميش خۆكوژييه له ڕوانگهى گهردوونهوه چونكه ئهگهر ئێمه دوورتر نهڕۆين بۆ ئهوديوى تهكنۆلۆژياى ئهمڕۆ ئهوا پرسيارهكه ئهوه نييه ئايا مرۆڤايهتى بهرهو قڕبوون دهچێ؟ ئيدى تهنيا بهرهو ئهوه دهچين كه كۆنترۆڵ بكرێين لهلايهن بكوژى داهاتووهوه ئهستێره، بوركانه زهبهلاحهكان يا ههندێ كێشهى دى كه تهكنۆلۆژيايهكى باشتر له توانايدا دهبوو چارهسهريان بكا
So, how about having our cake and eating it ... with AGI that's not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called "friendly AI," and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences -- basically making us the masters of our own destiny.
كهواته ئهڵێن چى كێكهكهى خۆمان ههبێت و دهست به خواردنى بكهين لهگهڵ ز.د دا كه كۆنترۆڵكهر نهبێت بهڵكو بهباشى مامهڵهمان بكا، چونكه بههاكانى لهگهڵ ئێمهدا لهسهر يهك هێڵن؟ ئهمه جهوههرى ئهوهيه كه ئليژهر يۆدۆسكى به زد ى هاوڕێيانه ناوى ناوه ههروهها ئهگهر بتوانين ئهوه بكهين ئهوه شتێكى نايابه نهك تهنيا ئهزموونه نێگهتيڤهكان لهناوبهرێ وهك نهخۆشى، ههژارى تاوان و كۆژانهكانى ديكه، بهڵكو لهوانهيه ئازاديمان بداتێ بۆ ههڵبژاردن له فرجۆرييهكى نوێى نايابى ئهزموونه پۆزهتيڤهكان به شێوهيهكى سهرهكى وامان لێ دهكا كۆنترۆڵى چارهنووسى خۆمان بكهين.
So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history -- let's face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody's better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.
كهواته به كورتى دۆخى ئێمه لهگهڵ تهكنۆلۆژيادا ئاڵۆزه وهلێ وێنه گهورهكه زياتر سادهيه زۆربهى توێژهرانى ز.د پێبشينى ز.د ى گشتى دهكهن له چهند دهيهى داهاتوودا ههروهها ئهگهر تهنيا به شڵهژاوى ههڵسوكهوت بكهين، خۆئامادهنهكهين ئهوه لهوانهيه گهورهترين ههڵه بێت له مێژووى بنيادهمدا با ڕووبهڕووى ببينهوه دهشێ واى لێ بكهين كه ديكتاتۆرێكى جيهانى وهحشى بێت لهگهڵ نادادوهرێكى بێوێنه چاودێريكردن و مهعاناتدا ههروهها تهنانهت دهشێ قڕبوونى مرۆڤيش وهلێ ئهگهر بهورياييهوه ئاڕاستهمان كرد دهتوانين دۆخهكه به ئاييندهيهكى سهرسامكهرهوه كۆتايى پێ بێنين كه ههموو كهس حاڵى باشتر بێت ههژار دهوڵهمهند ببێ، دهوڵهمهند دهوڵهمهندتر ببێت ههموو كهس تهندروست دهبێ و ئازاد بێت له خهونهكانيدا بژى
Now, hang on. Do you folks want the future that's politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societies and give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical -- literally.
ئێستاكهش، چاوهڕێكهن ئێوه خهڵكينه دواڕۆژێكتان دهوێ لهڕووى سياسييهوه ڕاست بێت، يان چهپ؟ كۆمهڵگهيهكى پوختتان دهوێ لهگهڵ ڕێساى مۆڕالى توونتدتردا يان كۆمهڵگهيهكى هيندۆنيزمى ئازاد له ههموو شتێك؟ زياتر حهزتان له ڕهتانهوهى مرۆڤه 24 سهعات حهفتهى حهوت ڕۆژ؟ كهنارى جوان، دارستان و دهرياچهتان دهوێ؟ يان بهلاتانهوه دڵخوازتره سهرلهنوێ ههندێ له ئهتۆمهكان به كۆمپيوتهروه ڕێكبخرێنهوه وهك ئهزموونى واقيعى بينراو له توانادا بن؟ لهگهڵ ز.د دا دهتوانين بهئاسانى ههموو ئهم كۆمهڵگايانه دروست بكهين ههروهها ئازادى به خهڵك بدهين ئهوه ههڵبژێرێ كه دهيهوێ تيادا بژى چونكه چى دى ئێمه به زيركييهكهمانهوه سنووردار نابين تهنيا به هۆى ياساكانى فيزياوه سنووردار دهبين كهواته سهرچاوه و فهزا بۆ ئهمه ئهستێرهكان دهبن به تهواوهتى
So here's our choice. We can either be complacent about our future, taking as an article of blind faith that any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious -- thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We're all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.
كهواته ئهمه ههڵبژاردنهكهى ئێمهيه دهتوانين له دواڕۆژمان ڕازى بين وهك بابهتێك له ئيمانێكى كوێرهوه وهرى بگرين كه ههموو تهكنۆلۆژيايهكى نوێ گرهنتييه كه سوودمهند بێت ههروهها ئهوه بۆ خۆمان وهك مانترا-يهك دوباره بكهينهوه، جار له دواى جار ههروهك كهشتييهكى بێ سووكان بهرو فهوتانى خۆمان دهخليسكێين يان دهتوانين خواستمان ههبێت به چاكى بيربكهينهوه دهربارهى چۆن تهكنۆلۆژياكهمان ئاڕاسته بكهين ههروهها دهمانهوێ بۆ كوێ بڕۆين پێى بۆ ئهوهى سهردهمێكى سهرسامكهر بخوڵقێنين ئێمه ههموومان لێرهين بۆ ئاههنگگێڕان بۆ سهردهمێكى سهرسامكهر ههروهها ههست دهكهم دهبێ جهوههرهكهى به جۆرێ درێژ بكرێتهوه كه دهسهڵاتدار نهبێ بهڵكو بههێز بكرێ لهلايهن تهكنۆلۆياكهى خۆمانهوه.
Thank you.
سوپاس
(Applause)
(چهپڵهلێدان)