After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We've discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we've also discovered something inspiring, which is that the technology we're developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.
پس از ۱۳٫۸ میلیارد سال از تاریخ کیهانی، جهان ما از خواب بیدار شده و درباره خود آگاه شده است. از یک سیاره آبی کوچک، بخشهای هوشیار کوچکی از جهان ما نگاه کردن به کیهان و کشف برخی حقایق حیرتانگیز را با تلسکوپها آغاز کردهاند. ما فهمیدهایم که جهان ما از آن چیزی که گذشتگانمان تصور میکردند وسیعتر است و حیات تقریباً شاخه بسیار مبهم و کوچکی از جهانهای مرده دیگر بنظر میآید. ما همچنین حقایق الهامبخشی کشف کردهایم: تکنولوژی که ما در حال توسعه آن هستیم چنان قابلیتی در شکوفا کردن حیات دارد که نهتنها در قرنها که در میلیاردها سال و نهتنها در زمین که در کل جهان هستی بینظیر است.
I think of the earliest life as "Life 1.0" because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as "Life 2.0" because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. "Life 3.0," which can design not only its software but also its hardware of course doesn't exist yet. But perhaps our technology has already made us "Life 2.1," with our artificial knees, pacemakers and cochlear implants.
معتقدم حیات اولیه نسخه "حیات ۱.۰" میگرفت چرا که سادهترین نوع حیات بود، همچون باکتری که ناتوانی در یاد گرفتن هر چیزی در طول زندگیاش داشت. معتقدم ما نسخه "حیات ۲.۰" را میگیریم چرا که میتوانیم یاد بگیریم که در زبان عامیانه عشقِ کامپیوترها همچون توانایی نصب کردن نرمافزار به مغزمان است، مثل زبانهای جدید و تواناییهای کاری. نسخه "۳.۰" حیات، که علاوه بر نرمافزار، میتواند سختافزار خودش را هم طراحی کند البته هنوز به وجود نیامده است. اما شاید بتوان گفت تکنولوژی فعلی ما نسخه "حیات ۲.۱" است با توانایی ما در ساخت مفصل مصنوعی، دستگاه تنظیم ضربان قلب و کاشت حلزونی.
So let's take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there's an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren't just three astronauts but all of humanity. Let's talk about our collective journey into the future with artificial intelligence.
خب، پس بگذارید نگاهی از نزدیک به رابطهمان با تکنولوژی بیندازیم: این مثالی از ماموریت آپولو ۱۱ برای فرود در ماه است که موفقیتآمیز و الهامبخش بود، نشان میدهد زمانی که انسانها از تکنولوژی عاقلانه استفاده میکنند میتوانیم به موفقیتهایی برسیم که گذشتگانمان در خواب هم نمیدیدند. اما هنوز اکتشافات هرچه بیشتر الهامبخشی وجود دارند که توسط چیزی قویتر از موتور موشک به جلو رانده میشوند، که مسافران آنها محدود به سه فضانورد نمیشود بلکه کل بشریت را شامل میشود. بگذارید در مورد سفر همگانیمان به آینده توسط هوشمصنوعی صحبت کنیم.
My friend Jaan Tallinn likes to point out that just as with rocketry, it's not enough to make our technology powerful. We also have to figure out, if we're going to be really ambitious, how to steer it and where we want to go with it. So let's talk about all three for artificial intelligence: the power, the steering and the destination.
یکی از دوستانم یان تالین اشاره میکند که درست مانند فناوری موشکی، کافی نیست که فقط فناوریمان را قوی کنیم. بلکه اگر بخواهیم واقعا جاهطلب باشیم، باید مشخص کنیم که چطور میخواهیم آن را هدایت کنیم و کجا میخواهیم با آن برویم. پس بیاید در مورد سه مبحث مربوط به هوشمصنوعی صحبت کنیم: قدرت، هدایت، و مقصد.
Let's start with the power. I define intelligence very inclusively -- simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you're made of meat. It's really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn't walk. Now, they can do backflips. Not long ago, we didn't have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn't do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn't beat us at the game of Go. Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world's best player by just playing against itself. And the most impressive feat here wasn't that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.
با بحث قدرت شروع میکنیم. من هوشمندی را با تمام جزئیات تعریف میکنم -- یعنی بطور ساده توانایی ما در رسیدن به اهداف پیچیده، چون با این تعریف میخواهم هر دو شاخه هوش یعنی مصنوعی و زیستی را شامل کنم. با این کار از ایده احمقانه و از روی تعصبِ کربنمحور اجتناب میکنم که فقط در صورتی میتوانید باهوش باشید که از گوشت ساخته شده باشید. رشد اخیر قدرت هوشمصنوعی واقعاً شگفتانگیز است. در موردش فکر کنید. تا همین چند وقت پیش رباتها نمیتوانستند راه بروند. اما حالا پشتک میزنند. همین چند وقت پیش، ما خودروهای خودران نداشتیم. اکنون موشکهای، خود پرواز داریم. همین چند وقت پیش، هوشمصنوعی توانایی تشخیص چهره را نداشت. اکنون، هوشمصنوعی میتواند چهرههای تقلبی بسازد و حرکات چهره شما را در حالی که چیزی میگویید که هرگز نگفتهاید شبیهسازی کند. همین چند وقت پیش، هوشمصنوعی نمیتوانست در بازی Go ما را شکست دهد. اما بعداً، هوشمصنوعی ذهن عمیق آلفا زیرو گوگل ۳,۰۰۰ سال تاریخچه بازی Go و خرد آن را کنار زد و به بهترین بازیکن Go فقط با تمرین با خودش تبدیل شد. و چشمگیرترین دستاورد در این اتفاق شکست دادن بازیکنان انسانی نبود، بلکه شکست دادن خود محققان هوشمصنوعی توسط هوشمصنوعی بود که سالها مشغول سختترکردن بازیهای نرم افزاری بودند. آلفا زیرو نهتنها در Go که در شطرنج هم محققان هوشمصنوعی را شکست داد، دستاوردی که از سال ۱۹۵۰، بر رویش در حال کار بودیم.
So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there's a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront --
پس تمامی این پیشرفتهای اخیر هوشمصنوعی شدیدا سوالی را بر میانگیزد: تا کجا ادامه خواهد داشت؟ من دوست دارم به این سوال به صورت منظرهای انتزاعی از وظایف فکر کنم که ارتفاع هر کار نشان دهنده سختی آن کار برای هوشمصنوعی در سطح انسانی است، و سطح آب دریا نشان دهنده توانایی امروز هوشمصنوعی است. هرچه هوشمصنوعی پیشرفت کند، ارتفاع دریا افزایش پیدا میکند پس به نوعی با پدیده گرمایش جهانی در این منظره از وظایف مواجهیم. و آشکارترین پند این است که از انجام کارهای در نزدیکی آب خودداری کنید --
(Laughter)
(خنده حضار)
which will soon be automated and disrupted. But there's a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence -- AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, "Ah, there will always be jobs that humans can do better than machines," are simply saying that we'll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there's a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what's known as superintelligence.
که بزودی خودکار یا دچار مشکل خواهند بود. اما سوالی بسیار بزرگتری هم هست. تا چه میزانی آب بالا خواهد آمد؟ آیا تا محدودهای که همه چیز را غرق کند پیش خواهد رفت تا تمام وظایف انسانها را در بر بگیرد؟ و این تعریفی برای هوشمصنوعی همهجانبه، AGI است. که هدف نهایی محققان هوشمصنوعی از زمان تعریف شدنش است. با این تعریف، مردم میگویند: "همیشه برای انسانها شغلهایی باقیست که از ماشینها بهتر انجام دهند." و معتقدند هرگز به هوشمصنوعی همهجانبه نخواهیم رسید. یقیناً، ما شاید بتوانیم شغلهایی خاص برای انسانها انتخاب کنیم یا برای انسانها درآمد و هدفی با شغلهایمان متصور شویم، اما هوشمصنوعیهمهجانبه، زندگی که با آن آشناییم را به کل تغییر خواهد داد بطوریکه انسانها دیگر هوشمندترین نخواهند بود. خب، اگر سطح آب به سطح هوشمصنوعیهمهجانبه برسد، دیگر پیشرفتهای بعدی هوشمصنوعی توسط انسان نیستند بلکه خود هوشمصنوعی خودش را ارتقا خواهد داد، که به معنی احتمال سرعت یافتن پیشرفتهای بعدی هوشمصنوعی در مقابل زمانی که تحقیقات و توسعه انسانی طول میکشد خواهد بود، این باعث افزایش احتمال وقوع پدیده جنجالی تکینگی هوشمندی میشود زمانی که هوشمصنوعی خود ارتقاء مرتباً انسانها را در هوشمندی پشت سر میگذارد. و ابر هوشمصنوعی در این زمان متولد میگردد.
Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won't happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis's optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question -- and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?
بگذارید به حال برگردیم: آیا به این زودی به هوشمصنوعیهمهجانبه خواهیم رسید؟ برخی از محققان مشهور هوشمصنوعی همچون رودنی بروکس معتقدند این اتفاق تا صدها سال طول خواهد کشید. اما بقیه همچون موسس هوشمصنوعی دیپ مایند گوگل، دمیس هاسابیس، خوشبینتر هستند و سخت تلاش میکنند هرچه زودتر اتفاق بیفتد. نظرسنجیهای اخیر نشان داده اکثر محققان هوشمصنوعی به خوشبینی دمیس معتقدند و انتظار ظهور هوشمصنوعیهمهجانبه را در چند دهه آینده دارند، یعنی در طول عمر اکثر ما. که این سوال بعدی را به وجود میآورد -- بعد از آن چه میشود؟ نقش انسانها بعد از اینکه ماشینها تمام کارها را بهتر و ارزانتر انجام دادند، چه خواهد بود؟
The way I see it, we face a choice. One option is to be complacent. We can say, "Oh, let's just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?"
از دید من، ما بر سر دوراهی خواهیم بود. انتخاب اول این است که از خود راضی باشیم: "بگذارید ماشینهایی بسازیم که همهکاره باشند و نگران پیشآمدهایش نباشیم. اگر ما تکنولوژی بسازیم که همه انسانها را از رده خارج کند مثلا چه چیز بدی ممکن است اتفاق بیافتد که نگرانید؟"
(Laughter)
(خنده حضار)
But I think that would be embarrassingly lame. I think we should be more ambitious -- in the spirit of TED. Let's envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We're making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It's a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I'm optimistic that we can create a really inspiring high-tech future ... if -- and this is a big if -- if we win the wisdom race -- the race between the growing power of our technology and the growing wisdom with which we manage it. But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times -- invented the fire extinguisher.
اما بنظر من این انتخاب بشدت نسنجیده خواهد بود. بنظرم ما باید بخاطر حضور در TED هم که شده بیشتر جاه طلبانه فکر کنیم. بگذارید آیندهای واقعاً الهامبخش را متصور شویم و برای رسیدن به آن با تأمل حرکت کنیم. این مارا به بحث دوم در تشبیه موشک میکشاند: هدایت. ما در حال قویتر کردن هوشمصنوعی هستیم اما چگونه آن را به سوی آینده هدایت کنیم که هوشمصنوعی بشریت را به جای تسلیم کردن کاملتر کند؟ برای کمک به این بحث، من موسسه تحقیقات حیات آینده را تاسیس نمودم. موسسهای کوچک و غیر انتفاعی که فواید استفاده از تکنولوژی را تبلیغ میکند و هدف ما ساده است: در آینده حیات وجود داشته باشد و به بهترین شکل ممکن درآید. میدانید، من عاشق تکنولوژی هستم. تکنولوژی دلیل بهتر بودن امروز نسبت به عصر سنگی است. و من خوشبینم که ما میتوانیم آیندهای با فناوری بالا و الهامبخش بسازیم، اگر -- و این اگر دشواریست -- اگر ما در نبرد دانش پیروز شویم -- نبردی میان رشد قدرت تکنولوژیمان و رشد دانشی که خودمان داریم. اما این پیروزی نیازمند تغییر استراتژی است چون استراتژی قبلی ما بر پایه یادگیری از اشتباهات بوده است. ما آتش را اختراع کردیم، چندین بار باعث حادثه شد، و مواد آتش خاموش کن ساختیم.
(Laughter)
(خنده حضار)
We invented the car, screwed up a bunch of times -- invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don't you think?
ماشین را اختراع کردیم، چند بار باعث تصادف شد سپس چراغ راهنما، کمربند ایمنی و کیسه هوا را اختراع کردیم، اما در برخورد با تکنولوژیهای قدرتمندی چون سلاح هستهای و هوشمصنوعیهمهجانبه، یادگیری از اشتباهات، استراتژی شکست خورده محسوب میشود، بنظر شما اینطور نیست؟
(Laughter)
(خنده حضار)
It's much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we'll get. But it is funny because sometimes people tell me, "Max, shhh, don't talk like that. That's Luddite scaremongering." But it's not scaremongering. It's what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That's was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.
فعالانه عمل کردن بهتر از واکنش است؛ از پیش برنامهریزی کنید و از همان اول همه چیز را درست کنید چون ممکن است تنها فرصتمان باشد. اما این جالب است چون گاهی مردم به من میگویند: "مکس، هیشش، اینطوری صحبت نکن، چرا که سخنانت مانند تکنولوژیهراسان ترسناک است." اما اینها ترسناک نیستند بلکه ما در MIT آنها را بخشی از دروس مهندسی ایمنی میدانیم. به آن فکر کنید: قبل از اینکه ناسا ماموریت آپولو ۱۱ را آغاز کند، آنها به طور منظم احتمال هر ایرادی در حالتی که شما انسانهایی روی تانکرهای سوختی میگذارید و بهجایی میفرستید که هیچ کمکی بعداً نمیشود فرستاد، بررسی کردند. احتمال فراوانی از ایرادها ممکن بود. آیا آن بررسیها باعث ترس میشدند؟ نه. این دقیقاً همان مهندسی ایمنی بود که موفقیت ماموریت را تضمین کرد. معتقدم همان استراتژی دقیقاً باید در مورد هوشمصنوعیهمهجانبه نیز به کار رود. در مورد پیشآمدهای بد فکر کن تا مطمئن شوی بدون نقص خواهد شد.
So in this spirit, we've organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.
خب در این زمینه، کنفرانسهایی تشکیل دادیم تا محققان پیشتاز هوشمصنوعی را کنار یکدیگر جمع کنیم تا در مورد چگونگی رشد دانشمان به منظور داشتن هوشمصنوعی سودمند گفتگو کنیم. آخرین کنفرانس ما، سال قبل در آسیلومر کالیفرنیا بود و این لیست ۲۳ بندی از اصولی که توسط ۱۰۰۰ نفر از محققان هوشمصنوعی و رهبران صنعتی امضا شده را تشکیل داد. میخواهم در مورد سه تا از این اصول برایتان بگویم:
One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard -- and successfully -- for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can't figure out how to divide this pie so that everyone is better off, then shame on us.
اول، باید از هرگونه مسابقه نظامی و سلاحهای خودکار مرگبار خودداری شود. نکته این است که هر علمی میتواند باعث ایجاد راههای جدید برای کمک یا صدمهزدن به مردم شود. به طور نمونه، زیستشناسی و شیمی بیشتر در مقاصد ساخت دارو و درمانهای جدید در مقابل روش جدید برای کشتن مردم بکار میرود، چراکه زیستشناسان و شیمیدانان مستمرانه -- و موفقیت آمیز -- برای ممنوع کردن سلاحهای زیستی و شیمیایی تلاش کردند. و در همین زمینه، اکثر محققان هوشمصنوعی میخواهند استفاده از سلاحهای مرگبار خودکار را ممنوع و بد جلوه دهند. اصل بعدی تصویب شده در کنفرانس آسیلومار، ما باید شکاف درآمدی حاصل از هوشمصنوعی را کاهش دهیم. معتقدم، اگر بتوانیم کیک [سرانه درآمد جهان] را با هوشمصنوعی به شدت بزرگ کنیم اما نتوانیم راهی برای تقسیم آن پیدا کنیم طوری که همه راضی باشند، پس شرم بر ما.
(Applause)
(تشویق حضار)
Alright, now raise your hand if your computer has ever crashed.
اگر کسی تا حالا کامپیوترش خراب شده، دستش را بالا بیاورد.
(Laughter)
(خنده حضار)
Wow, that's a lot of hands. Well, then you'll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today's buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn't malice, like in silly Hollywood movies, but competence -- AGI accomplishing goals that just aren't aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn't do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren't aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don't put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.
واو، دستها زیاد هستند. خب، پس باید به این اصل شما هم معتقد باشید که باید بودجه زیادی برای تحقیق روی تحقیقات ایمنیهوشمصنوعی بگذاریم. چون زمانیکه ما هوشمصنوعی را تصمیمگیر و مسئول زیرساختها قرار میدهیم، باید راهی برای تبدیل کامپیوترهای ایراددار و قابل هک امروزی به هوشمصنوعی قدرتمندی که واقعاً بتوان به آن اعتماد کرد پیدا کنیم، در غیر اینصورت، تمامی این تکنولوژی وحشتناک میتواند دچار اختلال شده و به ما آسیب رساند، یا هک شده و علیه ما تنظیم شود. کار ما بر روی ایمنی کارکرد هوشمصنوعی باید شامل کار بر روی تنظیم ارزشهایش باشد، چرا که تهدید واقعی از جانب هوشمصنوعیهمهجانبه از نوع شیطانی نیست همانند آنچه در فیلمهای احمقانه هالیوودی هست، بلکه از نوع برتری است -- یعنی هوشمصنوعیهمهجانبه به اهدافی میرسد که با اهداف ما در تضاد است. برای نمونه، وقتی ما انسانها کرگدنهای سیاه غربآفریقایی را به انقراض کشاندیم، بهخاطر دستهای از افکار شیطانی ضد کرگدنی اینکار را نکردیم که، قبول دارید؟ ما اینکار را بخاطر اینکه از آنها باهوشتر بودیم و اهداف ما با آنها در تضاد بود انجام دادیم. اما هوشمصنوعیهمهجانبه روی کاغذ از ما هوشمندتر است پس برای اینکه اطمینان داشته باشیم خودمان را در مقامی چون کرگدنها در مقابل هوشمصنوعیهمهجانبه -- اگر ساختیم -- قرار ندهیم، ما باید بفهمیم که ماشینها چگونه اهداف ما را میفهمند با آنها سازگار شده و تغییرشان نمیدهند.
And whose goals should these be, anyway? Which goals should they be?
اما پس اهداف چهکسی باید رویآنها تنظیم گردد؟ چه اهدافی باید باشند؟
This brings us to the third part of our rocket metaphor: the destination. We're making AI more powerful, trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about -- not even here at TED -- because we're so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that's vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there's some some people who want it to be just machines.
این ما را به بحث سوم در تشبیه موشک میرساند: مقصد. ما در حال قویتر کردن هوشمصنوعی هستیم، میخواهیم طریقه هدایتش را بدانیم، اما با آن به کجا میخواهیم برویم؟ این چالشی است که هیچکس نمیخواهد در موردش صحبت کند -- حتی در همین صحنه TED نیز -- زیرا همه ما شدیداً به اهداف کوتاهمدت هوشمصنوعی چسبیدهایم. نژاد ما در حال ساختن هوشمصنوعیهمهجانبه است، که با انگیزه توجیه اقتصادی و کنجکاوی همراه است، اما پس اگر موفق شویم، چه تصوری از جامعه آینده باید داشته باشیم؟ ما اخیراً نظرسنجی بر روی این موضوع داشتیم. من بهطور ناخوشآیندی متوجه شدم اکثر مردم واقعاً از ما میخواهد ابرهوشمصنوعی را بسازیم: هوشمصنوعی که بشدت در همه جهات از ما هوشمندتر است. و چیزی که عامه توافق بالایی رویآن دارند بلندپروازی ما برای کمک در انتشار حیات در عالم است، اما توافق کمی درباره اینکه چه کسی یا چه چیزی مسئول آن باشد وجود دارد. و من واقعا دلم میخواهد کسی را که میخواهد فقط ماشینها در عالم به عنوان حیات پخش شوند ببینم.
(Laughter)
(خنده حضار)
And there was total disagreement about what the role of humans should be, even at the most basic level, so let's take a closer look at possible futures that we might choose to steer toward, alright?
و عدمتوافق کاملی در مورد نقش انسانها داریم حتی در ابتدایی ترین نقشها، پس بیایید به آیندههای محتمل نگاهی بیندازیم که ممکن است انتخابمان به سویشان باشد، موافقید؟
So don't get me wrong here. I'm not talking about space travel, merely about humanity's metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren't smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren't just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn't those people who don't want human extinction have a say in the matter, too? Now, if you didn't like either of those two high-tech options, it's important to remember that low-tech is suicide from a cosmic perspective, because if we don't go far beyond today's technology, the question isn't whether humanity is going to go extinct, merely whether we're going to get taken out by the next killer asteroid, supervolcano or some other problem that better technology could have solved.
در اینقسمت اشتباه در موردم فکر نکنید. در مورد سفرهای فضایی صحبت نمیکنم، بلکه صرفاً در مورد سفر استعارهای بشریت به سمت آینده صحبت خواهم کرد. یکی از انتخابهایی که بعضی از همکارانم دوستش دارند ساختن ابر هوشمصنوعی و در زیر کنترل بشریت نگهداشتن آن است، همچون خدایی در بند شده، جدا شده از اینترنت، که برای تولید تکنولوژی و ثروت غیر قابل تصور برای هرکسیکه صاحبش باشد، مورد استفاده قرار میگیرد. اما لرد اکتون ما را آگاه ساخته که: "قدرت فساد میآورد و قدرت مطلق، فساد مطلق میآورد." خب شاید بنظر بیاید که ما انسانها بهاندازه کافی باهوش یا دانا نخواهیم بود تا این حجم از قدرت را در کنترل داشته باشیم همچنین، در کنار همه تردیدهای اخلاقی که شما ممکن است درباره به کنترل درآوردن هوش[مصنوعی] برتر داشته باشید، ممکن است نگران باشید که ابر هوشمصنوعی میتواند از ما در هوشمندی جلوتر زده، از دستمان در رود و بر ما چیره شود. اما من همچنین همکارانی دارم که راضیاند هوشمصنوعی بر ما چیره شود و حتی باعث انقراض نسل بشر گردد، مثل اینکه به هوشمصنوعی به دید میراثداران شایستهمان بنگریم، مثل فرزندانمان. اما از کجا بدانیم که هوشمصنوعی با بهترین ارزشهای ما سازگار شده است و همانند زامبیهای ناخودآگاه ما را در انسانگونه دانستنشان فریب نخواهد زد؟ آیا نباید به انسانهایی که انقراض نسل بشر را نمیخواهد در این زمینه، فرصت نظر دادن داد؟ حالا اگر شما هیچکدام از این دو انتخاب برای آینده همراه با فناوری را نخواهید باید به یاد داشته باشید که آینده با فناوری کم از منظر کیهانی همانند خودکشی است، چرا که اگر ما از مرزهای تکنولوژی امروزی فراتر نرویم سوال این نخواهد بود که بشریت منقرض میشود یا نه، بلکه اساسا درباره این خواهد بود که عامل آن سیارک قاتل بعدی است یا ابر آتشفشان یا مشکلات دیگری که میتوانستیم با تکنولوژی بهتر مانعشان شویم.
So, how about having our cake and eating it ... with AGI that's not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called "friendly AI," and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences -- basically making us the masters of our own destiny.
خب، چطور است کیکمان را داشته باشیم و آن را بخوریم ... با هوشمصنوعیهمهجانبهای در بند ما نیست بلکه با ما خوب رفتار میکند چون ارزشهای آن با ارزشهای ما همراستاست؟ این نیمنگاهی است به آنچه که الیزر یودکاوسکی آنرا "هوشمصنوعیدوستانه" مینامد. و اگر ما چنین هوشمصنوعی بسازیم میتواند بسیار الهامبخش باشد. این میتواند نهتنها ما را از تجربههای منفی همچون بیماری، فقر، جرایم و سایر رنجها برهاند، همچنین میتواند به ما آزادی انتخاب از میان گوناگونی تجربههای فوقالعاده مثبت و جدید را بدهد -- اساساً ما را صاحبان سرنوشتمان کند.
So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history -- let's face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody's better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.
خب پس در خلاصه، وضعیت ما با تکنولوژی پیچیده است اما شرایط کلیمان ساده است. اکثر محققان هوشمصنوعی انتظار ظهور هوشمصنوعیهمهجانبه را در چند دهه بعدی دارند اگر ما بدون برنامه به آن مرحله برسیم، شاید این بزرگترین اشتباه در تاریخ بشریت باشد. امتحانش مجانی است. این رویداد میتواند باعث دیکتاتوری وحشیانه جهانی همراه با نابرابری بیسابقه، تحت نظر قرار گرفتن و رنج بردن و حتی موجب انقراض بشریت شود. اما اگر ما با دقت هدایتش کنیم، میتوانیم به آیندهای خارقالعاده که همه در وضع بهتری از الان خواهند بود برسیم: فقیر، ثروتمند و ثروتمند، ثروتمندتر شده، همه سالم و آزاد برای زندگی به سمت اهدافشان هستند.
Now, hang on. Do you folks want the future that's politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societies and give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical -- literally.
حالا، صبر کنید. آیا شما گروهی هستید که آینده سیاسی راست یا چپی میخواهید؟ آیا جامعه مذهبی بر پایه قوانین سرسخت اخلاقی میخواهید؟ یا جامعهای همراه با خوشی و لذت همگانی، چیزی مثل مراسم سالانه "مرد سوزان" در نوادا که بصورت همیشگی دایر باشد؟ سواحل، جنگل و دریاچه زیبا میخواهید یا ترجیح میدهید یکی از آن اتمها را توسط واقعیت مجازی کامپیوتری دستکاری کنید؟ با هوشمصنوعیمهربان، تمامی این جوامع امکانپذیر است و میتوان به مردم آزادی داد تا در هر کدام که خواستند زندگی کنند چرا که دیگر ما توسط هوشخودمان محدود نیستیم و تنها محدود به قوانین فیزیک هستیم. پس میزان منابع و فضا برای آن نجومی خواهد بود -- به معنای واقعی کلمه.
So here's our choice. We can either be complacent about our future, taking as an article of blind faith that any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious -- thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We're all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.
پس این انتخاب ماست: میتوانیم در مورد آیندهمان از خود راضی باشیم، و همانند نوشتهای از ایمان کور به همه تکنولوژیهای جدید به شکل تضمینی و سودمند نگاه کنیم، و به خودمان این تضمین را مدام همچون وردی تکرار کنیم در حالی که همچون کشتی سرگردان بهسمت تباهیمان پیش میرویم. یا میتوانیم بلندپرواز باشیم -- در مورد نحوه هدایت تکنولوژیمان و جایی که با آن میخواهیم برویم تا عصر شگفتیها را با آن بسازیم خوب فکر کنیم. ما همه اینجا هستیم، تا عصر شگفتی را جشن بگیریم، و من احساس میکنم ماهیت آن نباید این باشد که قدرت فناوری از ما بیشتر شود، بلکه ما باید با آن قدرتمند شویم.
Thank you.
متشکرم.
(Applause)
(تشویق)