So I'm excited to share a few spicy thoughts on artificial intelligence. But first, let's get philosophical by starting with this quote by Voltaire, an 18th century Enlightenment philosopher, who said, "Common sense is not so common." Turns out this quote couldn't be more relevant to artificial intelligence today. Despite that, AI is an undeniably powerful tool, beating the world-class "Go" champion, acing college admission tests and even passing the bar exam.
خوب هیجانزدهام که چند ایده جذاب از هوش مصنوعی به شما بگویم. اما ابتدا، برویم سراغ فلسفه، با شروع با این جمله از ولتر، فیلسوف عصر روشنگری در قرن هجدهم، که گفت: «عقل سلیم زیاد رایج نیست.» از قضا این جمله نمیتوانست با هیچ چیزی بیش از هوش مصنوعی همخوانی داشته باشد. با وجود این، هوش مصنوعی بیشک ابزار قدرتمندی است، که قهرمان جهان در بازی «گو» را شکست میدهد، در آزمونهای پذیرش دانشگاه بهترین نمره را میگیرد و حتی در آزمون وکالت قبول میشود.
I’m a computer scientist of 20 years, and I work on artificial intelligence. I am here to demystify AI. So AI today is like a Goliath. It is literally very, very large. It is speculated that the recent ones are trained on tens of thousands of GPUs and a trillion words. Such extreme-scale AI models, often referred to as "large language models," appear to demonstrate sparks of AGI, artificial general intelligence. Except when it makes small, silly mistakes, which it often does. Many believe that whatever mistakes AI makes today can be easily fixed with brute force, bigger scale and more resources. What possibly could go wrong?
من متخصص کامپیوتر با سابقه ۲۰ ساله هستم، و روی هوش مصنوعی کار میکنم. آمدهام تا در مورد هوش مصنوعی شفافسازی کنم. خوب امروز هوش مصنوعی مثل یک غول است. بسیار بسیار بزرگ است. تصور میشود نمونههای اخیر روی دهها هزار جیپییو و یک تریلیون کلمه آموزش دیدهاند. چنین مدلهای عظیمی از هوش مصنوعی، اغلب «مدلهای زبانی بزرگ» نامیده میشوند، و به نظر میرسد جرقههایی از ایجیآی یا هوش مصنوعی عمومی را نشان میدهد. اما گاهی مرتکب اشتباهات کوچک و احمقانهای میشود. بسیاری معتقدند هر اشتباهی که امروزه هوش مصنوعی مرتکب میشود به سادگی قابل حل هستند، البته با اعمال فشار شدید و به کارگیری منابع بیشتر و بزرگتر. چه اشتباهی ممکن است رخ دهد؟
So there are three immediate challenges we face already at the societal level. First, extreme-scale AI models are so expensive to train, and only a few tech companies can afford to do so. So we already see the concentration of power. But what's worse for AI safety, we are now at the mercy of those few tech companies because researchers in the larger community do not have the means to truly inspect and dissect these models. And let's not forget their massive carbon footprint and the environmental impact.
خوب فعلاً سه چالش وجود دارند که پیشاپیش در سطح اجتماعی با آن مواجه هستیم. اول، آموزش مدلهای هوش مصنوعی بزرگ بسیار هزینهبر است، و تنها اندکی از شرکتهای فناور از پس این هزینهها بر میآیند. برای همین پیشاپیش تجمیع قدرت اتفاق افتاده است. اما مشکل بدتر امنیت هوش مصنوعی است، ما فعلاً از نعمت چند شرکت فناور برخوردار هستیم چون محققین در اجتماعات بزرگتر ابزاری برای بررسی واقعی و تحلیل این مدلها در اختیار ندارند. و باقی گذاشتن حجم زیاد آثار کربن و تأثیر زیست محیطی آن را فراموش نکنیم.
And then there are these additional intellectual questions. Can AI, without robust common sense, be truly safe for humanity? And is brute-force scale really the only way and even the correct way to teach AI?
و این سوالات ذهنی اضافه هم وجود دارند. آیا هوش مصنوعی بدون عقل سلیم قوی آیا واقعاً برای بشریت ایمن است؟ و آیا این حجم فشار زیاد تنها راه و حتی تنها روش صحیح آموزش هوش مصنوعی است؟
So I’m often asked these days whether it's even feasible to do any meaningful research without extreme-scale compute. And I work at a university and nonprofit research institute, so I cannot afford a massive GPU farm to create enormous language models. Nevertheless, I believe that there's so much we need to do and can do to make AI sustainable and humanistic. We need to make AI smaller, to democratize it. And we need to make AI safer by teaching human norms and values. Perhaps we can draw an analogy from "David and Goliath," here, Goliath being the extreme-scale language models, and seek inspiration from an old-time classic, "The Art of War," which tells us, in my interpretation, know your enemy, choose your battles, and innovate your weapons.
به همین خاطر این روزها میپرسم آیا تحقیقی معنادار بدون محاسبات حجم بزرگ اصلاً امکان دارد. و من در دانشگاه و موسسه غیرانتفاعی کار میکنم، پس نمیتوانم از پس هزینههای مزارع بزرگ جیپییو در خلق مدلهای زبانی بزرگ بر آیم. با این اوصاف، فکر میکنم کارهای زیادی باید انجام دهیم و میتوانیم انجام دهیم تا هوش مصنوعی را پایدارتر و انسانیتر کنیم. باید هوش مصنوعی را کوچکتر کنیم تا عمومی شود. و باید هوش مصنوعی را با آموزش ارزشها و هنجارهای انسانی ایمنتر کنیم. شاید بتوانیم وجه تشبیهی از «داوود و جالوت» را تصویر کنیم، اینجا جالوت، مدلهای زبانی بسیار بزرگ هستند، و بدنبال الهام گرفتن از اثر کلاسیک قدیمی «هنر جنگ» هستم که طبق تفسیر من میگوید: دشمن خود را بشناس، مبارزات را انتخاب کن و در سلاحها نوآوری کن.
Let's start with the first, know your enemy, which means we need to evaluate AI with scrutiny. AI is passing the bar exam. Does that mean that AI is robust at common sense? You might assume so, but you never know.
با اولی شروع کنیم، دشمن خود را بشناس، که یعنی نیاز داریم هوش مصنوعی را با ریزبینی ارزیابی کنیم. هوش مصنوعی در آزمون وکالت قبول میشود. آیا به این معناست که هوش مصنوعی از عقل سلیم قوی برخوردار است؟ ممکن است چنین فرض کنید ولی هرگز مطمئن نیستید.
So suppose I left five clothes to dry out in the sun, and it took them five hours to dry completely. How long would it take to dry 30 clothes? GPT-4, the newest, greatest AI system says 30 hours. Not good. A different one. I have 12-liter jug and six-liter jug, and I want to measure six liters. How do I do it? Just use the six liter jug, right? GPT-4 spits out some very elaborate nonsense.
خوب فرض کنید من پنج لباس را برای خشک شدن زیر آفتاب گذاشتهام، و پنج ساعت طول میکشد تا کاملاً خشک شود. چقدر طول میکشد تا سی لباس خشک شوند؟ جیپیتی۴، قویترین سیستم هوش مصنوعی میگوید سی ساعت. خوب نیست. یکی دیگر. من یک ظرف ۱۲ لیتری و یک ظرف ۶ لیتری دارم، و میخواهم ۶ لیتر اندازه بگیرم. چطور این کار را بکنم؟ کافی است از ظرف شش لیتری استفاده کنم. درست؟ جیپیتی۴ راه غیرمنطقی بسیار پیچیده را پیشنهاد میدهد.
(Laughter)
(خنده)
Step one, fill the six-liter jug, step two, pour the water from six to 12-liter jug, step three, fill the six-liter jug again, step four, very carefully, pour the water from six to 12-liter jug. And finally you have six liters of water in the six-liter jug that should be empty by now.
قدم اول، ظرف شش لیتری را پر کن، قدم دوم، آب را از ظرف شش لیتری در ۱۲ لیتری بریز، قدم سوم، دوباره ظرف شش لیتری را پر کن، قدم چهارم، بسیار با دقت، از ظرف شش لیتری آب را در ۱۲ لیتری بریز. و در نهایت شما شش لیتر در ظرف شش لیتری دارید که الآن باید خالی باشد.
(Laughter)
(خنده)
OK, one more. Would I get a flat tire by bicycling over a bridge that is suspended over nails, screws and broken glass? Yes, highly likely, GPT-4 says, presumably because it cannot correctly reason that if a bridge is suspended over the broken nails and broken glass, then the surface of the bridge doesn't touch the sharp objects directly.
خوب، یکی دیگر. آیا اگر با دوچرخه از روی پلی که از میخها پیچگوشتیها و شیشه شکسته آویزان است عبور کنم پنچر خواهم کرد؟ جیپیتی۴ میگوید: بله به احتمال بسیار زیاد، احتمالاً به این خاطر که درست نمیتواند استدلال کند که اگر پل از میخ و شیشه شکسته آویزان باشد، سطح پل با اشیای نوکتیز مستقیماً در تماس نیست.
OK, so how would you feel about an AI lawyer that aced the bar exam yet randomly fails at such basic common sense? AI today is unbelievably intelligent and then shockingly stupid.
خوب در مورد یک وکیل هوش مصنوعی که بهترین نمره را در آزمون وکالت اخذ کرده است چه فکر میکنید آیا همچنان در این سوالات پیش پا افتاده رد میشود؟ هوش مصنوعی امروز بسیار باهوش و در عین حال بسیار احمق است.
(Laughter)
(خنده)
It is an unavoidable side effect of teaching AI through brute-force scale. Some scale optimists might say, “Don’t worry about this. All of these can be easily fixed by adding similar examples as yet more training data for AI." But the real question is this. Why should we even do that? You are able to get the correct answers right away without having to train yourself with similar examples. Children do not even read a trillion words to acquire such a basic level of common sense.
اینها عوارض جانبی آموزش هوش مصنوعی با فشار زیاد است. ممکن است افراد خوشبین بگویند، «در این مورد نگران نباش همه این موارد با اضافه کردن نمونههای مشابه بهراحتی حل میشود با دادن دادههای بیشتر برای آموزش.» اما سوال واقعی این است. اصلاً چرا این کار را بکنیم؟ شما خودتان پاسخ درست را دارید بدون اینکه نیاز داشته باشید با نمونههای مشابه آموزش ببینید. کودکان حتی یک تریلیون کلمه را نمیخوانند برای اینکه به حداقل عقل سلیم دست یابند.
So this observation leads us to the next wisdom, choose your battles. So what fundamental questions should we ask right now and tackle today in order to overcome this status quo with extreme-scale AI? I'll say common sense is among the top priorities.
خوب این مشاهدات ما را به پند بعدی سوق میدهد، مبارزات را انتخاب کنید. خوب چه سوالات اساسی الان باید بپرسیم و از آن بهره بریم تا بر وضع موجود هوش مصنوع بزرگ مقیاس غلبه کنیم؟ من خواهم گفت عقل سلیم از اولویتهای مهم است.
So common sense has been a long-standing challenge in AI. To explain why, let me draw an analogy to dark matter. So only five percent of the universe is normal matter that you can see and interact with, and the remaining 95 percent is dark matter and dark energy. Dark matter is completely invisible, but scientists speculate that it's there because it influences the visible world, even including the trajectory of light. So for language, the normal matter is the visible text, and the dark matter is the unspoken rules about how the world works, including naive physics and folk psychology, which influence the way people use and interpret language.
خوب عقل سلیم یک چالش طولانی برای هوش مصنوعی بوده است. برای توضیح بگذارید یک تصویر مشابه با ماده تاریک رسم کنم. خوب فقط پنج درصد کیهان ماده معمولی است که میتوانیم ببینیم و با آن تعامل کنیم، و ۹۵ درصد باقیمانده ماده و انرژی سیاه هستند. ماده سیاه کاملاً نامرئی است، اما دانشمندان فرض میکنند که وجود دارند چون روی جهان قابل دید ما اثر میگذارند، من جمله مسیر حرکت نور. خوب برای زبان، ماده معمولی متن قابل مشاهده است، و ماده سیاه قوانین ناگفتهای هستند که در نحوه عملکرد جهان نقش دارند، شامل فیزیک ساده و روانشناسی عامیانه، که بر نحوه استفاده و تفسیر زبان اثر میگذارند.
So why is this common sense even important? Well, in a famous thought experiment proposed by Nick Bostrom, AI was asked to produce and maximize the paper clips. And that AI decided to kill humans to utilize them as additional resources, to turn you into paper clips. Because AI didn't have the basic human understanding about human values. Now, writing a better objective and equation that explicitly states: “Do not kill humans” will not work either because AI might go ahead and kill all the trees, thinking that's a perfectly OK thing to do. And in fact, there are endless other things that AI obviously shouldn’t do while maximizing paper clips, including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,” which are all part of our common sense understanding about how the world works.
خوب چرا این عقل سلیم اینقدر مهم است؟ خوب در یک آزمایش فکری ارائه شده توسط نیک بوسترام، از هوش مصنوعی خواسته شد که تولید گیره کاغذ را به حداکثر برساند. و هوش مصنوعی تصمیم گرفت انسانها را بکشد و از آنها بعنوان منابع بیشتر استفاده کند تا شما را به گیره کاغذ تبدیل کند. چون هوش مصنوعی درک حداقلی انسانی در مورد ارزشهای انسانی را ندارد. حالا، یک سوال هدفمندتر بنویسیم که صراحتاً میگوید: «انسانها را نکش» باز هم عمل نمیکند چون ممکن است هوش مصنوعی ادامه دهد و همه درختان را از بین ببرد، و فکر میکند این کار بسیار درستی است. و در واقع، بینهایت چیزهای دیگری وجود دارد که جهت تولید بیشترین گیره کاغذ، هوش مصنوعی نباید انجام دهد شامل: «خبرهای دروغ منتشر نکن،» «دزدی نکن،» «دروغ نگو،» که همه بخشی از عقل سلیم ما در مورد نحوه عملکرد جهان هستند.
However, the AI field for decades has considered common sense as a nearly impossible challenge. So much so that when my students and colleagues and I started working on it several years ago, we were very much discouraged. We’ve been told that it’s a research topic of ’70s and ’80s; shouldn’t work on it because it will never work; in fact, don't even say the word to be taken seriously. Now fast forward to this year, I’m hearing: “Don’t work on it because ChatGPT has almost solved it.” And: “Just scale things up and magic will arise, and nothing else matters.”
به هر حال، زمینه هوش مصنوعی دههها عقل سلیم را تقریباً یک چالش غیرممکن دانسته است. تا حدی که من و دانشجویانم وقتی چند سال قبل به کار روی آن شروع کردیم، خیلی دلسرد شدیم. به ما گفته شد که این موضوع تحقیق مربوط به دهه هفتاد و هشتاد است؛ نباید روی آن کار کنید زیرا هرگز به کار نمیآید؛ حتی یک جمله که این موضوع جدی گرفته شود گفته نمیشد. حالا تا امسال، دارم میشنوم: «روی این کار نکنید چون چت جیپیتی تقریباً آن را حل کرده است.» و :«فقط کمی قدرت بیشتری اعمال شود معجزه رخ میدهد، و هیچ چیز دیگری مهم نیست.»
So my position is that giving true common sense human-like robots common sense to AI, is still moonshot. And you don’t reach to the Moon by making the tallest building in the world one inch taller at a time. Extreme-scale AI models do acquire an ever-more increasing amount of commonsense knowledge, I'll give you that. But remember, they still stumble on such trivial problems that even children can do.
خوب موضع من این است که همچنان خلق رباتهای با عقل سلیم شبیه انسان مثل فتح کره ماه خواهد بود. با ساختن ساختمانی با ارتفاع یک سانتیمتر بلندتر بلندترین ساختمان جهان را ساختهاید ولی همچنان با رسیدن به ماه فاصله دارید. مدلهای هوش مصنوعی بزرگمقیاس بیشترین میزان نزدیکی به عقل سلیم انسانی را کسب کردهاند و من این را میپذیرم. اما به خاطر بسپارید که همچنان با همچین مسائل پیشپاافتادهای درمانده میشوند مسائلی که حتی کودکان قادر به حلش هستند.
So AI today is awfully inefficient. And what if there is an alternative path or path yet to be found? A path that can build on the advancements of the deep neural networks, but without going so extreme with the scale.
خوب هوش مصنوعی امروز بطور وحشتناکی ناکارآمد است. اما چه میشد اگر یک مسیر جایگزین وجود داشته باشد یا کشف شود؟ مسیری که بتواند بر پیشرفتهای شبکه عصبی عمیق بنا شود، اما بدون رفتن سراغ مقیاسهای خیلی بزرگ.
So this leads us to our final wisdom: innovate your weapons. In the modern-day AI context, that means innovate your data and algorithms. OK, so there are, roughly speaking, three types of data that modern AI is trained on: raw web data, crafted examples custom developed for AI training, and then human judgments, also known as human feedback on AI performance. If the AI is only trained on the first type, raw web data, which is freely available, it's not good because this data is loaded with racism and sexism and misinformation. So no matter how much of it you use, garbage in and garbage out. So the newest, greatest AI systems are now powered with the second and third types of data that are crafted and judged by human workers. It's analogous to writing specialized textbooks for AI to study from and then hiring human tutors to give constant feedback to AI. These are proprietary data, by and large, speculated to cost tens of millions of dollars. We don't know what's in this, but it should be open and publicly available so that we can inspect and ensure [it supports] diverse norms and values. So for this reason, my teams at UW and AI2 have been working on commonsense knowledge graphs as well as moral norm repositories to teach AI basic commonsense norms and morals. Our data is fully open so that anybody can inspect the content and make corrections as needed because transparency is the key for such an important research topic.
خوب حالا میرسیم به پند نهایی: سلاحهایتان را نوآوری کنید. زمینه هوش مصنوعی امروز، به معنای نوآوری دادهها و الگوریتمهاست. خوب بطور تقریبی سه نوع داده وجود دارد که هوش مصنوعی مدرن تحت آن آموزش میبیند: دادههای خام وب، نمونههای ساختهشده که برای آموزش هوش مصنوعی توسعه یافتهاند، و سپس داوریهای انسانی، که همچنین بازخورد انسانی در مورد کارآیی هوش مصنوعی نامیده میشود. اگر هوش مصنوعی فقط روی نوع اول یعنی دادههای خام وب آموزش ببینید، که بصورت آزاد در دسترس است، که خوب نیست زیرا این دادهها با رویکرد نژادپرستی و جنسیتزده بارگذاری شده و حاوی اطلاعات غلط هستند. خوب فارغ از میزان استفاده از این دادهها، زباله وارد و زباله خارج میشود. خوب جدیدترین و بهترین سیستمهای هوش مصنوعی با دادههای نوع دوم و سوم تقویت شدهاند که توسط کاربران انسانی داوری و بازسازی شدهاند. شبیه نوشتن یک کتاب تخصصی است تا هوش مصنوعی از روی آن بخواند و استخدام آموزشدهندگان انسانی است تا دائماً به هوش مصنوعی بازخورد دهند. اینها دادههای اولویتدار هستند، که نیازمند هزینه کردن دهها میلیون دلار است. ما نمیدانیم چه در آن هست، اما باید باز و در دسترس عموم باشد تا بتوانیم بررسی کنیم که هنجارها و ارزشهای مختلف را در نظر گرفته است. به همین دلیل گروه من در دانشگاه واشینگتن و هوش مصنوعی ۲ روی نمودارهای دانش عقل سلیم و همچنین منابع هنجارهای اخلاقی کار میکنیم تا به هوش مصنوعی هنجارها و اخلاقیات عقل سلیم را بیاموزیم. دادههای ما کاملاً باز هستند و هر کسی میتواند محتوا را بررسی کند و در صورت نیاز تصحیح کند زیرا شفافیت برای موضوع تحقیق مهمی مثل این، کلیدی است.
Now let's think about learning algorithms. No matter how amazing large language models are, by design they may not be the best suited to serve as reliable knowledge models. And these language models do acquire a vast amount of knowledge, but they do so as a byproduct as opposed to direct learning objective. Resulting in unwanted side effects such as hallucinated effects and lack of common sense. Now, in contrast, human learning is never about predicting which word comes next, but it's really about making sense of the world and learning how the world works. Maybe AI should be taught that way as well.
حالا بگذارید در مورد الگوریتمهای آموزش تمرکز کنیم. فارغ از اینکه مدلهای زبانی به لحاظ طراحی چقدر عالی هستند، شاید نتوانند به بهترین شکل بعنوان مدلهای معرفتی قابل اتکا عمل کنند. و این مدلهای زبانی میزان وسیعی از معارف را کسب میکنند، اما این کار را بصورت جانبی در مواجهه با هدف مستقیم مورد آموزش انجام میدهند. و در نتیجه آن عوارض جانبی ناخواسته مثل اثرات پریشانگویی و نبود عقل سلیم بروز میکند. اما در مقابل، آموزش انسان اصلاً به پیشبینی کلماتی که بعد میآیند ارتباطی ندارد، بلکه واقعاً در مورد ادراک جهان و آموزش نحوه کارکرد جهان است. شاید هوش مصنوعی هم باید اینگونه آموزش ببیند.
So as a quest toward more direct commonsense knowledge acquisition, my team has been investigating potential new algorithms, including symbolic knowledge distillation that can take a very large language model as shown here that I couldn't fit into the screen because it's too large, and crunch that down to much smaller commonsense models using deep neural networks. And in doing so, we also generate, algorithmically, human-inspectable, symbolic, commonsense knowledge representation, so that people can inspect and make corrections and even use it to train other neural commonsense models.
خوب در جستجوی به دست آوردن عقل سلیم مستقیمتر، گروه من در مورد الگوریتمهای بالقوه جدید تحقیق میکند، شامل تقطیر دانش نمادین که میتواند یک مدل زبانی بسیار بزرگ را بگیرد که اینجا نشان داده شده است و نمیتوانم در صفحه آن را بگنجانم چون خیلی بزرگ است، سپس آن را به مدلهای عقل سلیم بسیار کوچکتر تبدیل میکند با استفاده از شبکههای عصبی عمیق. و برای این کار، ما همچنین، عرضه دانش عقل سلیم را به صورت الگوریتمی، قابل بررسی انسانی و نمادین تولید میکنیم، که افراد میتوانند بررسی و تصحیح کنند و حتی از آن برای آموزش دیگر مدلهای عصبی عقل سلیم استفاده کنند.
More broadly, we have been tackling this seemingly impossible giant puzzle of common sense, ranging from physical, social and visual common sense to theory of minds, norms and morals. Each individual piece may seem quirky and incomplete, but when you step back, it's almost as if these pieces weave together into a tapestry that we call human experience and common sense.
بطور وسیعتر، ما داریم این معمای به ظاهر عظیم و لاینحل عقل سلیم را بررسی میکنیم که طیف وسیعی از عقل سلیم فیزیکی، اجتماعی و دیداری تا تئوری اذهان، هنجارها و اخلاقیات را در بر میگیرد. هر بخش بصورت انفرادی میتواند نقص و ناهمخوانی را ببیند، اما وقتی عقب بایستید، تقریباً بخشها به شکلی به هم بافته شده و یک نقش را شکل دادهاند که به آن تجربه انسانی و عقل سلیم میگوییم.
We're now entering a new era in which AI is almost like a new intellectual species with unique strengths and weaknesses compared to humans. In order to make this powerful AI sustainable and humanistic, we need to teach AI common sense, norms and values.
داریم وارد عرصه جدیدی میشویم که در آن هوش مصنوعی تقریباً شبیه یک گونه متفکر جدید است با قوت و ضعفهایی منحصر به فرد و متفاوت با انسان. برای خلق این هوش مصنوعی قدرتمند پایدار و انسانوار، باید به هوش مصنوعی عقل سلیم و هنجارها را بیاموزیم.
Thank you.
متشکرم.
(Applause)
(تشویق)
Chris Anderson: Look at that. Yejin, please stay one sec. This is so interesting, this idea of common sense. We obviously all really want this from whatever's coming. But help me understand. Like, so we've had this model of a child learning. How does a child gain common sense apart from the accumulation of more input and some, you know, human feedback? What else is there?
کریس اندرسون: نگاه کنید. یجین، لطفاً یک لحظه صبر کن، این خیلی جالب است، این ایده عقل سلیم. همه ما قطعاً این را هر چه هست میخواهیم. اما به من کمک کن بفهمم. خوب ما این مدل یادگیری یک کودک را داریم. چگونه یک کودک عقل سلیم را دریافت میکند فارغ از تجمیع ورودیهای بیشتر و چیزی مثل بازخورد انسانی؟ چه چیز دیگری وجود دارد؟
Yejin Choi: So fundamentally, there are several things missing, but one of them is, for example, the ability to make hypothesis and make experiments, interact with the world and develop this hypothesis. We abstract away the concepts about how the world works, and then that's how we truly learn, as opposed to today's language model. Some of them is really not there quite yet.
یجین چوی: خوب اساساً برخی چیزها نادیده گرفته شدهاند، اما یکی از آنها برای مثال، توانایی فرضیهسازی و خلق آزمایش است، همچنین تعامل با جهان و توسعه این فرضیه. ما مفاهیم حول نحوه عملکرد جهان را کنار میگذاریم، و سپس یادگیری واقعی اتفاق میافتد، بر خلاف مدلهای زبانی امروز. برخی از آنها هنوز از این رویکرد فاصله دارند.
CA: You use the analogy that we can’t get to the Moon by extending a building a foot at a time. But the experience that most of us have had of these language models is not a foot at a time. It's like, the sort of, breathtaking acceleration. Are you sure that given the pace at which those things are going, each next level seems to be bringing with it what feels kind of like wisdom and knowledge.
اندرسون: شما مثالی زدید از اینکه ما نمیتوانیم با مرتفعتر کردن یک متری یک ساختمان به ماه برسیم. اما تجربهای که بیشتر ما داشتهایم این مدلهای زبانی یک متر در یک زمان خاص نیستند. شبیه شتابی سرسامآور است. آیا مطمئن هستید که سرعتی که کارها پیش میرود، هر مرحله بعد با خود میزانی از حکمت و دانش را دارد.
YC: I totally agree that it's remarkable how much this scaling things up really enhances the performance across the board. So there's real learning happening due to the scale of the compute and data.
چوی: کاملاً موافقم که میزان رشد چشمگیر است و کارآیی واقعاً بهبود یافته است. و آموزش واقعی دارد از طریق حجمی از محاسبات و داده محقق میشود.
However, there's a quality of learning that is still not quite there. And the thing is, we don't yet know whether we can fully get there or not just by scaling things up. And if we cannot, then there's this question of what else? And then even if we could, do we like this idea of having very, very extreme-scale AI models that only a few can create and own?
اما کیفیتی از آموزش باید باشد که هنوز محقق نشده است. و موضوع این است که، هنوز نمیدانیم تنها با افزایش مقیاسها بتوانیم به این سطح برسیم یا خیر. و اگر نرسیم، سوال این است که حال چه کنیم؟ و حتی اگر به این سطح برسیم، آیا میخواهیم مدلهای هوش مصنوعی بسیار عظیمی داشته باشیم که فقط عده قلیلی بتوانند خلق کنند و مالک آن شوند؟
CA: I mean, if OpenAI said, you know, "We're interested in your work, we would like you to help improve our model," can you see any way of combining what you're doing with what they have built?
اندرسون: منظورم این است اگر اوپنایآی بگوید: «ما به کار شما علاقمندیم، و از شما میخواهیم کمک کنید مدلمان را بهبود دهیم،» آیا هیچ راهی وجود دارد که بتوانید کار خودتان را با چیزی که آنها ساختهاند ترکیب کنید؟
YC: Certainly what I envision will need to build on the advancements of deep neural networks. And it might be that there’s some scale Goldilocks Zone, such that ... I'm not imagining that the smaller is the better either, by the way. It's likely that there's right amount of scale, but beyond that, the winning recipe might be something else. So some synthesis of ideas will be critical here.
چوی: مطمئناً چیزی که من تصور میکنم باید روی پیشرفتهای شبکههای عصبی عمیق بنا شود. و ممکن است مقیاسی در نقطه بهینه وجود داشته باشد، از این طریق ... البته من هم نمیگویم هر چه مقیاس کوچکتر نتیجه بهتر است. احتمالاً یک مقیاس بهینه وجود دارد، اما بزرگتر از آن احتمالاً رویکرد موفق، چیز دیگری است. خوب ترکیب برخی ایدهها اینجا حیاتی است.
CA: Yejin Choi, thank you so much for your talk.
اندرسون: یجین چوی، بسیار متشکرم بابت سخنان شما.
(Applause)
(تشویق)