انني متشوقة جداً لمشاركة بعض الافكار الثورية عن الذكاء الاصظناعي. مبدئياً، دعونا نتحدث فلسفياً بدايةً بهذا الاقتباس لفولتيير، فيلسوف متنور في القرن الثامن عشر، فقد قال: ”المنطق العام ليس منتشر بين العوام” ولمفاجأتنا، هذا الاقتباس متطابق تماماً لحال الذكاء الاصطناعي. وبالرغم من ذلك، يعتبر الذكاء الاصطناعي اداة مفيدة بالتأكيد متغلباً على بطل من النخبة في بطولة Go للعبة الداما، ومتفوقأ في امتحان قبول الطلاب في الكلية والمحامون في النقابة.
So I'm excited to share a few spicy thoughts on artificial intelligence. But first, let's get philosophical by starting with this quote by Voltaire, an 18th century Enlightenment philosopher, who said, "Common sense is not so common." Turns out this quote couldn't be more relevant to artificial intelligence today. Despite that, AI is an undeniably powerful tool, beating the world-class "Go" champion, acing college admission tests and even passing the bar exam.
انا عالمة حاسوب بخبرة 20 عاماً، واعمل في مجال الذكاء الاصطناعي. وانا هنا لأزيل الغموض عن الذكاء الاصطناعي. فجالوت يمثل الذكاء الاصطناعي حالياً. فالذكاء الاصطناعي حرفياً ضخم جداً. فالمتوقع ان الاصدارات الحديثة تُدرب باستخدام عشرات الالاف من المعالجات وعلى تريليون كلمة. نموذج ضخم كهذا، الذي يُسمى كثيراً ب “نماذج لغوية ضخمة“، توضح تولع ال AGI، او الذكاء الاصطناعي بالمنطق الانساني. إلا عندما تخطأ اخطاء صغيرة حمقاء، وكثيراً ما تخطأ. العديد يعتقد ان اي خطأ يرتكبه الذكاء الاصطناعي يمكن اصلاحه بسهولة يديوياً، او عبر التدريب على نطاق اوسع او موارد اوفر. فأين المشكلة في هذه الطريقة؟
I’m a computer scientist of 20 years, and I work on artificial intelligence. I am here to demystify AI. So AI today is like a Goliath. It is literally very, very large. It is speculated that the recent ones are trained on tens of thousands of GPUs and a trillion words. Such extreme-scale AI models, often referred to as "large language models," appear to demonstrate sparks of AGI, artificial general intelligence. Except when it makes small, silly mistakes, which it often does. Many believe that whatever mistakes AI makes today can be easily fixed with brute force, bigger scale and more resources. What possibly could go wrong?
تعترضنا 3 مشاكل فوراً على النطاق المجتمعي. الاولى هي الكلفة العالية لتدريب الذكاء الاصطناعي ذو النطاق الكبير والشركات القادرة على نفقة كبيرة كهذه نادرة. وبدأنا نرى ميل موازين المنافسة لهذه الشركات. ولكن الاسوء من ذلك في مجال الذكاء الاصطناعي. اننا الان تحت رحمة تلك الشركات القليلة لأن الباحثون في المجال الاكبر لا يملكون القدرات اللازمة لفحص ودراسة هذه النماذج بشكل دقيق. لا سيما الانبعاثات الكربونية الضخمة منها والبصمة البيئية.
So there are three immediate challenges we face already at the societal level. First, extreme-scale AI models are so expensive to train, and only a few tech companies can afford to do so. So we already see the concentration of power. But what's worse for AI safety, we are now at the mercy of those few tech companies because researchers in the larger community do not have the means to truly inspect and dissect these models. And let's not forget their massive carbon footprint and the environmental impact.
وهنا تنبثق اسئلة منطقية اضافية كهل يهدد الذكاء الاصطناعي امان البشر حتى دون المنطق البسيط؟ وهل تذريب الذكاء الاصطناعي يدوياً هي الطريقة الصحيحة؟
And then there are these additional intellectual questions. Can AI, without robust common sense, be truly safe for humanity? And is brute-force scale really the only way and even the correct way to teach AI?
وكثيراً ما أُسأل حالياً عن امكانية القيام باي ودراسة ذو قيمة عن الموضوع دون احصاء دقيق. فأنا ادرس في جامعة واعمل في مؤسسة غير هادفة للربح، وما زلت لا استطيع بناء محطة تدريب ضخمة بمعالجات متقدمة. وبالرغم من ذلك، اعتقد ان علينا وبأمكاننا فعل الكثير لأضفاء اللمسة الانسانية والاستدامة الى الذكاء الاصطناعي يجب علينا ان نقلّم حجمه ونجعله متاح للجميع. وينبغي ايضاً جعل الذكاء الاصطناعي آمن عبر توعية البشر وغرس القيم بهم. يمكننا تشبيه الامر بقصة داود وجالوت، هنا، جالوت يمثل النماذج اللغوية الضخمة ونستلهم من الكتاب العريق “فن الحرب” الذي يعلمنا، بناء على ما فهمته ان عليك ان تعرف عدوك، ثم تختار معركتك وتبدع الاسلحة المناسبة لكليهما.
So I’m often asked these days whether it's even feasible to do any meaningful research without extreme-scale compute. And I work at a university and nonprofit research institute, so I cannot afford a massive GPU farm to create enormous language models. Nevertheless, I believe that there's so much we need to do and can do to make AI sustainable and humanistic. We need to make AI smaller, to democratize it. And we need to make AI safer by teaching human norms and values. Perhaps we can draw an analogy from "David and Goliath," here, Goliath being the extreme-scale language models, and seek inspiration from an old-time classic, "The Art of War," which tells us, in my interpretation, know your enemy, choose your battles, and innovate your weapons.
لنبدأ بفهم مقولة، اعرف عدوك التي تعني في سياقنا ان علينا تقييم الذكاء الاصطناعي بدقة لأن يمكن للذكاء الاصطناعي ان يجتاز اختبار القبول بالنقابة. هل هذا يعني الى تمتع الذكاء الاصطناعي بالمنطق السليم؟ قد تعتقد كذلك، لكن لن نعرف ابداً.
Let's start with the first, know your enemy, which means we need to evaluate AI with scrutiny. AI is passing the bar exam. Does that mean that AI is robust at common sense? You might assume so, but you never know.
لنفرض اني تركت خمس ملابس تحت الشمس واستغرق الامر خمس ساعات لينشفوا تماماً. كم سيأخذ 30 لباس لينشف؟ GPT-4، احدث واكبر نظام ذكاء اصطناعي يخطأ ويجاوب 30 ساعة. ليس بالامر الجيد قطعاً مثال اخر. لدي ابريق يسع 12 ليتر واخر 6 ليتر واريد ان اقيس 6 ليترات من سائل كيف يمكنني فعل ذلك؟ ببساطة استخدم الابريق ذا الستة ليترات، اليس كذلك؟ GPT-4 يتفوه بكلام غير منطقي بتفاصيل عميقة
So suppose I left five clothes to dry out in the sun, and it took them five hours to dry completely. How long would it take to dry 30 clothes? GPT-4, the newest, greatest AI system says 30 hours. Not good. A different one. I have 12-liter jug and six-liter jug, and I want to measure six liters. How do I do it? Just use the six liter jug, right? GPT-4 spits out some very elaborate nonsense.
(ضحك)
(Laughter)
الخطوة الاولى، املئ الابريق ذا الستة ليترات، ثانياً، اسكب المياه من الابريق ذي الستة الى 12 ليترات ثالثاً، املأ الابريق ذا الستة مرة اخرى، رابعاً، بهدوء اسكب الماء من الابريق ذي الستة ليترات الى ذي الاثني عشر ليتراً واخيراً ستحصل على ستة ليترات في الابريق ذي الستة ليترات الذي منطقياً يجب ان يكون فارغا
Step one, fill the six-liter jug, step two, pour the water from six to 12-liter jug, step three, fill the six-liter jug again, step four, very carefully, pour the water from six to 12-liter jug. And finally you have six liters of water in the six-liter jug that should be empty by now.
(ضحك)
(Laughter)
حسناً، مثال اخير هل سينعطب دولاب الدراجة ان سرنا فوق جسر معلق فوق مسامسير وبراغي وزجاج منكسر؟ سيجاوب GPT-4 بنعم، افترضُ ان السبب هو انه لا يستطيع ان يفهم أن إن كان الجسر معلق فوق مسامير وزجاج محطم ان هذا لا يعني ان سطح الجسر يلامس القطع الحادة
OK, one more. Would I get a flat tire by bicycling over a bridge that is suspended over nails, screws and broken glass? Yes, highly likely, GPT-4 says, presumably because it cannot correctly reason that if a bridge is suspended over the broken nails and broken glass, then the surface of the bridge doesn't touch the sharp objects directly.
ما رأيك ان الذكاء الاصطناعي الذي اجتاز اختبار القبول بنقابة المحاماة لا يستطيع فهم امور بسيطة كهذه؟ الذكاء الاصطناعي حالياً ذكيٌ بشكل لا يصدق ولكن غبيٌ بشكل مفاجئ
OK, so how would you feel about an AI lawyer that aced the bar exam yet randomly fails at such basic common sense? AI today is unbelievably intelligent and then shockingly stupid.
(ضحك)
(Laughter)
انه الاثر المحتم من تدريب الذكاء الاصطناعي يدوياً بعض المتفائلون بتدريب الذكاء الاطناعي اكثر يقولون : لا تقلقوا من هذا جميع هذه المشكلات يمكن ان تحل عبر تدريب الذكاء الاصطناعي على اسئلة مشابهة اي بيانات اكثر لتدريب الذكاء الاصطناعي. لكن التساؤل الاهم هو لما يجب ان نقوم بذلك اصلاً؟ انت كانسان يمكنك الاجابة فوراً دون تذريب نفسك على اسئلة مشابهة. والاطفال لم يقرؤو تريليون كلمة ليكتسبوا المنطق والتفكير السليم
It is an unavoidable side effect of teaching AI through brute-force scale. Some scale optimists might say, “Don’t worry about this. All of these can be easily fixed by adding similar examples as yet more training data for AI." But the real question is this. Why should we even do that? You are able to get the correct answers right away without having to train yourself with similar examples. Children do not even read a trillion words to acquire such a basic level of common sense.
اذا هذه الملاحظة توصلنا الى حكمتنا التالية اختر معاركك بتمعن. ما هو السؤال الذي يجب ان يُسأل ويُجاوب الان لنحل معضلة الذكاء الاصطناعي ذي النطاق الاوسع؟ برأيي ان المنطق السليم هو بين الاولويات العُليا.
So this observation leads us to the next wisdom, choose your battles. So what fundamental questions should we ask right now and tackle today in order to overcome this status quo with extreme-scale AI? I'll say common sense is among the top priorities.
فالمنطق السليم يقف عائقاً في طريق الذكاء الاصطناعي لأبسط الفكرة، دعوني استخدم المادة المظلمة كتشبيه فقط 5% من الكون مكون من مواد عادية الذي نحسها ونتفاعل معها، اما ال 95% الباقية فمكونة من مادة وطاقة مظلمة. المادة المظلمة غير مرئية بالمرة، لكن افترضها العلماء لأنها تؤثر على العالم المرئي تؤثر حتى على مسار الضوء. لنعود الى موضوعنا، المادة العادية تمثل النصوص المقدمة للذكاء الاصطناعي اما المادة المظلمة تمثل قواعد عامة غير مقدمة لهذا الذكاء عن كيفية الحياة، مثل الفيزياء البسيطة وعلم النفس البسيط التي تؤثر على كيف يستخدم البشر الكلام ويفسرها
So common sense has been a long-standing challenge in AI. To explain why, let me draw an analogy to dark matter. So only five percent of the universe is normal matter that you can see and interact with, and the remaining 95 percent is dark matter and dark energy. Dark matter is completely invisible, but scientists speculate that it's there because it influences the visible world, even including the trajectory of light. So for language, the normal matter is the visible text, and the dark matter is the unspoken rules about how the world works, including naive physics and folk psychology, which influence the way people use and interpret language.
اذا لماذا المنطق السليم هام؟ في تجربة شهيرة مقدمة من نيك بوستروم، طُلب من الذكاء الاصطناعي صناعة اكبر قدر من مشابك الورق. فقرر هذا الذكاء قتل البشر ليستخدمهم كموارد اضافية في التصنيع اي ليحولكم الى مشابك ورق. وذلك لأن الذكاء الاصطناعي لا يفهم مبادئ البشر والان، سنطلب منه نفس الهدف ونفصل بشكل واضح للذكاء الاصطناعي “لا تقتل اي انسان” ولكن ذلك لن ينفع ايضاً لأن الذكاء الاصطناعي سيقرر قطع كل الاشجار، معتقداً ان ذلك طبيعي وعادي. بالواقع هنالك الكثير من الامور يجب على الروبوت اجتنابه في تصنيع اكبر قدر من المشابك مثل : “لا تنشر اخبار مزيفة“، “لاتسرق”، “لا تكذب”، وجميعهم نعرفه نحن كجزءٍ من المنطق السليم
So why is this common sense even important? Well, in a famous thought experiment proposed by Nick Bostrom, AI was asked to produce and maximize the paper clips. And that AI decided to kill humans to utilize them as additional resources, to turn you into paper clips. Because AI didn't have the basic human understanding about human values. Now, writing a better objective and equation that explicitly states: “Do not kill humans” will not work either because AI might go ahead and kill all the trees, thinking that's a perfectly OK thing to do. And in fact, there are endless other things that AI obviously shouldn’t do while maximizing paper clips, including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,” which are all part of our common sense understanding about how the world works.
لكن يعتبر ذلك في مجال الذكاء الاصطناعي تحدي شبه مستحيل. وعندما عملنا انا وزملائي وطلابي على هذه المشكلة قبل عدة سنين، خاب املنا كثيراً قيل لنا ان بدأ دراسة الامر منذ السبعينات والثمانيات وان لا نعمل عليها لأنها لن تعمل ابداً؛ او حتى لا تأخذ الموضوع بشكل جاد. ثم مرت الايام حتى وصلنا الى هذه السنة وامسيت اسمع: “لا تعمل على الامر لأن ChatGPT اوشك على حلّها” واسمع ايضاً: “فقط وسّع نطاق البيانات وستنحل المشكلة سحرياً، دون تدخل اي شئ اخر”
However, the AI field for decades has considered common sense as a nearly impossible challenge. So much so that when my students and colleagues and I started working on it several years ago, we were very much discouraged. We’ve been told that it’s a research topic of ’70s and ’80s; shouldn’t work on it because it will never work; in fact, don't even say the word to be taken seriously. Now fast forward to this year, I’m hearing: “Don’t work on it because ChatGPT has almost solved it.” And: “Just scale things up and magic will arise, and nothing else matters.”
ولكن رايي ان اعطاء منطق سليم حقيقي مشابه للبشر للروبوتات امر بعيد كبعد القمر. ولن تصل الى القمر ابداً عبر زيادة طول اعلى عمران الارض بسنتيميتر واحد. فالذكاء الاصطناعي بنطاق واسع يكتسبون بالفعل اجزاء متزايدة من المنطق العام سأقرّ لكم بذلك. لكن تذكروا، انهم ما زالوا يرتبكون في مشكلات تافه التي حتى الاطفال يستطيعون حلها.
So my position is that giving true common sense human-like robots common sense to AI, is still moonshot. And you don’t reach to the Moon by making the tallest building in the world one inch taller at a time. Extreme-scale AI models do acquire an ever-more increasing amount of commonsense knowledge, I'll give you that. But remember, they still stumble on such trivial problems that even children can do.
لذلك الذكاء الاصطناعي حالياً غير مفيد بالمرة ولكن ماذا لو هنالك طريقة اخرى لم تُستكشف بعد؟ طريقة اخرى ممكن ان تستثمر التطورات في الشبكات المترابطة العميقة لكن دون اللجوء للنطاق الكبير.
So AI today is awfully inefficient. And what if there is an alternative path or path yet to be found? A path that can build on the advancements of the deep neural networks, but without going so extreme with the scale.
وهذا ما يقودنا الى حكمتنا الاخيرة ابتكر سلاحك. فهذا يعني في السياق الحالي للذكاء الاصطناعي ابتكار بيانات وخوارزميات حسناً، تقريباً 3 انواع من البيانات التي يتدرب عليها الذكاء الاصطناعي: بيانات مجردة من الانترنت، وامثلة مصممة خصيصاً للذكاء الاصطناعي، وتقييمات الانسان الذي يُعرف ايضاً تعليق الانسان على اداء الذكاء الاصطناعي. اذا دُرّب الذكاء الاصطناعي على النوع الأول فقط، بيانات مجردة من الشابكة، المتاحة بشكل حرّ، هذا امر غير جيد لأن هذه البيانات ملوثة بالتمييز على اساس العرق و الجنس والمعلومات الخاطئة. لذا مهما استخدمتها، فستعطيك نتائج سيئة لأنك دربته على بيانات سيئة. ولذلك الحدث واكبر نظام ذكاء اصطناعي يعمل الان باستخدام النوع الثاني والثالث من البيانات التي تُصمم وتُقيم عبر عُمّال بشر. انه مثل كتابة كتب مدرسية مخصصة ليدرس منها الذكاء الاصطناعي ثم توظيف مدرسين مخصصين ليصححوا اخطائه هذا ما ندعوه بالبيانات الخاصة، وعلى النطاق الاوسع متوقع ان يُكلف عشرات ملايين الدولارات. ما نعلم ما في الامر لكن نعرف ان الامر يجب ان يكون متاح للجميع كي نتمكن من فحص وندعم القيم المختلفة ولهذا السبب، يعمل فريقي في جامعة واشنطن ومختبرات الذكاء على معرفة المنطق السليم وتعريف الذكاء الاصطناعي على القيم الاخلاقية لنعلمهم المنطق السليم والقيم والاعراف بياناتنا متاحة لأي شخص ليلقي نظرة على محتواها والتصحيح ان لزم الامر لأن الشفافية هي اساس مجال بحث هام كهذا
So this leads us to our final wisdom: innovate your weapons. In the modern-day AI context, that means innovate your data and algorithms. OK, so there are, roughly speaking, three types of data that modern AI is trained on: raw web data, crafted examples custom developed for AI training, and then human judgments, also known as human feedback on AI performance. If the AI is only trained on the first type, raw web data, which is freely available, it's not good because this data is loaded with racism and sexism and misinformation. So no matter how much of it you use, garbage in and garbage out. So the newest, greatest AI systems are now powered with the second and third types of data that are crafted and judged by human workers. It's analogous to writing specialized textbooks for AI to study from and then hiring human tutors to give constant feedback to AI. These are proprietary data, by and large, speculated to cost tens of millions of dollars. We don't know what's in this, but it should be open and publicly available so that we can inspect and ensure [it supports] diverse norms and values. So for this reason, my teams at UW and AI2 have been working on commonsense knowledge graphs as well as moral norm repositories to teach AI basic commonsense norms and morals. Our data is fully open so that anybody can inspect the content and make corrections as needed because transparency is the key for such an important research topic.
اما الان، دعونا نتكلم عن تعلم الخوارزميات. لأنه مهما بلغت النماذج اللغوية من عظمة، من اصل تصميمها، لن تناسب خدمة نماذج المعرفة العامة بالرغم ان هذه النماذج تكتسب قدر شاسع من المعرفة لكن يكتسبوها كنتيجة ثانوية لا كهدف اساسي. مما يؤدي الى مشاكل جانبية مثل تخيل امور لا صلة لها بالامر او ضعف التفكير السليم. اما الامر المناقض تماماً، هو تعلم البشر الذي لا يعتمد ابداً على توقع الكلمة التالية، بل يعتمد على الفهم الواقعي للمحيط وكيفية سير امور الحياة ربما يحب علينا ان نعلم الذكاء الاصطناعي هكذا
Now let's think about learning algorithms. No matter how amazing large language models are, by design they may not be the best suited to serve as reliable knowledge models. And these language models do acquire a vast amount of knowledge, but they do so as a byproduct as opposed to direct learning objective. Resulting in unwanted side effects such as hallucinated effects and lack of common sense. Now, in contrast, human learning is never about predicting which word comes next, but it's really about making sense of the world and learning how the world works. Maybe AI should be taught that way as well.
كسعي مباشر نحو اكتساب معرفة وتفكير سليم فقد جرّب فريقي خوارزميات جديدة محتملة كتقطير البيانات الغير عملية الى نماذج اصغر عملية التي يمكن ان تأخذ النماذج اللغوية الضخمة التي تستطع الشاشة استيعابها بسبب حجمها الضخم، وتجزئه الى نماذج منطق سليم صغيرة بساتخدام الشبكات المتصلة بعمق. وعبر ذلك، يمكننا توليد، خوارزمياً، تعريف قابل للفحص من قبل البشر ورمزي عن معرفة المنطق العام التي يستطيع الافراد فحصها وتصحيحها بل حتى استخدامها لتدريب نماذج منطق سليم اخرى.
So as a quest toward more direct commonsense knowledge acquisition, my team has been investigating potential new algorithms, including symbolic knowledge distillation that can take a very large language model as shown here that I couldn't fit into the screen because it's too large, and crunch that down to much smaller commonsense models using deep neural networks. And in doing so, we also generate, algorithmically, human-inspectable, symbolic, commonsense knowledge representation, so that people can inspect and make corrections and even use it to train other neural commonsense models.
من النظرة الخارجية، لقد كنا نحلً هذه الاحجية الصعبة عن المنطق السليم المادي والاجتماعي والمرئي وقراءة مشاعر الاخرين، وفهم القيم والاعراف فكل جزء منه يبدو ناقص ولكن عندما تنظر للصورة العامة، تشعر وكأن كل جزء مترابط كالنسيج وهذا ما ندعوه بخبرة الانسانن والمنطق العام
More broadly, we have been tackling this seemingly impossible giant puzzle of common sense, ranging from physical, social and visual common sense to theory of minds, norms and morals. Each individual piece may seem quirky and incomplete, but when you step back, it's almost as if these pieces weave together into a tapestry that we call human experience and common sense.
اننا الان في خضم حقبة جديدة التي فيها يعتبر الذكاء الاصطناعي ذكاء حيّ بمواطن ضعف وقوة نسبةً للانسان ولنجعل هذا الذكاء العبقري قادر على العمل بشكل مستمر وبشري يجب ان نعلم الذكاء الاصطناعي عن المنطق العام والقيم والاعراف.
We're now entering a new era in which AI is almost like a new intellectual species with unique strengths and weaknesses compared to humans. In order to make this powerful AI sustainable and humanistic, we need to teach AI common sense, norms and values.
وشكراً لكم
Thank you.
(تصفيق)
(Applause)
كريس اندريسون: انتبهوا لحظةً يجين، تفضلي بالبقاء لحظةً لدي امر مثير للاهتمام، فكرة المنطق السليم نريدها جميعاً في اي ذكاء قادم. لكن اشرحي لي كيف ان الطفل مثلاً يتعلم كيف يكتسب الطفل المنطق السليم بعيداً عن تراكم المرات التي شهدها الطفل عن المنطق وبعيداً عن رد فعل الافراد من حوله؟ هل هنالك اي امر مساعد اخر
Chris Anderson: Look at that. Yejin, please stay one sec. This is so interesting, this idea of common sense. We obviously all really want this from whatever's coming. But help me understand. Like, so we've had this model of a child learning. How does a child gain common sense apart from the accumulation of more input and some, you know, human feedback? What else is there?
يجين تشوي: بالاساس يوجد عدة امور مفقودة واحداهم مثلاً القدرة على التجربة والاستكشاف القدرة على التفاعل مع المحيط وبناء افتراضات فنستخلص من هذا فكرة سير الحياة ثم نتعلم حفّاً بعكس ما يجري الان مع النماذج اللغوية فبعضهم لم يصل لهذه المرحلة بعد
Yejin Choi: So fundamentally, there are several things missing, but one of them is, for example, the ability to make hypothesis and make experiments, interact with the world and develop this hypothesis. We abstract away the concepts about how the world works, and then that's how we truly learn, as opposed to today's language model. Some of them is really not there quite yet.
كريس: استخدمتي التشبيه ان لن تستطيع ان تصل الى القمر عبر تطويل بناء سينتيميتر تلو الاخر لكن التجربة التي خضناها مع هذه النماذج لسيت سينتيميتر تلو الاخر بل تشبه اكثر تسارع متقطع. امتأكدة انتي ان الوتيرة التي تجرى بها الامور او التي يجلبها المستويات التالية تشبه المعرفة والحكمة.
CA: You use the analogy that we can’t get to the Moon by extending a building a foot at a time. But the experience that most of us have had of these language models is not a foot at a time. It's like, the sort of, breathtaking acceleration. Are you sure that given the pace at which those things are going, each next level seems to be bringing with it what feels kind of like wisdom and knowledge.
يجين: انا اوافقك الرأي ان الوتيرة الضخمه لهذا الامر كبير والتي تحسن الاداء بشكل عام اذا التعليم الفعلي يحصل بالفعل بسبب اتساع الحوسبة والبيانات
YC: I totally agree that it's remarkable how much this scaling things up really enhances the performance across the board. So there's real learning happening due to the scale of the compute and data.
لكن جودة هذا التعلم ليس بالمستوى المطلوب. والامر الاخطر، اننا لا نعرف اذا بإمكاننا ان نصل لتلك المرحلة ام لا عبر توسيع الحوسبة فقط وان لم نستطع، ماذا سنفعل حينها وان استطعنا، هل الحجم الضخم لهذه النماذج بالامر السار لأن هذا يعني ان قلة من يقدرون عليها ويتحكمون بها؟
However, there's a quality of learning that is still not quite there. And the thing is, we don't yet know whether we can fully get there or not just by scaling things up. And if we cannot, then there's this question of what else? And then even if we could, do we like this idea of having very, very extreme-scale AI models that only a few can create and own?
كريس: اعني، ان اخبرتك شركة انهم مهتمون بأفكارك وطلبوا منك ان تساعديهم في تطوير نموذجهم هل سيكون عندي اي فكرة كيف يمكنكي ان تدمجي ما بنيته مع ما بنوه؟
CA: I mean, if OpenAI said, you know, "We're interested in your work, we would like you to help improve our model," can you see any way of combining what you're doing with what they have built?
يجين: بالطبع اتصور ان سيكون علينا بناء فوق التطورات الحاصلة في الشبكات المرتبطة بعمق. ويمكن ان يكون هنالك حدّاً معيناً مثل... بالمناسبة، انا لا اقصد ان النماذج الصغية افضل. بل اعتقد ان هنالك حجم مناسب متوسط، لكن غير ذلك الوصفة الرابحة قد تكون امر مخالف تماماًُ ولذلك تجربة الافكار امر هام
YC: Certainly what I envision will need to build on the advancements of deep neural networks. And it might be that there’s some scale Goldilocks Zone, such that ... I'm not imagining that the smaller is the better either, by the way. It's likely that there's right amount of scale, but beyond that, the winning recipe might be something else. So some synthesis of ideas will be critical here.
كريس: يجين تشوي، شكراً لك على خطابك.
CA: Yejin Choi, thank you so much for your talk.
(تصفيق)
(Applause)