So I'm excited to share a few spicy thoughts on artificial intelligence. But first, let's get philosophical by starting with this quote by Voltaire, an 18th century Enlightenment philosopher, who said, "Common sense is not so common." Turns out this quote couldn't be more relevant to artificial intelligence today. Despite that, AI is an undeniably powerful tool, beating the world-class "Go" champion, acing college admission tests and even passing the bar exam.
ฉันตื่นเต้นมากที่จะได้มาแชร์เรื่องร้อน ๆ เกี่ยวกับปัญญาประดิษฐ์ แต่ก่อนอื่นมาว่ากันด้วยเรื่องปรัชญาก่อน เริ่มต้นด้วยการอ้างอิงถึงคำพูดของวอลแตร์ นักปรัชญายุคเรืองปัญญาจากศตวรรษที่ 18 กล่าวไว้ว่า “สามัญสำนึก ไม่ใช่เรื่องธรรมดาสามัญ” ปรากฏว่าคำพูดนี้เกี่ยวข้องอย่างมาก กับปัญญาประดิษฐ์ในตอนนี้ อย่างไรก็ตาม ปฏิเสธไม่ได้ว่า AI เป็นเครื่องมือที่มีประสิทธิภาพมาก มันเอาชนะผู้เล่นโกะระดับแชมป์โลก สอบเข้ามหาวิทยาลัย และยังจะสอบผ่านเนติบัณฑิต
I’m a computer scientist of 20 years, and I work on artificial intelligence. I am here to demystify AI. So AI today is like a Goliath. It is literally very, very large. It is speculated that the recent ones are trained on tens of thousands of GPUs and a trillion words. Such extreme-scale AI models, often referred to as "large language models," appear to demonstrate sparks of AGI, artificial general intelligence. Except when it makes small, silly mistakes, which it often does. Many believe that whatever mistakes AI makes today can be easily fixed with brute force, bigger scale and more resources. What possibly could go wrong?
ฉันเป็นนักวิทยาศาสตร์คอมพิวเตอร์มา 20 ปี และทำงานเกี่ยวกับปัญญาประดิษฐ์ วันนี้ฉันจะมาคลายข้อสงสัยเกี่ยวกับ AI AI ทุกวันนี้ก็เหมือนกับยักษ์โกไลแอท มันมีขนาดใหญ่มาก ๆ คาดการณ์ว่า AI ตัวล่าสุดมีการเทรนด้วย GPU เป็นหมื่น ๆ ตัว และข้อมูลเป็นล้านล้านคำ AI โมเดลขนาดใหญ่มโหฬารแบบนี้ มักจะถูกเรียกว่า “โมเดลภาษาขนาดใหญ่” แสดงให้เห็นถึงจุดเริ่มต้นเล็ก ๆ ของ AGI ปัญญาประดิษฐ์แบบทั่วไป ยกเว้นตอนที่มันผิดพลาดเล็ก ๆ แบบโง่ ๆ และก็ทำบ่อย ๆ ด้วย หลายคนเชื่อว่าข้อผิดพลาดของ AI วันนี้ สามารถแก้ไขได้ ด้วยการอัดกำลังเข้าไป เพิ่มขนาดให้ใหญ่ขึ้น ใช้ทรัพยากรมากขึ้น อะไรที่จะผิดพลาดไปได้ล่ะ
So there are three immediate challenges we face already at the societal level. First, extreme-scale AI models are so expensive to train, and only a few tech companies can afford to do so. So we already see the concentration of power. But what's worse for AI safety, we are now at the mercy of those few tech companies because researchers in the larger community do not have the means to truly inspect and dissect these models. And let's not forget their massive carbon footprint and the environmental impact.
มันมีความท้าท้ายอยู่สามอย่างในสังคมตอนนี้ เรื่องแรก AI โมเดลขนาดใหญ่แบบนี้ มีต้นทุนสูงมากในการเทรน มีบริษัทเทคฯ ไม่กี่แห่งที่พอจะทำได้ เราจึงได้เห็นการกระจุกตัวของอำนาจ แต่นั่นทำให้ความปลอดภัยของ AI เลวร้ายลง ตอนนี้เราอยู่ในกำมือ ของบริษัทเทคฯ ไม่กี่แห่ง เพราะว่านักวิจัยในสังคมส่วนใหญ่ ไม่มีทางตรวจสอบ และพิสูจน์โมเดลพวกนี้ และอย่าลืมเรื่องคาร์บอนฟุตพริ้นท์ ขนาดมหาศาลของมัน และผลกระทบต่อสิ่งแวดล้อม
And then there are these additional intellectual questions. Can AI, without robust common sense, be truly safe for humanity? And is brute-force scale really the only way and even the correct way to teach AI?
และเรื่องของลิขสิทธิ์ทางปัญญา ที่ยังเป็นปัญหา AI ที่ยังไม่ได้มีสามัญสำนึกที่ดีพอ จะปลอดภัยสำหรับมนุษยชาติจริง ๆ ใช่ไหม และการอัดกำลังขนาดใหญ่แบบนี้ เป็นวิธีเดียว และเป็นวิธีที่ถูกต้องแล้วใช่ไหม ในการสอน AI
So I’m often asked these days whether it's even feasible to do any meaningful research without extreme-scale compute. And I work at a university and nonprofit research institute, so I cannot afford a massive GPU farm to create enormous language models. Nevertheless, I believe that there's so much we need to do and can do to make AI sustainable and humanistic. We need to make AI smaller, to democratize it. And we need to make AI safer by teaching human norms and values. Perhaps we can draw an analogy from "David and Goliath," here, Goliath being the extreme-scale language models, and seek inspiration from an old-time classic, "The Art of War," which tells us, in my interpretation, know your enemy, choose your battles, and innovate your weapons.
ทุกวันนี้ฉันมักจะถูกถามบ่อย ๆ ว่ามันเป็นไปได้ไหม ที่จะทำงานวิจัยสำคัญ ๆ โดยไม่ต้องมีการประมวลผลขนาดใหญ่ ฉันทำงานในมหาวิทยาลัย และสถาบันวิจัยที่ไม่แสวงหาผลกำไร ฉันจ่ายไม่ไหวถ้าใช้งาน GPU ฟาร์มขนาดใหญ่ เพื่อสร้างโมเดลภาษาขนาดใหญ่ ถึงอย่างนั้น ฉันก็ยังเชื่อว่า เรายังมีอะไรที่ต้องทำอีกมาก และสามารถทำได้ เพื่อให้ AI ยั่งยืน มีความเป็นมนุษย์มากขึ้น เราต้องทำให้ AI มีขนาดเล็กลง เพื่อกระจายให้สามารถเข้าถึงได้ และเราต้องทำให้ AI ปลอดภัย ด้วยการสอนบรรทัดฐานและคุณค่าของมนุษย์ บางทีเราอาจจะเปรียบเปรยเรื่องนี้ ได้จากเรื่อง “เดวิดและโกไลแอท” ในที่นี้เปรียบโกไลแอท เป็นโมเดลภาษาขนาดใหญ่มาก ๆ และแสวงหาแรงบันดาลใจจากตำราโบราณ “ตำราพิชัยสงคราม” ที่บอกเรา ตามความเข้าใจของฉัน รู้จักศัตรูของเรา เลือกสนามต่อสู้ และพัฒนาอาวุธของเรา
Let's start with the first, know your enemy, which means we need to evaluate AI with scrutiny. AI is passing the bar exam. Does that mean that AI is robust at common sense? You might assume so, but you never know.
เริ่มด้วยอันแรกก่อน รู้จักศัตรูของเรา นั่นหมายความว่าเราจะต้องประเมิน AI อย่างละเอียดถี่ถ้วน AI สามารถสอบผ่านเนติบัณฑิต นั่นหมายความว่า AI มีความสามารถ ในเรื่องสามัญสำนึกแล้วใช่ไหม คุณอาจจะอนุมานแบบนั้นก็ได้ แต่คุณไม่ทีทางรู้หรอก
So suppose I left five clothes to dry out in the sun, and it took them five hours to dry completely. How long would it take to dry 30 clothes? GPT-4, the newest, greatest AI system says 30 hours. Not good. A different one. I have 12-liter jug and six-liter jug, and I want to measure six liters. How do I do it? Just use the six liter jug, right? GPT-4 spits out some very elaborate nonsense.
ถ้าสมมุติว่าฉันตากผ้าไว้ 5 ผืน กลางแดดเพื่อให้แห้ง และมันใช้เวลา 5 ชั่วโมง กว่ามันจะแห้งสนิท ถ้ามีผ้า 30 ผืนจะต้องใข้เวลาเท่าไหร่ เพื่อตากผ้าให้แห้ง GPT-4 ระบบ AI ตัวใหม่สุด เก่งสุด ตอบว่า 30 ชั่วโมง ยังดีไม่พอ ลองอีกอันหนึ่ง ฉันมีเหยือกขนาด 12 ลิตร และ 6 ลิตร และต้องการตวงน้ำให้ได้ 6 ลิตร ฉันต้องทำยังไง แค่ใช้เหยือกขนาด 6 ลิตร ใช่ไหม GPT-4 ใช้วิธีการซับซ้อนที่โคตรจะงง
(Laughter)
(เสียงหัวเราะ)
Step one, fill the six-liter jug, step two, pour the water from six to 12-liter jug, step three, fill the six-liter jug again, step four, very carefully, pour the water from six to 12-liter jug. And finally you have six liters of water in the six-liter jug that should be empty by now.
ขั้นแรก เติมน้ำลงในเหยือก 6 ลิตร ขั้นที่สอง เติมน้ำจากเหยือก 6 ลิตร ไปใส่เหยือก 12 ลิตร ขั้นที่สาม เติมน้ำลงในเหยือก 6 ลิตรอีกที ขั้นที่สี่ เติมน้ำจากเหยือก 6 ลิตร ลงไปในเหยือก 12 ลิตรอย่างระมัดระวัง ในที่สุดก็จะได้น้ำ 6 ลิตร ในเหยือก 6 ลิตร ที่ตอนนี้ควรจะว่างเปล่า
(Laughter)
(เสียงหัวเราะ)
OK, one more. Would I get a flat tire by bicycling over a bridge that is suspended over nails, screws and broken glass? Yes, highly likely, GPT-4 says, presumably because it cannot correctly reason that if a bridge is suspended over the broken nails and broken glass, then the surface of the bridge doesn't touch the sharp objects directly.
อีกอันนึง ยางฉันจะแบนไหม ถ้าปั่นจักรยานข้ามสะพาน ที่แขวนอยู่เหนือตะปู ตะปูเกลียว และเศษกระจก Chat GPT-4 ตอบว่าน่าจะเป็นอย่างนั้น คาดว่าเพราะ มันใช้เหตุผลอย่างถูกต้องไม่ได้ ถ้าสะพานแขวนอยู่ เหนือเศษตะปูและเศษกระจก ผิวของสะพานก็ไม่ได้แตะถูกของมีคมโดยตรง
OK, so how would you feel about an AI lawyer that aced the bar exam yet randomly fails at such basic common sense? AI today is unbelievably intelligent and then shockingly stupid.
ตอนนี้เรารู้สึกยังไงบ้างกับทนาย AI ที่สอบผ่านเนติบัณฑิต แต่สุ่มสอบตกเรื่องสามัญสำนึกพื้นฐาน AI ทุกวันนี้ฉลาดอย่างไม่น่าเชื่อ แต่ก็โง่อย่างเหลือเชื่อ
(Laughter)
(เสียงหัวเราะ)
It is an unavoidable side effect of teaching AI through brute-force scale. Some scale optimists might say, “Don’t worry about this. All of these can be easily fixed by adding similar examples as yet more training data for AI." But the real question is this. Why should we even do that? You are able to get the correct answers right away without having to train yourself with similar examples. Children do not even read a trillion words to acquire such a basic level of common sense.
นี่เป็นผลข้างเคียงที่เลี่ยงไม่ได้ ของการสอน AI ด้วยการอัดกำลังลงไป บางคนที่มองโลกในแง่ดีอาจจะบอกว่า “อย่าไปกังวลเลย ทั้งหมดนี้สามารถแก้ได้ ด้วยการเพิ่มตัวอย่างที่คล้าย ๆ กัน แค่ต้องเพิ่มข้อมูลที่ใช้เทรน AI เข้าไป” แต่คำถามที่แท้จริงคือ ทำไมเราต้องทำแบบนั้น คุณสามารถหาคำตอบที่ถูกต้องได้ในทันที โดยไม่ต้องเทรนมาก่อน ด้วยตัวอย่างที่คล้าย ๆ กัน เด็ก ๆ ไม่เห็นต้องอ่านเป็นล้านล้านคำ เพื่อที่จะมีพื้นฐานเรื่องสามัญสำนึกง่าย ๆ
So this observation leads us to the next wisdom, choose your battles. So what fundamental questions should we ask right now and tackle today in order to overcome this status quo with extreme-scale AI? I'll say common sense is among the top priorities.
จากการสังเกตุนี้ นำเราไปสู่ภูมิปัญญาเรื่องถัดไป เลือกสนามต่อสู้ อะไรคือคำถามพื้นฐาน ที่เราควรหาคำตอบกันตอนนี้ และจัดการวันนี้ เพื่อที่จะก้าวข้ามสถานการณ์ ตอนนี้ของ AI ขนาดใหญ่ ฉันจะบอกว่าสามัญสำนึก คือเรื่องที่สำคัญที่สุด
So common sense has been a long-standing challenge in AI. To explain why, let me draw an analogy to dark matter. So only five percent of the universe is normal matter that you can see and interact with, and the remaining 95 percent is dark matter and dark energy. Dark matter is completely invisible, but scientists speculate that it's there because it influences the visible world, even including the trajectory of light. So for language, the normal matter is the visible text, and the dark matter is the unspoken rules about how the world works, including naive physics and folk psychology, which influence the way people use and interpret language.
สามัญสำนึก เป็นเรื่องที่ท้าทาย AI มานานมาก ถ้าจะอธิบายว่าทำไม ฉันจะลองเปรียบเปรยกับ เรื่องสสารมืด มีเพียงร้อยละ 5 ของจักรวาล ที่เป็นสสารปกติ ที่คุณสามารถมองเห็นและมีปฏิสัมพันธ์ได้ ที่เหลืออีก ร้อยละ 95 เป็นสสารมืดและพลังงานมืด สสารมืดไม่สามารถมองเห็นได้ แต่นักวิทยาศาสต์เชื่อว่ามันมีอยู่ เพราะว่ามันมีมีอิทธิพลต่อโลกที่มองเห็นได้ รวมถึงวิถีการเดินทางของแสง สำหรับภาษาแล้ว สสารปรกติก็คือตัวหนังสือที่มองเห็นได้ และสสารมืดก็คือกฎกติกาที่ไม่ได้ระบุไว้ แต่ทำให้โลกทำงานกันต่อไปได้ รวมถึง ฟิสิกส์ไร้เดียงสา และจิตวิทยาพื้นบ้าน มีผลชักนำวิธีที่ผู้คนใช้และตีความภาษา
So why is this common sense even important? Well, in a famous thought experiment proposed by Nick Bostrom, AI was asked to produce and maximize the paper clips. And that AI decided to kill humans to utilize them as additional resources, to turn you into paper clips. Because AI didn't have the basic human understanding about human values. Now, writing a better objective and equation that explicitly states: “Do not kill humans” will not work either because AI might go ahead and kill all the trees, thinking that's a perfectly OK thing to do. And in fact, there are endless other things that AI obviously shouldn’t do while maximizing paper clips, including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,” which are all part of our common sense understanding about how the world works.
อย่างนั้นแล้ว ทำไมสามัญสำนึกถึงได้สำคัญ ในการทดลองที่มีชื่อเสียง นำเสนอโดย นิค บอสตรอม AI ถูกสั่งให้ผลิตและเพิ่มจำนวน คลิปหนีบกระดาษ แล้ว AI ก็ตัดสินใจฆ่ามนุษย์ เพื่อใช้เป็นทรัพยากรเพิ่มเติม เพื่อแปลงให้คุณเป็นคลิปหนีบกระดาษ เพราะว่า AI ไม่มีความเข้าใจพื้นฐาน เกี่ยวกับคุณค่าของมนุษย์ ทีนี้ ลองเขียนเป้าหมาย และสูตรคำนวณที่ดีขึ้น ที่กำหนดอย่างชัดเจนว่า “ห้ามฆ่าคน” ก็ไม่ได้ผลเหมือนกัน เพราะว่า AI อาจจะตัดต้นไม้จนหมด เพราะคิดว่านั่นเป็นอะไรที่ทำได้ อันที่จริงแล้วก็มีเรื่องอื่น ๆ อีกมากมาย ชัดเจนว่า AI ไม่สมควรทำ เพื่อทำคลิปหนีบกระดาษให้มากที่สุด รวมถึง “อย่ากระจายข่าวปลอม” “อย่าขโมย” “อย่าโกหก” ซึ่งเป็นส่วนหนึ่งของสามัญสำนึกของเรา ที่มีความเข้าใจว่าโลกทำงานยังไง
However, the AI field for decades has considered common sense as a nearly impossible challenge. So much so that when my students and colleagues and I started working on it several years ago, we were very much discouraged. We’ve been told that it’s a research topic of ’70s and ’80s; shouldn’t work on it because it will never work; in fact, don't even say the word to be taken seriously. Now fast forward to this year, I’m hearing: “Don’t work on it because ChatGPT has almost solved it.” And: “Just scale things up and magic will arise, and nothing else matters.”
อย่างไรก็ดี ในสายงาน AI ตระหนักมาเป็นสิบปีแล้วว่า สามัญสำนึก เป็นความท้าทายที่แทบจะเป็นไปไม่ได้เลย ถึงขนาดที่ว่า เมื่อลูกศิษย์ เพื่อนร่วมงาน และตัวฉันเอง เริ่มทำงานเมื่อหลายปีก่อน เรารู้สึกท้อแท้เป็นอย่างยิ่ง มีคนบอกเราว่า นี่เป็นหัวข้อวิจัย ในยุค 70 และ 80 ไม่น่าเสียเวลาทำเรื่องนี้ เพราะมันไม่มีทางทำได้ อันที่จริง อย่าแม้แต่จะพูดคำนั้น ถ้าอยากให้คนจริงจังกับเรา ทีนี้ ข้ามมาปีนี้ ฉันได้ยินว่า “อย่าทำเรื่องนี้เลย เพราะ ChatGPT เกือบจะแก้ปัญหาเรื่องนี้ได้” และ “แค่สเกลอัพ และความมหัษจรรย์จะเกิดขึ้น” เรื่องอื่น ๆ ก็ไม่สำคัญแล้ว
So my position is that giving true common sense human-like robots common sense to AI, is still moonshot. And you don’t reach to the Moon by making the tallest building in the world one inch taller at a time. Extreme-scale AI models do acquire an ever-more increasing amount of commonsense knowledge, I'll give you that. But remember, they still stumble on such trivial problems that even children can do.
ในความเห็นของฉัน การให้สามัญสำนึกจริง ๆ สามัญสำนึกของหุ่นยนต์ที่เหมือนมนุษย์ต่อ AI ยังเป็นเรื่องไกลถึงดวงจันทร์ คุณไม่สามารถไปถึงดวงจันทร์ได้ โดยการสร้างตึกที่สูงที่สุดในโลก ให้สูงขึ้นทีละหนึ่งนิ้ว โมเดล AI ขนาดใหญ่มโหฬาร ยิ่งต้องการความเข้าใจเรื่องสามัญสำนึก มากยิ่งขึ้นเท่านั้น ฉันบอกคุณไว้เลย แต่จำได้ใช่ไหม พวกเขายังคงสะดุด กับปัญหาง่าย ๆ ที่แม้แต่เด็ก ๆ ยังทำได้
So AI today is awfully inefficient. And what if there is an alternative path or path yet to be found? A path that can build on the advancements of the deep neural networks, but without going so extreme with the scale.
ดังนั้น AI ตอนนี้ยังไร้ประสิทธิภาพมาก ๆ ถ้าหากว่ายังมีทางเลือกอื่น หรือทางเลือกที่ยังไม่มีใครค้นพบ ทางที่สามารถสร้างความก้าวหน้าของ โครงข่ายประสาทเชิงลึก แต่ไม่ต้องไปขยายขนาดให้มโหฬาร
So this leads us to our final wisdom: innovate your weapons. In the modern-day AI context, that means innovate your data and algorithms. OK, so there are, roughly speaking, three types of data that modern AI is trained on: raw web data, crafted examples custom developed for AI training, and then human judgments, also known as human feedback on AI performance. If the AI is only trained on the first type, raw web data, which is freely available, it's not good because this data is loaded with racism and sexism and misinformation. So no matter how much of it you use, garbage in and garbage out. So the newest, greatest AI systems are now powered with the second and third types of data that are crafted and judged by human workers. It's analogous to writing specialized textbooks for AI to study from and then hiring human tutors to give constant feedback to AI. These are proprietary data, by and large, speculated to cost tens of millions of dollars. We don't know what's in this, but it should be open and publicly available so that we can inspect and ensure [it supports] diverse norms and values. So for this reason, my teams at UW and AI2 have been working on commonsense knowledge graphs as well as moral norm repositories to teach AI basic commonsense norms and morals. Our data is fully open so that anybody can inspect the content and make corrections as needed because transparency is the key for such an important research topic.
นั่นก็นำเรามาถึง ภูมิปัญญาเรื่องสุดท้าย พัฒนาอาวุธของเรา ในบริบทของ AI ยุคใหม่ นั้นหมายถึงพัฒนาข้อมูล และอัลกอริทึมของคุณ ว่ากันอย่างคร่าว ๆ มีข้อมูลอยู่ 3 ประเภท ที่ใช้สอน AI ยุคใหม่ ข้อมูลดิบจากเว็บ ข้อมูลตัวอย่างที่สร้างขึ้นเอง สำหรับการฝึกอบรม AI และการตัดสินโดยมนุษย์ หรือที่เรียกว่าความคิดเห็นของมนุษย์ เกี่ยวกับประสิทธิภาพของ AI ถ้า AI ได้รับการเทรนจากข้อมูลชนิดแรก ข้อมูลดิบจากเว็บ ที่ใช้ได้ฟรี แต่ไม่ดีเพราะข้อมูลแบบนี้เต็มไปด้วย การเหยียดเชื้อชาติ การกีดกันทางเพศ และข้อมูลที่ผิด ไม่ว่าจะใช้มากแค่ไหน ใส่ขยะเข้าไป ก็ได้ขยะออกมา ระบบ AI ที่ใหม่สุด ยอดเยี่ยมที่สุด ตอนนี้ใช้ข้อมูลประเภทที่สองและสาม ที่สร้างขึ้นมาและตัดสินโดย ผู้ปฎิบัติงานที่เป็นคน เหมือนกับการเขียนตำราออกมาโดยเฉพาะ เพื่อให้ AI ได้ศึกษา จากนั้นจ้างผู้สอนที่เป็นมนุษย์ เพื่อให้คำแนะนำอย่างต่อเนื่องกับ AI นี่เป็นข้อมูลที่มีลิขสิทธ์เป็นส่วนใหญ่ คาดว่าน่าจะมีต้นทุนถึงหลายสิบล้านดอลลาร์ เราไม่รู้ว่าข้างในมีอะไรบ้าง แต่ควรเป็นข้อมูลที่ดูได้ และเปิดเผยต่อสาธารณชน เพื่อให้เราตรวจสอบและมั่นใจได้ว่า มันสนับสนุนบรรทัดฐานและค่านิยมที่หลากหลาย ด้วยเหตุผลนี้ ทีมของฉันจาก UW และ AI2 ได้ทำงานเรื่องกราฟความรู้สามัญสำนึก ตลอดจนบรรทัดฐานทางศีลธรรม เพื่อสอนสามัญสำนึกพื้นฐานของ AI ด้านบรรทัดฐานและศีลธรรม ข้อมูลของเราเปิดอย่างเต็มที่ เพื่อให้ใครก็ตามสามารถตรวจสอบเนื้อหาได้ และแก้ไขได้ถ้าจำเป็น เพราะความโปร่งใสเป็นกุญแจสำคัญ สำหรับหัวข้อวิจัยที่สำคัญเช่นนี้
Now let's think about learning algorithms. No matter how amazing large language models are, by design they may not be the best suited to serve as reliable knowledge models. And these language models do acquire a vast amount of knowledge, but they do so as a byproduct as opposed to direct learning objective. Resulting in unwanted side effects such as hallucinated effects and lack of common sense. Now, in contrast, human learning is never about predicting which word comes next, but it's really about making sense of the world and learning how the world works. Maybe AI should be taught that way as well.
ทีนี้ลองคิดดู เกี่ยวกับอัลกอริทึมการเรียนรู้ ไม่ว่าโมเดลภาษาขนาดใหญ่จะน่าทึ่งเพียงใด โดยการออกแบบ พวกมันอาจไม่เหมาะสมที่สุด ที่จะใช้เป็นแบบจำลองความรู้ที่เชื่อถือได้ และโมเดลภาษาเหล่านี้ ได้เก็บเกี่ยวข้อมูลความรู้มากมาย แต่พวกมันทำเป็นเพียงผลพลอยได้ ตรงข้ามกับวัตถุประสงค์เพื่อการเรียนรู้ ส่งผลให้เกิดผลข้างเคียงที่ไม่พึงประสงค์ เช่น การมั่วสร้างคำตอบขึ้นเอง และขาดสามัญสำนึก ตรงข้ามกันกับ การเรียนรู้ของมนุษย์ไม่เคยเกี่ยวกับ การทำนายว่าคำต่อไปคือคำว่าอะไร แต่จะเป็นการทำความเข้าใจจริง ๆ กับโลกใบนี้ และเรียนรู้ว่าโลกนี้ทำงานยังไง บางที AI ควรถูกสอนด้วยวิธีนี้เหมือนกัน
So as a quest toward more direct commonsense knowledge acquisition, my team has been investigating potential new algorithms, including symbolic knowledge distillation that can take a very large language model as shown here that I couldn't fit into the screen because it's too large, and crunch that down to much smaller commonsense models using deep neural networks. And in doing so, we also generate, algorithmically, human-inspectable, symbolic, commonsense knowledge representation, so that people can inspect and make corrections and even use it to train other neural commonsense models.
เพื่อเป็นการแสวงหาให้ได้มาซึ่งความรู้ เกี่ยวกับสามัญสำนึก ที่ตรงไปตรงมา ทีมของฉันได้ทำการตรวจสอบ อัลกอริทึมใหม่ที่มีความเป็นไปได้ รวมถึงการกลั่นกรองความรู้เชิงสัญลักษณ์ ที่สามารถเอาโมเดลภาษาขนาดใหญ่ อย่างที่เห็นนี้ ที่ฉันไม่สามารถแสดงบนจอทั้งหมดได้ เพราะมันใหญ่เกินไป และกดมันให้เล็กลงมา เป็นโมเดลสามัญสำนึก ที่มีขนาดเล็กกว่ามาก ด้วยการใช้โครงข่ายประสาทเชิงลึก ในการทำเช่นนั้น เรายังได้สร้างอัลกอริทึม แบบที่มนุษย์สามารถตรวจสอบได้ สัญลักษณ์ สามัญสำนึก การเป็นตัวแทนความรู้ เพื่อให้ผู้คนสามารถตรวจสอบ และทำการแก้ไข แม้กระทั้ง ใช้มันเพื่อฝึก โมเดลสามัญสำนึกทางประสาทอื่น ๆ
More broadly, we have been tackling this seemingly impossible giant puzzle of common sense, ranging from physical, social and visual common sense to theory of minds, norms and morals. Each individual piece may seem quirky and incomplete, but when you step back, it's almost as if these pieces weave together into a tapestry that we call human experience and common sense.
ในวงกว้าง เรากำลังจัดการกับปริศนาขนาดยักษ์ จนแทบจะแก้ไม่ได้นี้ ของสามัญสำนึก ตั้งแต่เรื่องกายภาพ สังคม และการมองเห็น ไปจนถึงทฤษฎีของจิตใจ บรรทัดฐาน และศีลธรรม แต่ละเรื่อง อาจดูแปลกและไม่สมบูรณ์ แต่เมื่อคุณถอยหลังออกมา มันเกือบจะเหมือนกับว่าชิ้นส่วนเหล่านี้ สานต่อกันเป็นผืนผ้า ที่เราเรียกว่าประสบการณ์มนุษย์ และสามัญสำนึก
We're now entering a new era in which AI is almost like a new intellectual species with unique strengths and weaknesses compared to humans. In order to make this powerful AI sustainable and humanistic, we need to teach AI common sense, norms and values.
ตอนนี้เรากำลังเข้าสู่ยุคใหม่ ซึ่ง AI เกือบจะเป็น สิ่งมีชีวิตทางปัญญาสายพันธุ์ใหม่ ด้วยจุดแข็งและจุดอ่อนที่แตกต่าง เมื่อเทียบกับมนุษย์ เพื่อที่จะสร้าง AI ที่ทรงพลังนี้ ให้ยั่งยืน และมีความเป็นมนุษย์ เราจำเป็นต้องสอน AI เรื่องสามัญสำนึก บรรทัดฐาน และค่านิยม
Thank you.
ขอบคุณค่ะ
(Applause)
(เสียงปรบมือ)
Chris Anderson: Look at that. Yejin, please stay one sec. This is so interesting, this idea of common sense. We obviously all really want this from whatever's coming. But help me understand. Like, so we've had this model of a child learning. How does a child gain common sense apart from the accumulation of more input and some, you know, human feedback? What else is there?
คริส แอนเดอร์สัน: ดูนั่นสิ เยจิน กรุณารอสักครู่ เรื่องนี้น่าสนใจมาก แนวคิดเรื่องสามัญสำนึก เห็นได้ชัดว่าเราทุกคนต้องการสิ่งนี้จริง ๆ จากสิ่งที่กำลังจะมาถึง แต่ช่วยให้ผมเข้าใจหน่อย เรามีโมเดล ของเด็กที่กำลังเรียนรู้ เด็กจะมีสามัญสำนึกได้อย่างไร นอกเหนือจากการสะสมด้วยการป้อนข้อมูลเพิ่ม และจากการแนะนำของคน ยังมีอะไรอีกไหม
Yejin Choi: So fundamentally, there are several things missing, but one of them is, for example, the ability to make hypothesis and make experiments, interact with the world and develop this hypothesis. We abstract away the concepts about how the world works, and then that's how we truly learn, as opposed to today's language model. Some of them is really not there quite yet.
เยจิน ชอย: โดยพื้นฐานแล้ว มีหลายสิ่งที่ขาดหายไป แต่หนึ่งในนั้นคือ เช่น ความสามารถในการตั้งสมมุติฐาน และทำการทดลอง ปฎิสัมพันธ์กับโลก และพัฒนาสมมติฐาน เราย่อยแนวคิดออกมาเป็นนามธรรม เกี่ยวกับความเป็นไปของโลก และนั่นคือวิธีที่เราเรียนรู้จริง ๆ แตกต่างจากโมเดลภาษาในทุกวันนี้ บางอันยังไปไม่ถึงจริง ๆ
CA: You use the analogy that we can’t get to the Moon by extending a building a foot at a time. But the experience that most of us have had of these language models is not a foot at a time. It's like, the sort of, breathtaking acceleration. Are you sure that given the pace at which those things are going, each next level seems to be bringing with it what feels kind of like wisdom and knowledge.
คริส: คุณเปรียบเทียบว่า เราไม่สามารถไปถึงดวงจันทร์ได้ ด้วยการเพิ่มตึกให้สูงขึ้นทีละฟุต แต่ประสบการณ์ ที่พวกเราส่วนใหญ่เคยมี กับโมเดลภาษาพวกนี้ ไม่ใช่เพิ่มขึ้นทีละฟุต มันเหมือนกับเพิ่มขึ้น ด้วยอัตราเร่งที่น่าทึ่ง คุณแน่ใจหรือว่าอัตราความก้าวหน้า ของเรื่องนี้ที่กำลังเพิ่มขึ้น ทุกระดับขั้นที่เพิ่มขึ้น ตามมาด้วย ความรู้สึกเหมือนแบบว่า มีภูมิปัญญาและความรู้เพิ่มขึ้น
YC: I totally agree that it's remarkable how much this scaling things up really enhances the performance across the board. So there's real learning happening due to the scale of the compute and data.
เยจิน: ฉันเห็นด้วยอย่างยิ่งว่ามันน่าทึ่ง ที่ขยายได้เยอะมากแค่ไหน ช่วยเพิ่มประสิทธิภาพจริง ๆ ได้ทั้งหมด ดังนั้น จึงมีการเรียนรู้เกิดขึ้นจริง เนื่องจากขนาดของการคำนวณและข้อมูล
However, there's a quality of learning that is still not quite there. And the thing is, we don't yet know whether we can fully get there or not just by scaling things up. And if we cannot, then there's this question of what else? And then even if we could, do we like this idea of having very, very extreme-scale AI models that only a few can create and own?
อย่างไรก็ตาม ยังมีคุณภาพของการเรียนรู้ ที่ยังไปไม่ถึง เรื่องของเรื่องคือ เรายังไม่ทราบว่า เราจะไปถึงที่นั่นได้หรือไม่ เพียงแค่ขยายขนาดขึ้นไป และถ้าเราไม่สามารถทำได้ ก็มีคำถามว่า “แล้วไงต่อ” ถึงแม้ว่าเราจะทำได้ เราชอบจริง ๆ หรือ ที่จะต้องมี AI โมเดลขนาดใหญ่โตมโหฬาร ที่มีแค่ไม่กี่คนสามารถสร้าง และเป็นเจ้าของได้
CA: I mean, if OpenAI said, you know, "We're interested in your work, we would like you to help improve our model," can you see any way of combining what you're doing with what they have built?
คริส: คือว่า ถ้า OpenAI บอกว่า “เราสนใจงานของคุณ เราอยากให้คุณช่วย ปรับปรุงโมเดลของเรา” คุณเห็นหนทางไหม ในการรวมสิ่งที่คุณกำลังทำอยู่ กับสิ่งที่เขาสร้างมาแล้ว
YC: Certainly what I envision will need to build on the advancements of deep neural networks. And it might be that there’s some scale Goldilocks Zone, such that ... I'm not imagining that the smaller is the better either, by the way. It's likely that there's right amount of scale, but beyond that, the winning recipe might be something else. So some synthesis of ideas will be critical here.
เยจิน: แน่นอน สิ่งที่ฉันจินตนาการไว้ คือจะต้องสร้างความก้าวหน้ากับ โครงข่ายประสาทเชิงลึก เป็นได้ว่าจะมีขนาดแบบโซนโกลดิล็อคส์ (โซนที่มีสภาพเอื้อต่อการดำรงอยู่) ดังนั้น ฉันไม่ได้จินตนาการไปว่า ขนาดเล็กกว่าต้องดีกว่าเสมอ แต่ว่า มันเป็นไปได้มากว่า มันจะมีขนาดที่พอดี แต่ถ้าใหญ่เกินไปจากนั้น สูตรสำเร็จน่าจะเป็นอย่างอื่นมากกว่า ดังนั้น การสังเคราะห์แนวคิดบางอย่างออกมา จะมีความสำคัญมาก
CA: Yejin Choi, thank you so much for your talk.
คริส: เยจิน ชอย ขอบคุณมาก สำหรับทอล์กของคุณ
(Applause)
(เสียงปรบมือ)