So I'm excited to share a few spicy thoughts on artificial intelligence. But first, let's get philosophical by starting with this quote by Voltaire, an 18th century Enlightenment philosopher, who said, "Common sense is not so common." Turns out this quote couldn't be more relevant to artificial intelligence today. Despite that, AI is an undeniably powerful tool, beating the world-class "Go" champion, acing college admission tests and even passing the bar exam.
Tôi đang rất phấn khích để chia sẻ một vài suy nghĩ thú vị về trí tuệ nhân tạo. Nhưng trước tiên, cùng học triết với tôi nhe bắt đầu với câu nói của Voltaire, một triết gia Khai sáng của thế kỷ 18, ông nói, “Hiểu biết thông thường không hẳn là thứ thông dụng.” Để rồi giờ trích dẫn này bỗng hợp lí đến kinh ngạc khi ta nói về trí tuệ nhân tạo ngày nay. Dù vậy, không thể phủ nhận AI quả là một thứ công cụ tối tân, đã đánh bại nhà vô địch thế giới “Go” , tham gia kỳ thi tuyển sinh đại học và thậm chí vượt qua cả kì thi luật “Bar”.
I’m a computer scientist of 20 years, and I work on artificial intelligence. I am here to demystify AI. So AI today is like a Goliath. It is literally very, very large. It is speculated that the recent ones are trained on tens of thousands of GPUs and a trillion words. Such extreme-scale AI models, often referred to as "large language models," appear to demonstrate sparks of AGI, artificial general intelligence. Except when it makes small, silly mistakes, which it often does. Many believe that whatever mistakes AI makes today can be easily fixed with brute force, bigger scale and more resources. What possibly could go wrong?
Tôi đã là nhà khoa học máy tính suốt 20 năm qua, lĩnh vực của tôi là về trí tuệ nhân tạo. Tôi ở đây để làm sáng tỏ về AI. AI ngày nay giống như gã khổng lồ Goliath vậy. Nó là một mảng rất, rất rộng. Người ta đồn rằng AI gần đây nhất được huấn luyện lập trình bởi chục ngàn GPU Và hàng nghìn tỷ từ. Có một mô hình trí tuệ nhân tạo quy mô lớn, thường được gọi là “Mô hình ngôn ngữ khổng lồ,” xuất hiện để định hình sức nóng của AGI, gọi là trí tuệ tổng hợp nhân tạo. Cho đến khi nó mắc những lỗi sai nhỏ nhặt và ngớ ngẩn mà nó thường hay mắc. Nhiều người tin rằng dù hiện tại AI có mắc lỗi đi chăng nữa thì ta cũng có thể sửa nó dễ dàng bằng vũ lực vời quy mô và nguồn tài nguyên lớn hơn. Vậy thì cái sai ở đây là gì?
So there are three immediate challenges we face already at the societal level. First, extreme-scale AI models are so expensive to train, and only a few tech companies can afford to do so. So we already see the concentration of power. But what's worse for AI safety, we are now at the mercy of those few tech companies because researchers in the larger community do not have the means to truly inspect and dissect these models. And let's not forget their massive carbon footprint and the environmental impact.
Có 3 thách thức ngay lập tức mà chúng ta phải đối mặt ở quy mô xã hội. Đầu tiên, các mô hình AI quy mô lớn có chi phí đào tạo rất đắt đỏ và chỉ có một vài công ty công nghệ đủ khả năng làm điều đó. Nên là ta thấy đó, quả là một sự tập trung quyền lực không hề nhẹ Nhưng điều tệ hơn về tính an toàn của AI là, chúng ta bây giờ đang phụ thuộc vào số ít các công ty công nghệ do các nhà nghiên cứu tại các cộng đồng lớn hơn không đủ nguồn lực để quan sát và tháo lắp những mô hình này. Và đừng quên lượng khí thải carbon khổng lồ và sự tác động tới môi trường.
And then there are these additional intellectual questions. Can AI, without robust common sense, be truly safe for humanity? And is brute-force scale really the only way and even the correct way to teach AI?
Và cũng có nhiều câu hỏi thêm khá thông minh về AI thế này. Liệu AI, kể cả khi không có trực giác, có thật sự an toàn cho nhân loại? Và liệu việc sử dụng vũ lực có phải là cách duy nhất và cũng là cách chuẩn nhất để dạy dỗ AI?
So I’m often asked these days whether it's even feasible to do any meaningful research without extreme-scale compute. And I work at a university and nonprofit research institute, so I cannot afford a massive GPU farm to create enormous language models. Nevertheless, I believe that there's so much we need to do and can do to make AI sustainable and humanistic. We need to make AI smaller, to democratize it. And we need to make AI safer by teaching human norms and values. Perhaps we can draw an analogy from "David and Goliath," here, Goliath being the extreme-scale language models, and seek inspiration from an old-time classic, "The Art of War," which tells us, in my interpretation, know your enemy, choose your battles, and innovate your weapons.
Mấy nay tôi hay được hỏi là Liệu có khả thi không khi ta cứ thế nghiên cứu mà không cần lường đến tính quy mô của nó. Tôi đang làm tại 1 trường Đại Học và 1 tổ chức phi lợi nhuận, nên tôi không thể nào xây được một trại GPU đủ lớn nhằm tạo ra những mô hình ngôn ngữ khổng lồ được. Tuy nhiên, tôi tin vẫn còn nhiều thứ mà ta cần làm và có thể làm để khiến AI trở nên ổn định và có tình người. Chúng ta cần làm AI nhỏ hơn, để dân chủ hóa nó. Ta cần làm AI an toàn hơn, bằng cách dạy chúng các chuẩn mực và giá trị con người Có lẽ ta nên lấy câu chuyện “David và gã khổng lồ Goliath” làm ví dụ, ở đó, Goliath chính là những mô hình ngôn ngữ khổng lồ, và lấy cảm hứng từ cuốn sách kinh điển “Binh pháp Tôn Tử”, trong đó có nói, theo tôi nhớ thôi nhé, Biết mặt kẻ thù, chọn lựa trận chiến, và cải tiến vũ khí.
Let's start with the first, know your enemy, which means we need to evaluate AI with scrutiny. AI is passing the bar exam. Does that mean that AI is robust at common sense? You might assume so, but you never know.
Bắt đầu với câu đầu tiên, biết mặt kẻ thù điều đó có nghĩa là là ta cần phải đánh giá AI một cách kĩ càng AI vừa đỗ kì thi Bar rồi đấy. Vậy điều đó có nghĩa là AI có trực giác đúng không? cứ cho là vậy đi, nhưng đố ai mà biết được.
So suppose I left five clothes to dry out in the sun, and it took them five hours to dry completely. How long would it take to dry 30 clothes? GPT-4, the newest, greatest AI system says 30 hours. Not good. A different one. I have 12-liter jug and six-liter jug, and I want to measure six liters. How do I do it? Just use the six liter jug, right? GPT-4 spits out some very elaborate nonsense.
Gỉa sử tôi lấy năm cái áo ra phơi khô dưới ánh nắng mặt trời, và chúng mất năm tiếng để khô hoàn toàn. Vậy mất bao lâu để làm khô 30 bộ quần áo? GPT-4, hệ thống AI tân tiến nhất cho kết quả là 30 giờ thấy chưa đủ tốt hả. Thử ví dụ khác nhé. Tôi có bình 12 lít và bình 6 lít, và tôi muốn đo bình 6 lít Tôi làm sao giờ đây? Chỉ cần sử dụng bình sáu lít thôi, đúng không? GPT-4 sau đó cho ra vài kết quả rất vô nghĩa.
(Laughter)
(Tiếng cười)
Step one, fill the six-liter jug, step two, pour the water from six to 12-liter jug, step three, fill the six-liter jug again, step four, very carefully, pour the water from six to 12-liter jug. And finally you have six liters of water in the six-liter jug that should be empty by now.
Bước một, đổ đầy bình sáu lít, bước hai, đổ nước từ bình sáu vào bình 12 lít bước ba, đổ đầy lại bình sáu lít, bước bốn, cẩn thận đổ nước từ bình 6 vào lại bình 12 lít Và cuối cùng bạn có sáu lít nước trong bình sáu lít mà đáng ra giờ nó đã chả còn 1 giọt.
(Laughter)
(Tiếng cười)
OK, one more. Would I get a flat tire by bicycling over a bridge that is suspended over nails, screws and broken glass? Yes, highly likely, GPT-4 says, presumably because it cannot correctly reason that if a bridge is suspended over the broken nails and broken glass, then the surface of the bridge doesn't touch the sharp objects directly.
Được rồi, một cái nữa. Liệu tôi có bị xì lốp khi đạp xe qua cái cầu mà trên đó toàn là đinh, vít rồi cả mảnh kính vỡ không? Có, rất có thể, GPT-4 cho biết, đơn thuần là do nó không thể suy luận được rằng nếu trên cầu toàn những chiếc đinh gãy và kính vỡ, thì bề mặt cầu sẽ không tiếp xúc trực tiếp với những vật nhọn kia.
OK, so how would you feel about an AI lawyer that aced the bar exam yet randomly fails at such basic common sense? AI today is unbelievably intelligent and then shockingly stupid.
Ok, giờ bạn thấy sau về anh chàng luật sư AI đã đổ kì thi Bar nhưng lại thất bại trong việc giải đáp một vấn đề quá cơ bản như thế? AI ngày nay thông minh đến kinh ngạc,
(Laughter)
nhưng cũng ngớ ngẩn đến bất ngờ
It is an unavoidable side effect of teaching AI through brute-force scale.
(Tiếng cười)
Some scale optimists might say, “Don’t worry about this. All of these can be easily fixed by adding similar examples as yet more training data for AI." But the real question is this. Why should we even do that? You are able to get the correct answers right away without having to train yourself with similar examples. Children do not even read a trillion words to acquire such a basic level of common sense.
Đó là tác dụng phụ không thể tránh khỏi của việc dạy dỗ AI bằng vũ lực. Người lạc quan thì cho là, “Đừng quá lo lắng về nó. Tất cả điều này có thể dễ dàng khắc phục bằng cách bổ sung vài ví dụ tương tự và nhiều dữ liệu đào tạo hơn cho AI.” Nhưng câu hỏi thực ra là thế này. Ta làm thế để làm gì? Bạn có thể có câu trả lời chính xác ngay lập tức mà không cần phải rèn luyện bản thân với những ví dụ tương tự. Lũ trẻ thậm chí không cần đọc tới một nghìn tỷ từ chỉ để đạt đến một mức độ cơ bản như vậy về trực giác.
So this observation leads us to the next wisdom, choose your battles. So what fundamental questions should we ask right now and tackle today in order to overcome this status quo with extreme-scale AI? I'll say common sense is among the top priorities.
Quan sát này cũng dẫn ta đến yếu tố tiếp theo, chọn lựa trận chiến Vậy những câu hỏi cơ bản mà ta cần hỏi bây giờ và giải quyết ngay hôm nay nhằm giải quyết hiện trạng của AI quy mô lớn này là gì? Tôi nói trực giác là một trong những ưu tiên hàng đầu.
So common sense has been a long-standing challenge in AI. To explain why, let me draw an analogy to dark matter. So only five percent of the universe is normal matter that you can see and interact with, and the remaining 95 percent is dark matter and dark energy. Dark matter is completely invisible, but scientists speculate that it's there because it influences the visible world, even including the trajectory of light. So for language, the normal matter is the visible text, and the dark matter is the unspoken rules about how the world works, including naive physics and folk psychology, which influence the way people use and interpret language.
Trực giác là một thách thức sừng sững về AI Để giải thích, tôi sẽ thử lấy vật chất tối làm ví dụ Chỉ có 5% của vũ trụ là vật chất thông thường mà bạn có thể thấy và tương tác, còn 95% còn lại là vật chất tối và năng lượng tối Vật chất tối hoàn toàn vô hình, nhưng các nhà khoa học cho rằng nó tồn tại để tạo ảnh hưởng đến thế giới hữu hình, bao gồm cả quỹ đạo ánh sáng. Với ngôn ngữ, vật chất thông thường chính là những chữ viết, còn vật chất tối là những quy tắc bất thành văn về cách thế giới vận hành, bao gồm cả “vật lý ngây thơ” và “tâm lý học dân gian,” nó ảnh hưởng đến cách mọi người sử dụng và giải thích ngôn ngữ.
So why is this common sense even important? Well, in a famous thought experiment proposed by Nick Bostrom, AI was asked to produce and maximize the paper clips. And that AI decided to kill humans to utilize them as additional resources, to turn you into paper clips. Because AI didn't have the basic human understanding about human values. Now, writing a better objective and equation that explicitly states: “Do not kill humans” will not work either because AI might go ahead and kill all the trees, thinking that's a perfectly OK thing to do. And in fact, there are endless other things that AI obviously shouldn’t do while maximizing paper clips, including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,” which are all part of our common sense understanding about how the world works.
Vậy tại sao trực giác lại quan trọng? Thì, trong một thí nghiệm tưởng tượng nổi tiếng do Nick Bostrom đề xuất, AI được yêu cầu sản xuất và tối đa hóa các kẹp giấy. Và con AI đó quyết định giết con người nhằm tối ưu hóa nguồn tài nguyên bổ sung hòng biến bạn thành kẹp giấy. Bởi AI vốn không có chút hiểu biết cơ bản nào về cái gọi là giá trị nhân đạo. Giờ, kể cả bạn có viết và lập trình nó theo kiểu bổ sung thêm lệnh: “Đừng hủy diệt loài người” cũng chả có tác dụng gì bởi AI vẫn sẽ tiếp tục và giết hết tất cả cây cối, nghĩ rằng điều đó hoàn toàn ổn. Và trên thực tế, có vô số những thứ AI rõ ràng là không được làm trong lúc tối đa hóa mấy cái kẹp giấy, bao gồm: “Không lan truyền tin giả,” “Không ăn cắp,” “Không nói dối,” tất cả đều là 1 phần trong sự hiểu biết của chúng ta về cách thế giới vận hành.
However, the AI field for decades has considered common sense as a nearly impossible challenge. So much so that when my students and colleagues and I started working on it several years ago, we were very much discouraged. We’ve been told that it’s a research topic of ’70s and ’80s; shouldn’t work on it because it will never work; in fact, don't even say the word to be taken seriously. Now fast forward to this year, I’m hearing: “Don’t work on it because ChatGPT has almost solved it.” And: “Just scale things up and magic will arise, and nothing else matters.”
Dẫu vậy, mảng AI trong suốt thập kỉ qua đã coi trực giác như một điều gần như không thể. Tuyệt vọng đến mức khi các sinh viên, đồng nghiệp và cả tôi bắt đầu làm về vấn đề này cách đây vài năm, chúng tôi đã từng rất nản. Chúng tôi biết là chủ đề này đã từng được nghiên cứu vào những năm 70 80; không nên nghiên cứu vì nó không thể thành công đâu; trên thực tế, nghiên cứu này còn chả được đầu tư nghiêm túc Rồi, đi nhanh tới năm nay, Tôi nghe là: “Đừng làm việc nữa vì ChatGPT gần như làm được hết rồi.” Rồi nào là “Chỉ cần mở rộng thôi và phép màu sẽ xuất hiện, không còn vấn đề gì nữa.”
So my position is that giving true common sense human-like robots common sense to AI, is still moonshot. And you don’t reach to the Moon by making the tallest building in the world one inch taller at a time. Extreme-scale AI models do acquire an ever-more increasing amount of commonsense knowledge, I'll give you that. But remember, they still stumble on such trivial problems that even children can do.
Vai trò của tôi đó là đưa ra những nhận định đúng robot giống con người với AI là trực giác, vẫn còn khó lắm. Và đâu ai đi lên mặt trăng bằng cách làm cho tòa nhà cao nhất thế giới cao hơn từng inch một. Các mô hình AI quy mô lớn đang dần tích lũy thêm lượng kiến thức tổng quát, Tôi nói thế đấy. Nhưng như ta thấy, chúng vẫn có lúc trầy trật trước những vấn đề quá đổi tầm thường thậm chí trẻ con còn làm được.
So AI today is awfully inefficient. And what if there is an alternative path or path yet to be found? A path that can build on the advancements of the deep neural networks, but without going so extreme with the scale.
Vậy nên, AI ngày nay cực kỳ kém hiệu quả. Và liệu có cách thay thế hay cách nào đó mà ta chưa khám phá ra không? Một cách để xây dựng mạng lưới thần kinh sâu sắc và tối tân, mà không cần phải mở rộng quy mô.
So this leads us to our final wisdom: innovate your weapons. In the modern-day AI context, that means innovate your data and algorithms. OK, so there are, roughly speaking, three types of data that modern AI is trained on: raw web data, crafted examples custom developed for AI training, and then human judgments, also known as human feedback on AI performance. If the AI is only trained on the first type, raw web data, which is freely available, it's not good because this data is loaded with racism and sexism and misinformation. So no matter how much of it you use, garbage in and garbage out. So the newest, greatest AI systems are now powered with the second and third types of data that are crafted and judged by human workers. It's analogous to writing specialized textbooks for AI to study from and then hiring human tutors to give constant feedback to AI. These are proprietary data, by and large, speculated to cost tens of millions of dollars. We don't know what's in this, but it should be open and publicly available so that we can inspect and ensure [it supports] diverse norms and values. So for this reason, my teams at UW and AI2 have been working on commonsense knowledge graphs as well as moral norm repositories to teach AI basic commonsense norms and morals. Our data is fully open so that anybody can inspect the content and make corrections as needed because transparency is the key for such an important research topic.
Và điều này dẫn ta đến yếu tố cuối cùng: cải tiến vũ khí. Trong bối cảnh AI hiện đại, thì nó có nghĩa là đổi mới dữ liệu và thuật toán của bạn. OK, đại khái là có ba loại dữ liệu nhằm huấn luyện AI: dữ liệu web thô, các ví dụ thủ công được phát triển tùy chỉnh để đào tạo AI, rồi cả sự phán xét của con người, hay còn gọi là phản hồi của con người về hiệu suất AI. Nếu AI chỉ được huấn luyện với loại đầu tiên, dữ liệu web thô, thứ vốn được cung cấp miễn phí, điều đó không tốt vì nguồn dữ liệu này đầy sự phân biệt chủng tộc và giới tính cả thông tin sai lệch nữa. Vậy nên vấn đề không phải là bạn dùng bao nhiêu, rác thì vẫn là rác. Các hệ thống AI mới và tốt nhất chủ yếu được chạy bởi loại dữ liệu thứ 2 và thứ 3 được tạo ra và đánh giá bởi chính những con người. Nó giống như viết sách giáo khoa chuyên ngành cho AI nghiên cứu vậy và sau đó thuê người dạy kèm để phản hồi liên tục về AI. Đây là những dữ liệu độc quyền, lớn và đa dạng, được đồn đoán có giá hàng chục triệu đô la. Ta không biết trong đó có gì. nhưng nó nên được để mở và công khai để ta có thể kiểm tra và đảm bảo các chuẩn mực cũng như giá trị ấy đủ đa dạng. Vì lý do này, 2 đội của tôi ở UW và AI2 đã và đang làm việc trên các biểu đồ tri giác lẫn kho chuẩn mực đạo đức nhằm dạy dỗ AI về những chuẩn mực và đạo đức cơ bản. Dữ liệu hoàn toàn mở để bất kỳ ai cũng có thể kiểm tra nội dung và chỉnh sửa khi cần thiết bởi vì tính minh bạch chính là chìa khóa trong chủ đề nghiên cứu quan trọng này.
Now let's think about learning algorithms. No matter how amazing large language models are, by design they may not be the best suited to serve as reliable knowledge models. And these language models do acquire a vast amount of knowledge, but they do so as a byproduct as opposed to direct learning objective. Resulting in unwanted side effects such as hallucinated effects and lack of common sense. Now, in contrast, human learning is never about predicting which word comes next, but it's really about making sense of the world and learning how the world works. Maybe AI should be taught that way as well.
Giờ hãy nghĩ về việc học các thuật toán. Không quan trọng ngôn ngữ lập trình tuyệt vời đến đâu, về thiết kế chúng có thể không phù hợp để đóng vai trò là những mô hình tri thức đáng tin cậy. Và những mô hình ngôn ngữ này thu được một lượng lớn kiến thức, nhưng chúng coi đó là 1 sản phẩm phụ hơn là học một cách trực tiếp. Hậu quả là các tác dụng phụ như ảo giác và thiếu trực giác. Bây giờ, ngược lại, việc học của con người không phải là đi dự đoán xem sẽ có từ gì, mà là tìm hiểu về ý nghĩa thật sự của thế giới và học về cách mà thế giới vận hành. Có lẽ AI cũng nên được dạy theo cách đó.
So as a quest toward more direct commonsense knowledge acquisition, my team has been investigating potential new algorithms, including symbolic knowledge distillation that can take a very large language model as shown here that I couldn't fit into the screen because it's too large, and crunch that down to much smaller commonsense models using deep neural networks. And in doing so, we also generate, algorithmically, human-inspectable, symbolic, commonsense knowledge representation, so that people can inspect and make corrections and even use it to train other neural commonsense models.
Vậy nên, như một nghĩa vụ hòng hướng tới việc tiếp thu kiến thức trực quan hơn, nhóm của tôi đang nghiên cứu các thuật toán mới đầy tiềm năng, bao gồm cả chắt lọc các kiến thức tượng trưng có thể lấy một mô hình ngôn ngữ rất lớn như trên đây tôi không để vừa màn hình được bởi nó lớn quá, rồi nghiền nó lại thành 1 mô hình nhỏ hơn dùng mạng lưới thần kinh sâu. Làm như vậy, ta cũng sẽ tạo ra thuật toán, người khác có thể xem. đặc trưng, khả năng diễn đạt kiến thức thông thường, để mọi người có thể kiểm tra và sửa chữa và thậm chí sử dụng nó để đào tạo các mô hình thần kinh tri giác khác.
More broadly, we have been tackling this seemingly impossible giant puzzle of common sense, ranging from physical, social and visual common sense to theory of minds, norms and morals. Each individual piece may seem quirky and incomplete, but when you step back, it's almost as if these pieces weave together into a tapestry that we call human experience and common sense.
Rộng hơn, chúng tôi đã giải được câu đố tưởng chừng như bất khả thi này của trực giác, từ thể chất, khả năng xã hội và nhìn nhận đến thuyết duy tâm, chuẩn mực và đạo đức. Từng mảnh riêng lẻ có vẻ hơi kì và không hoàn thiện, nhưng khi bạn lùi lại, thì như thể những mảnh ghép này đan lại với nhau thành một tấm thảm mà ta hay gọi là trải nghiệm và trực giác con người
We're now entering a new era in which AI is almost like a new intellectual species with unique strengths and weaknesses compared to humans. In order to make this powerful AI sustainable and humanistic, we need to teach AI common sense, norms and values.
Chúng ta hiện đang bước vào 1 kỷ nguyên mới tại đó AI như một chủng loài với trí tuệ riêng với những điểm mạnh và điểm yếu độc đáo so với con người. Nhằm tạo ra những AI tối tân ổn định và nhân văn, chúng ta cần dạy cho AI những ý thức, chuẩn mực và giá trị chung.
Thank you.
Cảm ơn mọi người.
(Applause)
(Vỗ tay)
Chris Anderson: Look at that. Yejin, please stay one sec. This is so interesting, this idea of common sense. We obviously all really want this from whatever's coming. But help me understand. Like, so we've had this model of a child learning. How does a child gain common sense apart from the accumulation of more input and some, you know, human feedback? What else is there?
Chris Anderson: Coi kìa. Yejin, xin hãy ở lại một xíu. Điều này thật thú vị, ý tưởng về tri giác này. Chúng tôi rất mong chờ vào những tiến triển sắp tới. Nhưng hãy giải đáp cho tôi xíu nhé. Kiểu, ta có mô hình của một đứa trẻ đang học Vậy thì làm sao để mà đứa trẻ đó có tri giác ngoài việc tích lũy thêm kiến thức bên ngoài và mấy thứ, kiểu như, phản hồi của con người? Còn cách nào nữa không?
Yejin Choi: So fundamentally, there are several things missing, but one of them is, for example, the ability to make hypothesis and make experiments, interact with the world and develop this hypothesis. We abstract away the concepts about how the world works, and then that's how we truly learn, as opposed to today's language model. Some of them is really not there quite yet.
Yejin Choi: Về cơ bản, vẫn còn nhiều thứ bị thiếu nhưng một trong số đó là, ví dụ như, khả năng đưa ra giả thuyết và thực hiện các thí nghiệm, tương tác với thế giới và phát triển cái giả thuyết đó. Chúng ta trừu tượng hóa các khái niệm về cách thế giới vận hành, và đó là cách chúng ta thực sự học, trái ngược với các mô hình ngôn ngữ ngày nay. Vài trong số chúng vẫn chưa hoàn thiện.
CA: You use the analogy that we can’t get to the Moon by extending a building a foot at a time. But the experience that most of us have had of these language models is not a foot at a time. It's like, the sort of, breathtaking acceleration. Are you sure that given the pace at which those things are going, each next level seems to be bringing with it what feels kind of like wisdom and knowledge.
Cô đã ví dụ là ta không thể đi lên Mặt Trăng bằng cách xây thêm tầng cho toà nhà rồi đi lên từng bước một. Nhưng theo trải nghiệm của hầu hết mọi người mô hình ngôn ngữ này không phải là đi lên từng bước một. Nó giống như là một bước đi thần tốc thì đúng hơn. Cô có chắc là với tốc độ phát triển như hiện tại từng bước tiến nhỏ đó đang mang theo những loại hình nhận thức như độ khôn và tri thức
YC: I totally agree that it's remarkable how much this scaling things up really enhances the performance across the board. So there's real learning happening due to the scale of the compute and data.
YC: Tôi phải thừa nhận là việc mở rộng quy mô thực sự làm tăng hiệu suất một cách đáng kể trên tất cả các lĩnh vực. Nên dĩ nhiên việc học hỏi là thật tùy vào quy mô của máy tính và dữ liệu.
However, there's a quality of learning that is still not quite there. And the thing is, we don't yet know whether we can fully get there or not just by scaling things up. And if we cannot, then there's this question of what else? And then even if we could, do we like this idea of having very, very extreme-scale AI models that only a few can create and own?
Tuy nhiên, chất lượng của việc học vẫn thiếu đi 1 số thứ để hoàn thiện. Và vấn đề là, Chúng tôi vẫn chưa biết rằng mình đã đạt tới mức đó hay chưa nếu chỉ bằng cách nhân rộng mọi thứ lên. Và nếu ta không thể, thì câu hỏi “còn cách nào” liệu còn ý nghĩa gì? Và thậm chí nếu chúng ta có thể, liệu chúng ta có thích ý tưởng về 1 mô hình AI quy mô lớn mà chỉ số ít trong đó có thể chế tạo và tự sở hữu hay không?
CA: I mean, if OpenAI said, you know, "We're interested in your work, we would like you to help improve our model," can you see any way of combining what you're doing with what they have built?
CA: Ý tôi là, OpenAI nói thế này, “Chúng tôi bị hấp dẫn bởi việc các bạn làm bọn tôi muốn mọi người giúp cải thiện mô hình của chúng tôi,” Có cách nào kết hợp những gì bạn đang làm với những gì họ đang xây dựng không?
YC: Certainly what I envision will need to build on the advancements of deep neural networks. And it might be that there’s some scale Goldilocks Zone, such that ... I'm not imagining that the smaller is the better either, by the way. It's likely that there's right amount of scale, but beyond that, the winning recipe might be something else. So some synthesis of ideas will be critical here.
YC: Đó cũng là điều tôi đang hình dung ta sẽ xây dựng từ việc tăng cường mạng lưới thần kinh sâu. Và biết đâu lại có một vùng Goldilocks ở đâu đó như nãy đó... Tôi cũng không dám tưởng tượng là nhỏ hơn thì sẽ tốt hơn, kiểu vậy. Có thể việc mở rộng quy mô cũng hợp lí nếu vừa đủ, nhưng bên cạnh đó, nguyên liệu của thành công có thể là một thứ gì đó khác. Vậy nên việc tổng hợp các ý tưởng lại biết đâu có thể tạo sự đột phá thì sao.
CA: Yejin Choi, thank you so much for your talk.
CA: Yejin Choi, cảm ơn rất nhiều vi bài diễn thuyết nhé.
(Applause)
(Vỗ tay)