So I'm excited to share a few spicy thoughts on artificial intelligence. But first, let's get philosophical by starting with this quote by Voltaire, an 18th century Enlightenment philosopher, who said, "Common sense is not so common." Turns out this quote couldn't be more relevant to artificial intelligence today. Despite that, AI is an undeniably powerful tool, beating the world-class "Go" champion, acing college admission tests and even passing the bar exam.
Yapay zeka üzerine birkaç baharatlı düşünceyi paylaşacağım için heyecanlıyım. Ama önce, 18. yüzyıl Aydınlanma filozofu Voltaire’in “Sağduyu o kadar da yaygın değildir” sözüyle başlayarak felsefi bir yaklaşım sergileyelim. Görünüşe göre bu söz bugün yapay zeka için daha uygun olamazdı. Buna rağmen yapay zeka, dünya çapındaki “Go” şampiyonunu yenen, üniversiteye kabul testlerinde başarılı olan ve hatta baro sınavını geçen inkar edilemez derecede güçlü bir araç.
I’m a computer scientist of 20 years, and I work on artificial intelligence. I am here to demystify AI. So AI today is like a Goliath. It is literally very, very large. It is speculated that the recent ones are trained on tens of thousands of GPUs and a trillion words. Such extreme-scale AI models, often referred to as "large language models," appear to demonstrate sparks of AGI, artificial general intelligence. Except when it makes small, silly mistakes, which it often does. Many believe that whatever mistakes AI makes today can be easily fixed with brute force, bigger scale and more resources. What possibly could go wrong?
Ben 20 yıllık bir bilgisayar bilimcisiyim ve yapay zeka üzerine çalışıyorum. Yapay zekanın gizemini çözmek için buradayım. Yapay zeka bugün bir Golyat gibi. Kelimenin tam anlamıyla çok çok büyük. Son zamanlarda on binlerce GPU ve bir trilyon kelime üzerinde eğitildiği tahmin ediliyor. Genellikle “büyük dil modelleri” olarak adlandırılan bu tür aşırı ölçekli YZ modelleri, yapay genel zeka olan AGI’nin kıvılcımlarını gösteriyor gibi görünmektedir. Küçük, aptalca hatalar yaptığı zamanlar hariç, ki sıklıkla yapıyor. Pek çok kişi, yapay zekanın bugün yaptığı hataların kaba kuvvet, daha büyük ölçek ve daha fazla kaynakla kolayca düzeltilebileceğine inanıyor. Ne yanlış gidebilir ki?
So there are three immediate challenges we face already at the societal level. First, extreme-scale AI models are so expensive to train, and only a few tech companies can afford to do so. So we already see the concentration of power. But what's worse for AI safety, we are now at the mercy of those few tech companies because researchers in the larger community do not have the means to truly inspect and dissect these models. And let's not forget their massive carbon footprint and the environmental impact.
Halihazırda toplumsal düzeyde karşımızda olan üç acil zorluk var. Birincisi, devasa-ölçekli YZ modellerini eğitmek çok pahalı ve sadece birkaç teknoloji şirketi bunu karşılayabiliyor. Yani gücün yoğunlaştığını zaten görüyoruz. Ancak bu YZ güvenliği için çok daha kötü, şu anda bu birkaç teknoloji şirketinin insafına kalmış durumdayız çünkü daha geniş topluluktaki araştırmacılar bu modelleri gerçekten inceleyecek araçlara sahip değiller. Ayrıca devasa karbon ayak izlerini ve çevresel etkilerini de unutmayalım.
And then there are these additional intellectual questions. Can AI, without robust common sense, be truly safe for humanity? And is brute-force scale really the only way and even the correct way to teach AI?
Bir de bu ek düşünsel sorular var. Sağlam bir sağduyu olmadan YZ insanlık için gerçekten güvenli olabilir mi? Kaba kuvvet ölçeği gerçekten YZ’yi öğretmenin tek yolu ve hatta doğru yolu mu?
So I’m often asked these days whether it's even feasible to do any meaningful research without extreme-scale compute. And I work at a university and nonprofit research institute, so I cannot afford a massive GPU farm to create enormous language models. Nevertheless, I believe that there's so much we need to do and can do to make AI sustainable and humanistic. We need to make AI smaller, to democratize it. And we need to make AI safer by teaching human norms and values. Perhaps we can draw an analogy from "David and Goliath," here, Goliath being the extreme-scale language models, and seek inspiration from an old-time classic, "The Art of War," which tells us, in my interpretation, know your enemy, choose your battles, and innovate your weapons.
Bu yüzden bugünlerde bana sık sık aşırı ölçekli hesaplama olmadan anlamlı bir araştırma yapmanın mümkün olup olmadığı soruluyor. bir üniversitede ve kar amacı gütmeyen bir araştırma enstitüsünde çalışıyorum, bu nedenle devasa dil modelleri oluşturmak için devasa bir GPU çiftliği kuramam. Bununla birlikte, YZ’yi sürdürülebilir ve insancıl hale getirmek için yapmamız gereken ve yapabileceğimiz çok şey olduğuna inanıyorum. YZ’yi demokratikleştirmek için onu küçültmemiz gerekiyor. İnsani norm ve değerleri öğreterek YZ’yi daha güvenli hale getirmemiz gerekiyor. Belki de burada “Davut ve Golyat “tan bir benzetme yapabiliriz, Golyat devasa-ölçekli dil modelleri, ve eski zaman klasiklerinden “Savaş Sanatı“ndan ilham alabiliriz, benim yorumuma göre bize düşmanını tanı, savaşlarını seç ve silahlarını yenile diyor.
Let's start with the first, know your enemy, which means we need to evaluate AI with scrutiny. AI is passing the bar exam. Does that mean that AI is robust at common sense? You might assume so, but you never know.
İlkiyle başlayalım, düşmanını tanı: bu da YZ’yi dikkatle değerlendirmemiz gerektiği anlamına geliyor. YZ baro sınavını geçiyor. Bu, YZ’nin sağduyu konusunda güçlü olduğu anlamına mı geliyor? Böyle varsayabilirsiniz, ama asla emin olamazsınız.
So suppose I left five clothes to dry out in the sun, and it took them five hours to dry completely. How long would it take to dry 30 clothes? GPT-4, the newest, greatest AI system says 30 hours. Not good. A different one. I have 12-liter jug and six-liter jug, and I want to measure six liters. How do I do it? Just use the six liter jug, right? GPT-4 spits out some very elaborate nonsense.
Diyelim ki beş tane giyeceği güneşte kurumaya bıraktım ve hepsinin tamamen kuruması beş saat aldı. 30 giyeceğin kuruması ne kadar sürer? GPT-4, en yeni ve en iyi yapay zeka sistemi 30 saat diyor. İyi değil. Farklı bir tane. 12 litrelik sürahim ve 6 litrelik sürahim var ve 6 litre ölçmek istiyorum. Nasıl yaparım? Altı litrelik sürahiyi kullanırım, değil mi? GPT-4 çok ayrıntılı bir saçmalık ortaya atıyor.
(Laughter)
(Gülüşmeler)
Step one, fill the six-liter jug, step two, pour the water from six to 12-liter jug, step three, fill the six-liter jug again, step four, very carefully, pour the water from six to 12-liter jug. And finally you have six liters of water in the six-liter jug that should be empty by now.
Birinci adım, altı litrelik sürahiyi doldur, ikinci adım, suyu altılıktan 12-litrelik sürahiye dök, üçüncü adım, altılık sürahiyi yeniden doldur, dördüncü adım, çok dikkatle altılıktan 12-litelik sürahiye suyu dök. Sonunda işte altı litrelik sürahide altı litre suyunuz olur ama tabi şu anda içi boş.
(Laughter)
(Gülüşmeler)
OK, one more. Would I get a flat tire by bicycling over a bridge that is suspended over nails, screws and broken glass? Yes, highly likely, GPT-4 says, presumably because it cannot correctly reason that if a bridge is suspended over the broken nails and broken glass, then the surface of the bridge doesn't touch the sharp objects directly.
Tamam, bir tane daha. Çiviler, vidalar ve kırık camlar üzerinde asılı olan bir köprünün üzerinden bisikletle geçerken lastiğim patlar mı? Evet, büyük olasılıkla, diyor GPT-4, muhtemelen bir köprünün kırık çiviler ve kırık camlar üzerinde asılı olması durumunda köprünün yüzeyinin keskin nesnelere doğrudan temas etmediğini doğru bir şekilde muhakeme edemediği için.
OK, so how would you feel about an AI lawyer that aced the bar exam yet randomly fails at such basic common sense? AI today is unbelievably intelligent and then shockingly stupid.
Peki, baro sınavında başarılı olan ama böylesine temel bir sağduyu konusunda rastgele başarısız olan bir YZ avukatı hakkında ne düşünürsünüz? Günümüzde yapay zeka inanılmaz derecede zeki ve sonra şok edici derecede aptal.
(Laughter)
(Gülüşmeler)
It is an unavoidable side effect of teaching AI through brute-force scale. Some scale optimists might say, “Don’t worry about this. All of these can be easily fixed by adding similar examples as yet more training data for AI." But the real question is this. Why should we even do that? You are able to get the correct answers right away without having to train yourself with similar examples. Children do not even read a trillion words to acquire such a basic level of common sense.
Bu, yapay zekayı kaba kuvvet ölçeğiyle öğretmenin kaçınılmaz bir yan etkisidir. Bazı ölçek iyimserleri şöyle diyebilir: “Bu konuda endişelenmeyin. Tüm bunlar, yapay zeka için daha fazla eğitim verisi olarak benzer örnekler eklenerek kolayca düzeltilebilir.” Ama asıl soru şu. Bunu neden yapalım ki? Benzer örneklerle kendinizi eğitmek zorunda kalmadan da doğru cevapları bulabilirsiniz. Çocuklar böylesine temel bir sağduyu seviyesie ulaşmak için trilyon kelime okumazlar.
So this observation leads us to the next wisdom, choose your battles. So what fundamental questions should we ask right now and tackle today in order to overcome this status quo with extreme-scale AI? I'll say common sense is among the top priorities.
Dolayısıyla bu gözlem bizi bir sonraki bilgeliğe götürüyor: Savaşlarınızı seçin. Peki, bu statükoyu aşırı ölçekli YZ ile aşmak için şu anda hangi temel soruları sormalı ve bugün ele almalıyız? Sağduyunun en önemli öncelikler arasında olduğunu söyleyebilirim.
So common sense has been a long-standing challenge in AI. To explain why, let me draw an analogy to dark matter. So only five percent of the universe is normal matter that you can see and interact with, and the remaining 95 percent is dark matter and dark energy. Dark matter is completely invisible, but scientists speculate that it's there because it influences the visible world, even including the trajectory of light. So for language, the normal matter is the visible text, and the dark matter is the unspoken rules about how the world works, including naive physics and folk psychology, which influence the way people use and interpret language.
Yani sağduyu, YZ’de uzun süredir devam eden bir zorluk. Nedenini açıklamak için size karanlık madde ile bir benzetme yapayım. Evrenin sadece yüzde beşi görebildiğiniz ve etkileşime girebildiğiniz normal madde, geri kalan yüzde 95′i ise karanlık madde ve karanlık enerjidir. Karanlık madde tamamen görünmezdir, ancak bilim insanları ışığın yörüngesi de dahil olmak üzere görünür dünyayı etkilediği için orada olduğunu tahmin etmektedir. Dolayısıyla dil için, normal madde görünür metinlerdir, karanlık maddeyse insanların dili kullanma ve yorumlama biçimlerini etkileyen fizik ve halk psikolojisi de dahil olmak üzere dünyanın nasıl işlediğine dair söylenmemiş kurallardır.
So why is this common sense even important? Well, in a famous thought experiment proposed by Nick Bostrom, AI was asked to produce and maximize the paper clips. And that AI decided to kill humans to utilize them as additional resources, to turn you into paper clips. Because AI didn't have the basic human understanding about human values. Now, writing a better objective and equation that explicitly states: “Do not kill humans” will not work either because AI might go ahead and kill all the trees, thinking that's a perfectly OK thing to do. And in fact, there are endless other things that AI obviously shouldn’t do while maximizing paper clips, including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,” which are all part of our common sense understanding about how the world works.
Peki bu aklıselim neden bu kadar önemli? Nick Bostrom tarafından önerilen ünlü bir düşünce deneyinde, yapay zekadan ataçları üretmesi ve maksimize etmesi istenmiştir. Bu yapay zeka, insanları ek kaynak olarak kullanmak için öldürmeye karar verdi, sizi ataçlara dönüştürmek için. Çünkü yapay zeka, insani değerlere ilişkin temel insani anlayışa sahip değildi. Şimdi, böyle açıkça ve net bir şekilde “İnsanları öldürme” gibi bir ifade yazmak da işe yaramayacaktır çünkü yapay zeka devam edip tüm ağaçları öldürebilir ve bunun gayet normal bir şey olduğunu düşünebilir. Aslında, YZ’nin ataçları maksimize ederken açıkça yapmaması gereken sayısız başka şey var: “Sahte haberleri yayma”, “Çalma”, “Yalan söyleme”, hepsi dünyanın nasıl işlediğine dair sağduyulu anlayışımızın parçasıdır.
However, the AI field for decades has considered common sense as a nearly impossible challenge. So much so that when my students and colleagues and I started working on it several years ago, we were very much discouraged. We’ve been told that it’s a research topic of ’70s and ’80s; shouldn’t work on it because it will never work; in fact, don't even say the word to be taken seriously. Now fast forward to this year, I’m hearing: “Don’t work on it because ChatGPT has almost solved it.” And: “Just scale things up and magic will arise, and nothing else matters.”
Bununla birlikte, yapay zeka alanı on yıllardır sağduyuyu neredeyse imkansız bir zorluk olarak görmüştür. Öyle ki birkaç yıl önce öğrencilerim ve meslektaşlarımla birlikte bu konu üzerinde çalışmaya başladığımızda cesaretimiz çok kırılmıştı. Bize bunun 70 ve 80′lerin araştırma konusu olduğu, üzerinde çalışmamamız gerektiğini çünkü asla işe yaramayacağını, hatta ciddiye alınmak için bu kelimeyi telaffuz bile etmememizi söylediler. Şimdi hızlıca bu yıla geliyoruz ve duyuyorum ki: “Bunun üzerinde çalışmayın çünkü ChatGPT bunu neredeyse çözdü.” “Sadece ölçeği büyütün, sihir ortaya çıkacak ve başka hiçbir şeyin önemi kalmayacak.“
So my position is that giving true common sense human-like robots common sense to AI, is still moonshot. And you don’t reach to the Moon by making the tallest building in the world one inch taller at a time. Extreme-scale AI models do acquire an ever-more increasing amount of commonsense knowledge, I'll give you that. But remember, they still stumble on such trivial problems that even children can do.
Bu yüzden benim görüşüm, yapay zekaya gerçek anlamda sağduyulu insan benzeri robotlar vermenin hala bir hayal olduğu yönünde. Dünyanın en yüksek binasını her seferinde bir santim daha uzatarak Ay’a ulaşamazsınız. Aşırı ölçekli yapay zeka modelleri, giderek artan miktarda sağduyulu bilgi ediniyor, bu cepte. Ama unutmayın, hala çocukların bile çözebileceği kadar önemsiz problemlerde tökezliyorlar.
So AI today is awfully inefficient. And what if there is an alternative path or path yet to be found? A path that can build on the advancements of the deep neural networks, but without going so extreme with the scale.
Yani bugün yapay zeka son derece verimsiz. Peki ya alternatif ya da henüz bulunmamış bir yol varsa? Derin sinir ağlarındaki gelişmeler üzerine inşa edilebilecek, ancak ölçekte bu kadar aşırıya kaçmayacak bir yol.
So this leads us to our final wisdom: innovate your weapons. In the modern-day AI context, that means innovate your data and algorithms. OK, so there are, roughly speaking, three types of data that modern AI is trained on: raw web data, crafted examples custom developed for AI training, and then human judgments, also known as human feedback on AI performance. If the AI is only trained on the first type, raw web data, which is freely available, it's not good because this data is loaded with racism and sexism and misinformation. So no matter how much of it you use, garbage in and garbage out. So the newest, greatest AI systems are now powered with the second and third types of data that are crafted and judged by human workers. It's analogous to writing specialized textbooks for AI to study from and then hiring human tutors to give constant feedback to AI. These are proprietary data, by and large, speculated to cost tens of millions of dollars. We don't know what's in this, but it should be open and publicly available so that we can inspect and ensure [it supports] diverse norms and values. So for this reason, my teams at UW and AI2 have been working on commonsense knowledge graphs as well as moral norm repositories to teach AI basic commonsense norms and morals. Our data is fully open so that anybody can inspect the content and make corrections as needed because transparency is the key for such an important research topic.
Bu da bizi son bilgeliğimize götürüyor: silahlarınızı yenileyin. Günümüz YZ bağlamında bu, verilerinizi ve algoritmalarınızı yenilemek anlamına geliyor. Modern YZ’nin üzerinde eğitildiği kabaca üç tür veri vardır: ham web verileri, YZ eğitimi için özel olarak geliştirilmiş örnekler, ve daha sonra YZ performansıyla ilgili insan geri bildirimi olarak da bilinen insan yargıları. Eğer YZ sadece ilk tür olan ve serbestçe erişilebilen ham web verisi üzerinde eğitilirse, iyi olmaz çünkü bu veriler ırkçılık, cinsiyetçilik ve yanlış bilgilerle dolu. Yani ne kadarını kullanırsanız kullanın, çöp girer çöp çıkar. Dolayısıyla en yeni ve en büyük YZ sistemleri artık insan çalışanlar tarafından hazırlanan ve değerlendirilen ikinci ve üçüncü tür verilerle güçlendiriliyor. Bu, yapay zekanın çalışması için özel ders kitapları yazmaya ve ardından YZ’ye sürekli geri bildirimde bulunmaları için öğretmenler tutmaya benziyor. Bunlar, büyük ölçüde on milyonlarca dolara mal olduğu tahmin edilen özel verilerdir. Bunların içinde ne olduğunu bilmiyoruz, ancak farklı norm ve değerleri denetleyebilmemiz ve bunları desteklediğinden emin olabilmemiz için kamuya açık olmalıdır. Bu nedenle, UW ve AI2′deki ekiplerim yapay zekaya temel sağduyu normlarını ve ahlak kurallarını öğretmek için sağduyu bilgi grafikleri ve ahlaki norm havuzları üzerinde çalışıyorlar. Verilerimiz tamamen açıktır, böylece herkes içeriği inceleyebilir ve gerektiğinde düzeltmeler yapabilir çünkü şeffaflık böylesine önemli bir araştırma konusunun anahtarıdır.
Now let's think about learning algorithms. No matter how amazing large language models are, by design they may not be the best suited to serve as reliable knowledge models. And these language models do acquire a vast amount of knowledge, but they do so as a byproduct as opposed to direct learning objective. Resulting in unwanted side effects such as hallucinated effects and lack of common sense. Now, in contrast, human learning is never about predicting which word comes next, but it's really about making sense of the world and learning how the world works. Maybe AI should be taught that way as well.
Şimdi öğrenme algoritmaları hakkında biraz düşünelim. Büyük dil modelleri ne kadar şaşırtıcı olursa olsun, tasarımları gereği güvenilir bilgi modelleri olarak hizmet vermek için en uygun olmayabilirler. Bu dil modelleri büyük miktarda bilgi edinirler, ancak bunu doğrudan öğrenme amacının aksine bir yan ürün olarak yaparlar. Halüsinasyon etkileri ve sağduyu eksikliği gibi istenmeyen yan etkilere neden olur. Bunun aksine, insan öğrenmesi hiçbir zaman bir sonraki kelimenin ne olacağını tahmin etmekle ilgili değildir, aksine dünyayı anlamlandırmak ve nasıl işlediğini öğrenmekle ilgilidir. Belki yapay zeka da bu şekilde öğretilmelidir.
So as a quest toward more direct commonsense knowledge acquisition, my team has been investigating potential new algorithms, including symbolic knowledge distillation that can take a very large language model as shown here that I couldn't fit into the screen because it's too large, and crunch that down to much smaller commonsense models using deep neural networks. And in doing so, we also generate, algorithmically, human-inspectable, symbolic, commonsense knowledge representation, so that people can inspect and make corrections and even use it to train other neural commonsense models.
Bu nedenle, daha doğrudan sağduyulu bilgi edinmeye yönelik bir arayış olarak ekibim, burada gösterildiği gibi çok büyük olduğu için ekrana sığdıramadığım çok büyük bir dil modelini alabilen ve bunu derin sinir ağları kullanarak çok daha küçük sağduyulu modellere indirgeyebilen sembolik bilgi damıtma da dahil olmak üzere potansiyel yeni algoritmaları araştırıyor. Bunu yaparken de algoritmik olarak insan tarafından incelenebilir, sembolik, sağduyulu bilgi temsili üretiyoruz, böylece insanlar bunu inceleyip düzeltmeler yapabiliyor ve hatta diğer nöral sağduyulu modelleri eğitmek için kullanabiliyor.
More broadly, we have been tackling this seemingly impossible giant puzzle of common sense, ranging from physical, social and visual common sense to theory of minds, norms and morals. Each individual piece may seem quirky and incomplete, but when you step back, it's almost as if these pieces weave together into a tapestry that we call human experience and common sense.
Daha geniş anlamda, fiziksel, sosyal ve görsel sağduyudan zihin teorisi, normlar ve ahlaka kadar uzanan, imkansız gibi görünen bu dev sağduyu yapbozunu ele alıyoruz. Her bir parça tuhaf ve eksik görünebilir, ancak bir adım geri gittiğinizde, bu parçalar sanki insan deneyimi ve sağduyu dediğimiz bir kilim gibi birbirine örülüyor.
We're now entering a new era in which AI is almost like a new intellectual species with unique strengths and weaknesses compared to humans. In order to make this powerful AI sustainable and humanistic, we need to teach AI common sense, norms and values.
Artık YZ’nin neredeyse insanlara kıyasla benzersiz güçlü ve zayıf yönleri olan yeni bir entelektüel tür olduğu yeni bir döneme giriyoruz. Bu güçlü yapay zekayı sürdürülebilir ve insancıl kılmak için yapay zekaya sağduyu, normlar ve değerler öğretmemiz gerekiyor.
Thank you.
Teşekkür ederim.
(Applause)
(Alkışlar)
Chris Anderson: Look at that. Yejin, please stay one sec. This is so interesting, this idea of common sense. We obviously all really want this from whatever's coming. But help me understand. Like, so we've had this model of a child learning. How does a child gain common sense apart from the accumulation of more input and some, you know, human feedback? What else is there?
Chris Anderson: Şuna bak. Yejin, lütfen bir saniye bekle. Bu çok ilginç, bu sağduyu fikri. Belli ki hepimiz gelecek olan şeyden bunu gerçekten istiyoruz. Ama anlamama yardım edin. Öğrenen bir çocuk modelimiz var. Bir çocuk daha fazla girdi birikimi ve bazı insan geri bildirimleri dışında nasıl sağduyu kazanır? Başka ne var?
Yejin Choi: So fundamentally, there are several things missing, but one of them is, for example, the ability to make hypothesis and make experiments, interact with the world and develop this hypothesis. We abstract away the concepts about how the world works, and then that's how we truly learn, as opposed to today's language model. Some of them is really not there quite yet.
Yejin Choi: Temelde eksik olan birkaç şey var ama bunlardan biri örneğin hipotez kurma ve deney yapma, dünyayla etkileşime girme ve bu hipotezi geliştirme becerisi. Dünyanın nasıl işlediğine dair kavramları soyutlarız ve günümüzün dil modelinin aksine gerçek anlamda bu şekilde öğreniriz. Bazıları gerçekten henüz o noktada değil.
CA: You use the analogy that we can’t get to the Moon by extending a building a foot at a time. But the experience that most of us have had of these language models is not a foot at a time. It's like, the sort of, breathtaking acceleration. Are you sure that given the pace at which those things are going, each next level seems to be bringing with it what feels kind of like wisdom and knowledge.
CA: Bir binayı her seferinde bir adım uzatarak Ay’a gidemeyeceğimiz benzetmesini kullanıyorsunuz. Ancak çoğumuzun bu dil modellerine ilişkin deneyimi bir seferde bir ayak değil. Sanki nefes kesici bir hızlanma gibi. Bu şeylerin ilerleme hızı göz önüne alındığında, her bir sonraki seviyenin beraberinde bilgelik ve bilgi gibi hissettiren şeyleri getirdiğinden emin misiniz?
YC: I totally agree that it's remarkable how much this scaling things up really enhances the performance across the board. So there's real learning happening due to the scale of the compute and data.
YC: Ölçeklendirmenin her alanda performansı gerçekten ne kadar artırdığının dikkate değer olduğuna kesinlikle katılıyorum. Yani hesaplama ve veri ölçeği nedeniyle gerçek bir öğrenme gerçekleşiyor.
However, there's a quality of learning that is still not quite there. And the thing is, we don't yet know whether we can fully get there or not just by scaling things up. And if we cannot, then there's this question of what else? And then even if we could, do we like this idea of having very, very extreme-scale AI models that only a few can create and own?
Ancak, hala tam olarak ulaşılamamış bir öğrenme kalitesi var. Ve mesele şu ki, sadece işleri ölçeklendirerek oraya tam olarak ulaşıp ulaşamayacağımızı henüz bilmiyoruz. Eğer yapamazsak, o zaman başka ne yapabiliriz sorusu ortaya çıkıyor. Bunu yapabilsek bile, sadece birkaç kişinin yaratabileceği ve sahip olabileceği çok çok uç ölçekli yapay zeka modellerine sahip olma fikrini seviyor muyuz?
CA: I mean, if OpenAI said, you know, "We're interested in your work, we would like you to help improve our model," can you see any way of combining what you're doing with what they have built?
CA: Demek istediğim, eğer OpenAI “Çalışmalarınızla ilgileniyoruz, modelimizi geliştirmemize yardımcı olmanızı istiyoruz” derse, yaptığınız şeyi onların yaptıklarıyla birleştirmenin bir yolunu görebiliyor musunuz?
YC: Certainly what I envision will need to build on the advancements of deep neural networks. And it might be that there’s some scale Goldilocks Zone, such that ... I'm not imagining that the smaller is the better either, by the way. It's likely that there's right amount of scale, but beyond that, the winning recipe might be something else. So some synthesis of ideas will be critical here.
YC: Kesinlikle öngördüğüm şey, derin sinir ağlarındaki ilerlemelerin üzerine inşa edilmeli. Belki de bazı ölçeklerde Goldilocks Bölgesi olabilir, öyle ki ... Bu arada ne kadar küçük olursa o kadar iyi olur diye de düşünmüyorum. Doğru miktarda ölçek olması muhtemeldir, ancak bunun ötesinde, kazanan tarif başka bir şey olabilir. Dolayısıyla burada bazı fikirlerin sentezi kritik önem taşıyacaktır.
CA: Yejin Choi, thank you so much for your talk.
CA: Yejin Choi, konuşmanız için çok teşekkür ederim.
(Applause)
(Alkışlar)