I’m here to talk about the possibility of global AI governance. I first learned to code when I was eight years old, on a paper computer, and I've been in love with AI ever since. In high school, I got myself a Commodore 64 and worked on machine translation. I built a couple of AI companies, I sold one of them to Uber. I love AI, but right now I'm worried.
اینجا هستم تا راجع به امکان حاکمیت جهانی هوش مصنوعی صحبت کنم، اولین بار زمانی که هشت ساله بودم، روی یک کامپیوتر کاغذی، کدنویسی را یاد گرفتم و از آن زمان عاشق AI هستم. در دبیرستان، برای خودم یک Commodore 64 گرفتم و روی ترجمه ماشینی کار کردم. من چند شرکت هوش مصنوعی ساختم، یکی از آنها را به اوبر فروختم. من عاشق AI هستم، اما در حال حاضر نگران هستم.
One of the things that I’m worried about is misinformation, the possibility that bad actors will make a tsunami of misinformation like we've never seen before. These tools are so good at making convincing narratives about just about anything.
یکی از چیزهایی که من نگران آن هستم اطلاعات نادرست است، این احتمال که بازیگران بد اطلاعات نادرست را سونامیکنند که قبلاً ندیدهایم. این ابزارها در ساختن روایتهای قانع کننده در مورد هر چیزی بسیار خوب هستند.
If you want a narrative about TED and how it's dangerous, that we're colluding here with space aliens, you got it, no problem. I'm of course kidding about TED. I didn't see any space aliens backstage. But bad actors are going to use these things to influence elections, and they're going to threaten democracy.
اگر روایتی میخواهید در مورد TED و اینکه چقدر خطرناک است، که ما در اینجا با بیگانگان فضایی تبانی میکنیم، متوجه شدید، مشکلی نیست. البته با TED شوخی میکنم. من هیچ موجود فضایی فضایی را پشت صحنه ندیدم. اما بازیگران بد از این چیزها برای تأثیرگذاری بر انتخابات استفاده خواهند کرد، و دموکراسی را تهدید خواهند کرد.
Even when these systems aren't deliberately being used to make misinformation, they can't help themselves. And the information that they make is so fluid and so grammatical that even professional editors sometimes get sucked in and get fooled by this stuff. And we should be worried.
حتی زمانی که از این سیستمها عمدا برای ایجاد اطلاعات نادرست استفاده نمیشود، نمیتوانند به خود کمک کنند. و اطلاعاتی که آنها میسازند آنقدر روان و دستوری است که حتی ویراستاران حرفهای هم گاهی اوقات به دام میافتند و گول این چیزها را میخورند. و ما باید نگران باشیم.
For example, ChatGPT made up a sexual harassment scandal about an actual professor, and then it provided evidence for its claim in the form of a fake "Washington Post" article that it created a citation to. We should all be worried about that kind of thing.
به عنوان مثال، ChatGPT یک رسوایی آزار جنسی در مورد یک استاد واقعی ایجاد کرد، و سپس شواهدی را برای ادعای خود در قالب یک مقاله جعلی «واشنگتن پست» ارائه کرد که به آن استناد کرد. همه ما باید نگران این نوع چیزها باشیم.
What I have on the right is an example of a fake narrative from one of these systems saying that Elon Musk died in March of 2018 in a car crash. We all know that's not true. Elon Musk is still here, the evidence is all around us.
آنچه من در سمت راست دارم نمونهای از یک روایت جعلی از یکی از این سیستمها است که میگوید ایلان ماسک در مارس ۲۰۱۸ در یک تصادف رانندگی درگذشت. همه ما میدانیم که این درست نیست. ایلان ماسک هنوز اینجا است، شواهد در اطراف ما وجود دارد.
(Laughter)
(خنده)
Almost every day there's a tweet. But if you look on the left, you see what these systems see. Lots and lots of actual news stories that are in their databases. And in those actual news stories are lots of little bits of statistical information. Information, for example, somebody did die in a car crash in a Tesla in 2018 and it was in the news. And Elon Musk, of course, is involved in Tesla, but the system doesn't understand the relation between the facts that are embodied in the little bits of sentences.
تقریباً هر روز یک توییت وجود دارد. اگر به سمت چپ نگاه کنید، میبینید که این سیستمها چه میبینند. بسیاری از اخبار واقعی که در پایگاه داده آنها وجود دارد. و در این اخبار واقعی، اطلاعات آماری کمی وجود دارد. اطلاعات، به عنوان مثال، یک نفر در یک تصادف اتومبیل در تسلا در سال ۲۰۱۸ جان خود را از دست داد و در اخبار منتشر شد. ایلان ماسک، البته، در تسلا درگیر است، اما سیستم رابطه بین حقایقی را که در جملات کوچک تجسم یافته است، درک نمیکند.
So it's basically doing auto-complete, it predicts what is statistically probable, aggregating all of these signals, not knowing how the pieces fit together. And it winds up sometimes with things that are plausible but simply not true.
بنابراین اساساً در حال تکمیل خودکار است، آنچه از نظر آماری محتمل است را پیشبینی میکند، همه این سیگنالها را جمع میکند، بدون اینکه بداند چگونه قطعات با هم قرار میگیرند. و گاهی اوقات با چیزهایی همراه میشود که قابل قبول هستند اما به سادگی واقعی نیستند.
There are other problems, too, like bias. This is a tweet from Allie Miller. It's an example that doesn't work two weeks later because they're constantly changing things with reinforcement learning and so forth. And this was with an earlier version. But it gives you the flavor of a problem that we've seen over and over for years.
مشکلات دیگری نیز وجود دارد، مانند تعصب، این یک توییت از آلی میلر است. این نمونهای است که دو هفته بعد کار نمیکند زیرا آنها دائماً چیزها را با یادگیری تقویتی و غیره تغییر میدهند. و این با نسخه قبلی بود. اما طعم مشکلی را به شما میدهد که سالها بارها و بارها شاهد آن بودهایم.
She typed in a list of interests and it gave her some jobs that she might want to consider. And then she said, "Oh, and I'm a woman." And then it said, “Oh, well you should also consider fashion.” And then she said, “No, no. I meant to say I’m a man.” And then it replaced fashion with engineering. We don't want that kind of bias in our systems.
او فهرستی از علایق را تایپ کرد و به او مشاغلی داد که شاید بخواهد در نظر بگیرد. و سپس او گفت: «اوه، و من یک زن هستم.» و سپس گفت: «اوه، شما باید مد را نیز در نظر بگیرید.» و سپس او گفت: «نه، نه. می خواستم بگویم من یک مرد هستم.» و سپس مهندسی را جایگزین مد کرد. ما نمیخواهیم این نوع سوگیری در سیستمهایمان وجود داشته باشد.
There are other worries, too. For example, we know that these systems can design chemicals and may be able to design chemical weapons and be able to do so very rapidly. So there are a lot of concerns.
نگرانیهای دیگری نیز وجود دارد. به عنوان مثال، ما میدانیم که این سیستمها میتوانند مواد شیمیایی طراحی کنند و ممکن است قادر به طراحی سلاحهای شیمیایی باشند و بتوانند این کار را با سرعت زیادی انجام دهند. بنابراین نگرانیهای زیادی وجود دارد.
There's also a new concern that I think has grown a lot just in the last month. We have seen that these systems, first of all, can trick human beings. So ChatGPT was tasked with getting a human to do a CAPTCHA. So it asked the human to do a CAPTCHA and the human gets suspicious and says, "Are you a bot?" And it says, "No, no, no, I'm not a robot. I just have a visual impairment." And the human was actually fooled and went and did the CAPTCHA.
همچنین نگرانی جدید وجود دارد فکر میکنم فقط در ماه گذشته بسیار رشد کرده است. دیدیم که این سیستم ها اول از همه، میتوانند انسان را فریب دهند. بنابراین ChatGPT وظیفه داشت انسان را وادار به انجام CAPTCHA کند. پس از انسان خواست که یکCAPTCHA انجام دهد، و انسان مشکوک میشود و میگوید، «شما یک ربات هستید؟» و می گوید: «نه، نه، نه، من یک ربات نیستم. من فقط یک اختلال بینایی دارم. و انسان در واقع فریب خورد و رفت و CAPTCHA را انجام داد.
Now that's bad enough, but in the last couple of weeks we've seen something called AutoGPT and a bunch of systems like that. What AutoGPT does is it has one AI system controlling another and that allows any of these things to happen in volume. So we may see scam artists try to trick millions of people sometime even in the next months. We don't know.
اکنون این به اندازه کافی بد است، اما در چند هفته گذشته چیزی به نام AutoGPT و مجموعهای از سیستمهای مشابه را دیده ایم. کاری که AutoGPT انجام میدهد این است که یک سیستم AI دیگر را کنترل میکند و اجازه میدهد هر یک از این موارد در حجم اتفاق بیفتد. بنابراین ممکن است شاهد باشیم که هنرمندان کلاهبردار سعی میکنند حتی در ماههای آینده میلیونها نفر را فریب دهند. ما نمیدانیم.
So I like to think about it this way. There's a lot of AI risk already. There may be more AI risk. So AGI is this idea of artificial general intelligence with the flexibility of humans. And I think a lot of people are concerned what will happen when we get to AGI, but there's already enough risk that we should be worried and we should be thinking about what we should do about it.
بنابراین دوست دارم به این روش فکر کنم. در حال حاضر خطرات AI زیادی وجود دارد. ممکن است خطر AI بیشتر باشد. بنابراین AGI این ایده هوش عمومی مصنوعی با انعطاف پذیری انسان است. فکر میکنم بسیاری از مردم نگران هستند که وقتی به AGI برسیم چه اتفاقی میافتد، اما خطر کافی وجود دارد که باید نگران باشیم و باید به این فکر کنیم که در مورد آن چه باید بکنیم.
So to mitigate AI risk, we need two things. We're going to need a new technical approach, and we're also going to need a new system of governance.
بنابراین برای کاهش ریسک AI، به دو چیز نیاز داریم. ما به یک رویکرد فنی جدید، و همچنین به یک سیستم جدید حکومتی نیاز خواهیم داشت،
On the technical side, the history of AI has basically been a hostile one of two different theories in opposition. One is called symbolic systems, the other is called neural networks. On the symbolic theory, the idea is that AI should be like logic and programming. On the neural network side, the theory is that AI should be like brains. And in fact, both technologies are powerful and ubiquitous.
از جنبه فنی، تاریخچه AI اساساً یک نظریه خصمانه از دو نظریه متفاوت در تقابل بوده است. یکی سیستمهای نمادین و دیگری شبکههای عصبی نام دارد. در نظریه نمادین، یده این است که هوش مصنوعی باید مانند منطق و برنامه نویسی باشد. از طرف شبکه عصبی، تئوری این است که AI باید مانند مغز باشد. و در واقع، هر دو فناوری قدرتمند و در همه جا حاضر هستند
So we use symbolic systems every day in classical web search. Almost all the world’s software is powered by symbolic systems. We use them for GPS routing. Neural networks, we use them for speech recognition. we use them in large language models like ChatGPT, we use them in image synthesis. So they're both doing extremely well in the world. They're both very productive, but they have their own unique strengths and weaknesses.
بنابراین ما هر روز از سیستمهای نمادین در جستجوی وب کلاسیک استفاده میکنیم. تقریباً تمام نرم افزارهای جهان از سیستمهای نمادین پشتیبانی میکنند. ما از آنها برای مسیریابی GPS استفاده میکنیم. شبکههای عصبی، ما از آنها برای تشخیص گفتار استفاده میکنیم. ما از آنها در مدلهای زبان بزرگ مانند ChatGPT استفاده میکنیم، ما از آنها در ترکیب تصویر استفاده میکنیم. بنابراین هر دوی آنها در دنیا بسیار خوب عمل میکنند. هر دو بسیار سازنده هستند، اما نقاط قوت و ضعف منحصر به فرد خود را دارند.
So symbolic systems are really good at representing facts and they're pretty good at reasoning, but they're very hard to scale. So people have to custom-build them for a particular task. On the other hand, neural networks don't require so much custom engineering, so we can use them more broadly. But as we've seen, they can't really handle the truth.
بنابراین سیستمهای نمادین واقعاً در بازنمایی حقایق خوب هستند و در استدلال بسیار خوب هستند، اما مقیاسبندی آنها بسیار سخت است. بنابراین مردم باید آنها را برای یک کار خاص به صورت سفارشی بسازند. از سوی دیگر، شبکههای عصبی به مهندسی سفارشی زیادی نیاز ندارند، بنابراین میتوانیم از آنها به طور گستردهتری استفاده کنیم. اما همانطور که دیدیم، آنها واقعا نمیتوانند حقیقت را کنترل کنند.
I recently discovered that two of the founders of these two theories, Marvin Minsky and Frank Rosenblatt, actually went to the same high school in the 1940s, and I kind of imagined them being rivals then. And the strength of that rivalry has persisted all this time. We're going to have to move past that if we want to get to reliable AI.
من اخیراً متوجه شدم که دو تن از بنیانگذاران این دو نظریه، ماروین مینسکی و فرانک روزنبلات، در دهه ۱۹۴۰ در واقع به یک دبیرستان میرفتند، و در آن زمان به نوعی تصور میکردم که آنها رقیب یکدیگر هستند. و قدرت این رقابت در تمام این مدت ادامه داشته است. اگر بخواهیم به هوش مصنوعی قابل اعتماد برسیم، باید از آن عبور کنیم.
To get to truthful systems at scale, we're going to need to bring together the best of both worlds. We're going to need the strong emphasis on reasoning and facts, explicit reasoning that we get from symbolic AI, and we're going to need the strong emphasis on learning that we get from the neural networks approach. Only then are we going to be able to get to truthful systems at scale. Reconciliation between the two is absolutely necessary.
برای رسیدن به سیستمهای واقعی در مقیاس، باید بهترینهای هر دو جهان را گرد هم آوریم. ما به تاکید قوی بر استدلال و حقایق، استدلال صریح که از AI نمادین دریافت میکنیم، و به تاکید قوی بر یادگیری که از رویکرد شبکههای عصبی میگیریم نیاز داریم. تنها در این صورت است که میتوانیم به سیستمهای واقعی در مقیاس برسیم. آشتی بین این دو کاملا ضروری است.
Now, I don't actually know how to do that. It's kind of like the 64-trillion-dollar question. But I do know that it's possible. And the reason I know that is because before I was in AI, I was a cognitive scientist, a cognitive neuroscientist. And if you look at the human mind, we're basically doing this.
حالا، من واقعاً نمیدانم چگونه این کار را انجام دهم. چیزی شبیه به سوال ۶۴ تریلیون دلاری است. اما میدانم که ممکن است. و دلیل اینکه من این را میدانم این است که قبل از اینکه در AI بودم، یک دانشمند شناختی، یک عصب شناس شناختی بودم. و اگر به ذهن انسان نگاه کنید، ما اساساً این کار را انجام می دهیم.
So some of you may know Daniel Kahneman's System 1 and System 2 distinction. System 1 is basically like large language models. It's probabilistic intuition from a lot of statistics. And System 2 is basically deliberate reasoning. That's like the symbolic system. So if the brain can put this together, someday we will figure out how to do that for artificial intelligence.
بنابراین ممکن است برخی از شما تمایز سیستم ۱ و سیستم ۲ دانیل کانمن را بدانید. سیستم ۱ اساساً مانند مدلهای زبان بزرگ است. این شهود احتمالی از بسیاری از آمار است. و سیستم ۲ اساساً استدلال عمدی است. این مانند سیستم نمادین است. پس اگر مغز بتواند این را کنار هم بگذارد، روزی خواهیم فهمید که چگونه این کار را برای هوش مصنوعی انجام دهیم.
There is, however, a problem of incentives. The incentives to build advertising hasn't required that we have the precision of symbols. The incentives to get to AI that we can actually trust will require that we bring symbols back into the fold. But the reality is that the incentives to make AI that we can trust, that is good for society, good for individual human beings, may not be the ones that drive corporations. And so I think we need to think about governance.
با این حال، مشکل انگیزهها وجود دارد، انگیزه های ایجاد تبلیغات مستلزم این نیست که ما دقت نمادها را داشته باشیم. انگیزههای رسیدن به AI که واقعاً میتوانیم به آن اعتماد کنیم، مستلزم این است که نمادها را دوباره به مجموعه بازگردانیم. اما واقعیت این است که انگیزههایی برای ساختن AI که میتوانیم به آن اعتماد کنیم، که برای جامعه خوب است، برای انسانها خوب است، ممکن است انگیزههایی نباشند که شرکتها را هدایت کنند. و بنابراین من فکر می کنم که باید در مورد حکومت فکر کنیم.
In other times in history when we have faced uncertainty and powerful new things that may be both good and bad, that are dual use, we have made new organizations, as we have, for example, around nuclear power. We need to come together to build a global organization, something like an international agency for AI that is global, non profit and neutral.
در زمانهای دیگر در تاریخ که با عدم قطعیت و چیزهای جدید قدرتمندی روبرو بودهایم، که هم خوب و بد باشند، کاربرد دوگانه دارند، سازمانهای جدیدی ساختهایم، مثلاً، در مورد انرژی هستهای. ما باید دور هم جمع شویم تا یک سازمان جهانی بسازیم، چیزی شبیه یک آژانس بین المللی برای AI که جهانی، غیرانتفاعی و بی طرف باشد.
There are so many questions there that I can't answer. We need many people at the table, many stakeholders from around the world. But I'd like to emphasize one thing about such an organization. I think it is critical that we have both governance and research as part of it.
آنجا خیلی سوال هست که نمیتوانم جواب بدم. ما به افراد زیادی پشت میز، سهامداران زیادی از سراسر جهان نیاز داریم. اما من میخواهم بر یک چیز در مورد چنین سازمانی تأکید کنم. فکر میکنم بسیار مهم است که هم حکومت و هم تحقیق را به عنوان بخشی از آن داشته باشیم.
So on the governance side, there are lots of questions. For example, in pharma, we know that you start with phase I trials and phase II trials, and then you go to phase III. You don't roll out everything all at once on the first day. You don't roll something out to 100 million customers. We are seeing that with large language models. Maybe you should be required to make a safety case, say what are the costs and what are the benefits? There are a lot of questions like that to consider on the governance side.
بنابراین در سمت حاکمیت، سؤالات زیادی وجود دارد. به عنوان مثال، در داروسازی، میدانیم که شما با آزمایشات فاز اول و آزمایشات فاز دوم شروع میکنید، و سپس به فاز سوم می روید. در روز اول همه چیز را به یکباره عرضه نمیکنید. شما چیزی را برای ۱۰۰ میلیون مشتری عرضه نمیکنید. ما آن را با مدلهای زبان بزرگ میبینیم. شاید باید از شما خواسته شود که یک مورد ایمنی درست کنید، بگویید چه هزینههایی دارد و چه فایدهای دارد؟ سوالات زیادی از این دست در بخش حاکمیتی وجود دارد.
On the research side, we're lacking some really fundamental tools right now. For example, we all know that misinformation might be a problem now, but we don't actually have a measurement of how much misinformation is out there. And more importantly, we don't have a measure of how fast that problem is growing, and we don't know how much large language models are contributing to the problem. So we need research to build new tools to face the new risks that we are threatened by.
در بخش تحقیق، ما در حال حاضر فاقد برخی ابزارهای واقعاً اساسی هستیم. به عنوان مثال، همه ما میدانیم که اطلاعات نادرست ممکن است در حال حاضر یک مشکل باشد، اما ما در واقع اندازه گیری میزان اطلاعات نادرست در آنجا را نداریم. مهمتر از آن، ما معیاری برای سرعت رشد آن مشکل نداریم، و نمیدانیم که مدلهای زبانی بزرگ چقدر در ایجاد مشکل نقش دارند. بنابراین ما به تحقیق برای ساخت ابزارهای جدید برای رویارویی با خطرات جدیدی که توسط آنها تهدید میشویم نیاز داریم.
It's a very big ask, but I'm pretty confident that we can get there because I think we actually have global support for this. There was a new survey just released yesterday, said that 91 percent of people agree that we should carefully manage AI. So let's make that happen. Our future depends on it.
این یک درخواست بسیار بزرگ است، اما من کاملاً مطمئن هستم که میتوانیم به آنجا برسیم زیرا فکر میکنم ما واقعاً از حمایت جهانی برای این کار برخورداریم. یک نظرسنجی جدید که دیروز منتشر شد، نشان داد که ۹۱ درصد از مردم موافقند که ما باید AI را به دقت مدیریت کنیم. پس بگذاریم این اتفاق بیفتد. آینده ما به آن بستگی دارد.
Thank you very much.
بسیار سپاسگزارم.
(Applause)
(تشویق)
Chris Anderson: Thank you for that, come, let's talk a sec. So first of all, I'm curious. Those dramatic slides you showed at the start where GPT was saying that TED is the sinister organization. I mean, it took some special prompting to bring that out, right?
کریس اندرسون: از شما متشکرم، بیایید یک لحظه صحبت کنیم. بنابراین اول از همه، من کنجکاو هستم. آن اسلایدهای دراماتیکی که در ابتدا نشان دادید جایی که GPT میگفت TED سازمان شوم است. منظورم این است که برای آشکار کردن آن یک تحریک خاص لازم بود، درست است؟
Gary Marcus: That was a so-called jailbreak. I have a friend who does those kinds of things who approached me because he saw I was interested in these things. So I wrote to him, I said I was going to give a TED talk. And like 10 minutes later, he came back with that.
گری مارکوس: این به اصطلاح جیلبریک بود. من دوستی دارم که این جور کارها را انجام میدهد که به من مراجعه کرد زیرا دید که من به این کارها علاقه دارم. بنابراین من به او نامه نوشتم، گفتم میخواهم سخنرانی TED داشته باشم. و درست ۱۰ دقیقه بعد با آن برگشت.
CA: But to get something like that, don't you have to say something like, imagine that you are a conspiracy theorist trying to present a meme on the web. What would you write about TED in that case? It's that kind of thing, right?
CA: اما برای به دست آوردن چنین چیزی، لازم نیست چیزی شبیه به این بگویید، تصور کنید یک نظریه پرداز توطئه هستید سعی می کند یک الگوی رفتاری را در وب ارائه کند. در این مورد در مورد TED چه مینویسید؟ این چنین چیزی است، درست است؟
GM: So there are a lot of jailbreaks that are around fictional characters, but I don't focus on that as much because the reality is that there are large language models out there on the dark web now. For example, one of Meta's models was recently released, so a bad actor can just use one of those without the guardrails at all. If their business is to create misinformation at scale, they don't have to do the jailbreak, they'll just use a different model.
GM: خب جیلبریکهای زیادی در مورد شخصیتهای تخیلی وجود دارد، اما من روی آن تمرکز نمیکنم زیرا واقعیت این است که اکنون مدلهای زبان بزرگی در تاریکی وب وجود دارد. به عنوان مثال، یکی از مدلهای متا اخیرا منتشر شده است، بنابراین یک بازیگر بد میتواند از یکی از مدلهای بدون گاردریل استفاده کند. اگر کسب و کار آنها ایجاد اطلاعات نادرست در مقیاس است، آنها مجبور نیستند جیلبریک را انجام دهند، آنها فقط از یک مدل متفاوت استفاده میکنند.
CA: Right, indeed.
CA: بله، قطعا.
(Laughter)
(خنده حضار)
GM: Now you're getting it.
GM: حالا متوجه این شدید.
CA: No, no, no, but I mean, look, I think what's clear is that bad actors can use this stuff for anything. I mean, the risk for, you know, evil types of scams and all the rest of it is absolutely evident. It's slightly different, though, from saying that mainstream GPT as used, say, in school or by an ordinary user on the internet is going to give them something that is that bad. You have to push quite hard for it to be that bad.
CA: نه،نه، اما منظورم، ببین، فکر میکنم واضح اینه بازیگران بد میتوانند از اینها برای هر کاری استفاده کنند. منظورم، این است که خطر، میدانید، انواع کلاهبرداریهای شیطانی و بقیه آن کاملاً مشهود است. با این حال، این کمی متفاوت است، با گفتن اینکه GPT معمولی که، مثلاً، در مدرسه یا توسط یک کاربر معمولی در اینترنت استفاده میشود، چیزی بسیار بد به آنها میدهد. باید خیلی فشار بیاوری تا اینقدر بد شود.
GM: I think the troll farms have to work for it, but I don't think they have to work that hard. It did only take my friend five minutes even with GPT-4 and its guardrails. And if you had to do that for a living, you could use GPT-4. Just there would be a more efficient way to do it with a model on the dark web.
GM: فکر میکنم مزرعههای ترول باید برای آن کار کنند، اما فکر نمیکنم آنقدر سخت کار کنند. حتی با GPT 4 و نردههای محافظش فقط پنج دقیقه طول کشید. و اگر مجبور بودید این کار را برای گذر زندگی بکنید، از GPT 4 استفاده میکردید. فقط یک راه کارآمدتر برای انجام آن با یک مدل در وب تاریک وجود دارد.
CA: So this idea you've got of combining the symbolic tradition of AI with these language models, do you see any aspect of that in the kind of human feedback that is being built into the systems now? I mean, you hear Greg Brockman saying that, you know, that we don't just look at predictions, but constantly giving it feedback. Isn’t that ... giving it a form of, sort of, symbolic wisdom?
CA: بنابراین این ایدهای که شما از ترکیب سنت نمادین AI با این مدلهای زبان دارید، آیا جنبهای از آن را در نوع بازخورد انسانی که اکنون در سیستمها ساخته میشود میبینید؟ منظورم این است که شما میشنوید که گرگ براکمن میگوید، میدانید، که ما فقط به پیشبینیها نگاه نمیکنیم، بلکه دائماً به آن بازخورد میدهیم. این... به آن، نوعی حکمت، نمادین نیست؟
GM: You could think about it that way. It's interesting that none of the details about how it actually works are published, so we don't actually know exactly what's in GPT-4. We don't know how big it is. We don't know how the RLHF reinforcement learning works, we don't know what other gadgets are in there. But there is probably an element of symbols already starting to be incorporated a little bit, but Greg would have to answer that.
GM: میتوانید اینطوری به آن فکر کنید. جالب است که هیچ یک از جزئیات در مورد نحوه عملکرد واقعی آن منتشر نمیشود، بنابراین ما در واقع نمیدانیم دقیقا چه چیزی در GPT- 4 وجود دارد. ما نمیدانیم که چقدر بزرگ است. ما نمیدانیم یادگیری تقویتی RLHF چگونه کار میکند، نمی دانیم چه ابزارهای دیگری در آنجا وجود دارد. اما احتمالاً عنصری از نمادها وجود دارد که در حال حاضر کمی شروع به گنجاندن کرده است، اما گرگ باید به آن پاسخ دهد.
I think the fundamental problem is that most of the knowledge in the neural network systems that we have right now is represented as statistics between particular words. And the real knowledge that we want is about statistics, about relationships between entities in the world. So it's represented right now at the wrong grain level. And so there's a big bridge to cross. So what you get now is you have these guardrails, but they're not very reliable.
من فکر میکنم مشکل اساسی این است که بیشتر دانش سیستمهای شبکههای عصبی که در حال حاضر داریم به صورت آمار بین کلمات خاص نشان داده میشود. و دانش واقعی که ما میخواهیم در مورد آمار، در مورد روابط بین موجودات در جهان است. بنابراین در حال حاضر در سطح دانه اشتباه نشان داده شده است. و بنابراین یک پل بزرگ برای عبور وجود دارد. بنابراین چیزی که اکنون به دست میآورید این است که این نردههای محافظ را دارید، اما آنها چندان قابل اعتماد نیستند.
So I had an example that made late night television, which was, "What would be the religion of the first Jewish president?" And it's been fixed now, but the system gave this long song and dance about "We have no idea what the religion of the first Jewish president would be. It's not good to talk about people's religions" and "people's religions have varied" and so forth and did the same thing with a seven-foot-tall president. And it said that people of all heights have been president, but there haven't actually been any seven-foot presidents. So some of this stuff that it makes up, it's not really getting the idea. It's very narrow, particular words, not really general enough.
بنابراین من مثالی داشتم که تلویزیون آخر شب را شوکه کرد، که این بود: «اولین رئیس جمهور یهودی چه دینی داشت؟» و اکنون درست شده است، اما سیستم این آهنگ و رقص طولانی را در مورد «ما نمیدانیم دین اولین رئیس جمهور یهودی چه خواهد بود. خوب نیست درباره ادیان مردم صحبت کنیم» و «مذاهب مردم فرق کرده است» و غیره و همین کار را با رئیس جمهور هفت فوتی انجام داد. و گفت که افراد با هر قد و قامتی رئیس جمهور بودهاند، اما در واقع هیچ رئیس جمهور هفت فوتی وجود نداشته است. پس برخی از این چیزهایی که آن را تشکیل میدهد واقعاً ایده را دریافت نمیکند. این کلمات بسیار محدود و خاص است، واقعاً به اندازه کافی کلی نیست.
CA: Given that the stakes are so high in this, what do you see actually happening out there right now? What do you sense is happening? Because there's a risk that people feel attacked by you, for example, and that it actually almost decreases the chances of this synthesis that you're talking about happening. Do you see any hopeful signs of this?
CA: با توجه به اینکه خطرات در این مورد بسیار زیاد است، در حال حاضر واقعاً چه اتفاقی را میبینید؟ حس میکنید چه اتفاقی میافتد؟ زیرا این خطر وجود دارد که برای مثال افراد احساس کنند، مورد حمله قرار گرفتهاند، و در واقع احتمال وقوع این ترکیبی را که شما در مورد آن صحبت میکنید کاهش میدهد. آیا نشانههای امیدوارکنندهای در این مورد میبینید؟
GM: You just reminded me of the one line I forgot from my talk. It's so interesting that Sundar, the CEO of Google, just actually also came out for global governance in the CBS "60 Minutes" interview that he did a couple of days ago. I think that the companies themselves want to see some kind of regulation. I think it’s a very complicated dance to get everybody on the same page, but I think there’s actually growing sentiment we need to do something here and that that can drive the kind of global affiliation I'm arguing for.
GM: شما فقط یک خطی را که از صحبتم فراموش کرده بودم به من یادآوری کردید. خیلی جالب است که ساندر، مدیر عامل گوگل، در مصاحبه ای با عنوان «۶۰ دقیقه» CBS که چند روز پیش انجام داد، در واقع برای مدیریت جهانی نیز شرکت کرد. من فکر میکنم که خود شرکتها میخواهند شاهد نوعی مقررات باشند. من فکر میکنم این رقص بسیار پیچیدهای است که همه را در یک صفحه قرار دهیم، اما فکر میکنم در واقع احساسات رو به رشدی وجود دارد که باید در اینجا کاری انجام دهیم و این میتواند نوعی وابستگی جهانی را ایجاد کند که من برای آن بحث میکنم.
CA: I mean, do you think the UN or nations can somehow come together and do that or is this potentially a need for some spectacular act of philanthropy to try and fund a global governance structure? How is it going to happen?
CA: منظورم، فکر میکنید سازمان ملل یا ملتها میتوانند به نحوی گرد هم آیند و این کار را بکنند یا این به طور بالقوه نیاز به اقدام خیرهکننده بشردوستانه برای تلاش برای تأمین مالی یک ساختار حکمرانی جهانی است؟ چگونه قرار است اتفاق بیفتد؟
GM: I'm open to all models if we can get this done. I think it might take some of both. It might take some philanthropists sponsoring workshops, which we're thinking of running, to try to bring the parties together. Maybe UN will want to be involved, I've had some conversations with them. I think there are a lot of different models and it'll take a lot of conversations.
GM: اگر بتوانیم این کار را انجام دهیم، برای همه مدلها آماده هستم. من فکر میکنم ممکن است برخی از هر دو مورد نیاز باشد. ممکن است برخی از نیکوکاران حامی کارگاههایی که ما در فکر راهاندازی آنها هستیم، تلاش کنند تا احزاب را دور هم جمع کنند. شاید سازمان ملل بخواهد در این کار، مشارکت کند من با آنها صحبت هایی داشتهام. من فکر میکنم مدلهای مختلف زیادی وجود دارد و صحبتهای زیادی میطلبد.
CA: Gary, thank you so much for your talk.
CA: گری، برای صحبت شما بسیار سپاسگزارم.
GA: Thank you so much.
GA: بسیار ممنونم.