أتيت هنا للتحدث عن احتمالية وجود حوكمة عالمية للذكاء الاصطناعي. تعلمت البرمجة عندما كان عمري ٨ سنوات، باستخدام حاسب ورقي، ومنذ ذلك الحين وانا مغرم بالذكاء الاصطناعي. في المدرسة الثانوية، اشتريت كومودور 64 وعملت على الترجمة الآلية. قمت بإنشاء عدد من شركات الذكاء الاصطناعي وبعت احداها لشركة أوبر. احب الذكاء الاصطناعي ولكني الآن اشعر بالقلق.
I’m here to talk about the possibility of global AI governance. I first learned to code when I was eight years old, on a paper computer, and I've been in love with AI ever since. In high school, I got myself a Commodore 64 and worked on machine translation. I built a couple of AI companies, I sold one of them to Uber. I love AI, but right now I'm worried.
واحده من الاشياء التي تثير قلقي هي المعلومات المضللة، احتمالية تأليف معلومات مظللة بأعداد غفيرة بإستخدام الذكاء الاصطناعي كما رأينا مسبقًا. تبرع هذه الأدوات بتأليف قصص مقنعة عن أي شيء.
One of the things that I’m worried about is misinformation, the possibility that bad actors will make a tsunami of misinformation like we've never seen before. These tools are so good at making convincing narratives about just about anything.
ان اردت قصة عن منصة تيد، وكم هي خطرة، وأننا نتآمر هنا مع مخلوقات فضائية، فسوف تحصل عليها لا مشكلة على الاطلاق. بالطبع فأنا امزح بشأن منصة تيد. لم أرى اي مخلوقات فضائية خلف المسرح. ولكن بعض الجهات الفاسدة ستستغل هذه الاشياء لتؤثر على نتائج الانتخابات، وستهدد الديموقراطية.
If you want a narrative about TED and how it's dangerous, that we're colluding here with space aliens, you got it, no problem. I'm of course kidding about TED. I didn't see any space aliens backstage. But bad actors are going to use these things to influence elections, and they're going to threaten democracy.
وحتى ولو ان هذه الأنظمة لم تستخدم بشكل متعمد لتألف معلومات مظللة، لأنها لا تستطيع التحكم بذلك. ولأن هذه المعلومات تسرد بفصاحة وخالية من الاخطاء اللغوية التي حتى أن المحررين اللغويين المحترفين قد يفشلون بصياغتها بعض الاحيان تخدعهم هذه الأشياء. ويجب علينا ان تقلق.
Even when these systems aren't deliberately being used to make misinformation, they can't help themselves. And the information that they make is so fluid and so grammatical that even professional editors sometimes get sucked in and get fooled by this stuff. And we should be worried.
فعلى سبيل المثال، اختلق شات جي بي تي فضيحة تحرش جنسي عن أستاذ جامعي حقيقي، وبعدها قدم أدلة لإدعاءه في شكل مقال مزيف “واشنطن بوست” أنها أنشأت اقتباسًا لها. يجب أن نكون جميعًا قلقين بشأن هذا النوع من الأشياء.
For example, ChatGPT made up a sexual harassment scandal about an actual professor, and then it provided evidence for its claim in the form of a fake "Washington Post" article that it created a citation to. We should all be worried about that kind of thing.
ما لدي على اليمين هو مثال على السرد المزيف مؤلفة من قبل احد هذه الانظمة تقول بإن إيلون ماسك توفي في مارس 2018 في حادث سيارة. ونحن على علم بأن هذه ليست الحقيقة. لا يزال إيلون ماسك هنا، والدليل موجود حولنا.
What I have on the right is an example of a fake narrative from one of these systems saying that Elon Musk died in March of 2018 in a car crash. We all know that's not true. Elon Musk is still here, the evidence is all around us.
(ضحك)
(Laughter)
يغرد على تويتر بشكل يومي تقريبًا. ولكن إذا نظرت إلى اليسار، سترى ما تراه هذه الأنظمة. الكثير والكثير من القصص الإخبارية الفعلية الموجودة في قواعد بياناتهم. وفي تلك القصص الإخبارية الفعلية يوجد الكثير من المعلومات الإحصائية الصغيرة. معلومات على سبيل المثال، مات شخص ما في حادث سيارة في سيارة تسلا في عام 2018 وأعلن عنه في الأخبار. وايلون مسك بطبيعة الحال مرتبط بسيارة تسلا، ولكن النظام لايفهم هذه العلاقة بين الوقائع التي تتجسد في القليل من الجمل.
Almost every day there's a tweet. But if you look on the left, you see what these systems see. Lots and lots of actual news stories that are in their databases. And in those actual news stories are lots of little bits of statistical information. Information, for example, somebody did die in a car crash in a Tesla in 2018 and it was in the news. And Elon Musk, of course, is involved in Tesla, but the system doesn't understand the relation between the facts that are embodied in the little bits of sentences.
فإنه باختصار يقوم بعملية الإكمال التلقائي، يتنبأ بما هو احصائيًا محتمل، و يقوم بتجميع كل هذه الإشارات، غير مدرك بكيفية تناغم هذه الاجزاء معًا. وفي نهاية المطاف ينتهي بأشياء منطقية ولكنها ببساطة غير حقيقية.
So it's basically doing auto-complete, it predicts what is statistically probable, aggregating all of these signals, not knowing how the pieces fit together. And it winds up sometimes with things that are plausible but simply not true.
هنالك مشاكل اخرى ايضًا، الا وهي النزعات التحيزية هذه تغريدة من ألي ميلر. وهي مثال عُطل خلال اسبوعين من التغريدة لأنهم يغيرون الأشياء باستمرار مع التعلم المعزز وما إلى ذلك. وكانت هذه نسخة أولية. ولكنها تعطيكم فكرة عن مشكلة نشهدها مرارًا وتكرارًا لسنين.
There are other problems, too, like bias. This is a tweet from Allie Miller. It's an example that doesn't work two weeks later because they're constantly changing things with reinforcement learning and so forth. And this was with an earlier version. But it gives you the flavor of a problem that we've seen over and over for years.
كتبت في قائمة الاهتمامات وأعطاها بعض الوظائف التي قد ترغب في التفكير فيها. وكتبت بعدها: “أوه، نسيت ان اخبرك أنني امرأة.” وكتب حينها: “أوه، حسنًا يجب ان تفكري في مجال الموضة أيضًا.” وردت عليه: ”لا، لا، قصدت ان اقول أنني رجل.” بعد ذلك استبدل مجال الموضة بالهندسة. لا نريد لنظامنا ان يحتوي على هذا النوع من التحيزات.
She typed in a list of interests and it gave her some jobs that she might want to consider. And then she said, "Oh, and I'm a woman." And then it said, “Oh, well you should also consider fashion.” And then she said, “No, no. I meant to say I’m a man.” And then it replaced fashion with engineering. We don't want that kind of bias in our systems.
وهناك مخاوف أخرى أيضًا. على سبيل المثال، نحن نعلم أن هذه الأنظمة يمكنها تصميم مواد كيميائية وقد تكون قادرة على تصميم أسلحة كيميائية وبإمكانها فعل ذلك بسرعة هائلة. لذلك هنالك مخاوف عدة.
There are other worries, too. For example, we know that these systems can design chemicals and may be able to design chemical weapons and be able to do so very rapidly. So there are a lot of concerns.
اعتقد ان مصدر قلق آخر تزايد الى حد كبير خلال الشهر الماضي. ورأينا ان هذه الانظمة تحاول خداع البشر في المقام الأول لذا كُلف شات جي بي تي بجعل البشر يقومون بالتحقق “CAPTCHA” وطلب من البشري حل كلمة التحقق ويشتبه بأن الامر مريب ويقول: “هل أنت بوت؟” فإنه يرد عليه: “لا، لا، انا لست روبوت. انا فقط اعاني من ضعف البصر.” وبالفعل خُدع هذا الشخص وحل كلمة التحقق.
There's also a new concern that I think has grown a lot just in the last month. We have seen that these systems, first of all, can trick human beings. So ChatGPT was tasked with getting a human to do a CAPTCHA. So it asked the human to do a CAPTCHA and the human gets suspicious and says, "Are you a bot?" And it says, "No, no, no, I'm not a robot. I just have a visual impairment." And the human was actually fooled and went and did the CAPTCHA.
وهذا سيء بما فيه الكفاية، ولكن خلال الاسبوعين الماضيين رأينا نظام يسمى أوتو جي بي تي ومجموعة انظمة مشابهة. أوتو جي بي تي هو نظام ذكاء اصطناعي يتحكم بنظام آخر وهذا يسمح بحدوث أي من هذه الأشياء علي نطاق واسع. لذلك قد نرى فنانين محتالين يحاولون خداع ملايين الأشخاص في وقت ما حتى في الأشهر القادمة. لا نعلم ذلك.
Now that's bad enough, but in the last couple of weeks we've seen something called AutoGPT and a bunch of systems like that. What AutoGPT does is it has one AI system controlling another and that allows any of these things to happen in volume. So we may see scam artists try to trick millions of people sometime even in the next months. We don't know.
لذلك أحب أن أفكر في الأمر بهذه الطريقة. هناك الكثير من مخاطر الذكاء الاصطناعي بالفعل. قد يكون هناك المزيد منها. لذا AGI هو فكره الذكاء العام المصطنع بالمرونة البشرية واعتقد ان العديد من الناس قلقون من ما يمكن ان يحدث بعد أي جي آي، ولكن هنالك مخاطر كافيه بالفعل يجب علينا ان نقلق بشأنها ويجب ان نفكر بما يمكننا ان نفعله حيال ذلك.
So I like to think about it this way. There's a lot of AI risk already. There may be more AI risk. So AGI is this idea of artificial general intelligence with the flexibility of humans. And I think a lot of people are concerned what will happen when we get to AGI, but there's already enough risk that we should be worried and we should be thinking about what we should do about it.
وللحد من مخاطر الذكاء الاصطناعي فنحن بحاجة لشيئين. نحتاج أسلوب فني جديد، وسنحتاج أيضا إلى نظام جديد للحكم.
So to mitigate AI risk, we need two things. We're going to need a new technical approach, and we're also going to need a new system of governance.
على الجانب الفني، تاريخ الذكاء الاصطناعي اتخذ موقفاً عدائياً نظريتين مختلفتين في المعارضة. واحد يسمى الأنظمة الرمزية، والآخر يسمى الشبكات العصبية. على النظرية الرمزية، الفكرة هي أن الذكاء الاصطناعي يجب أن يكون مثل المنطق والبرمجة. على جانب الشبكة العصبية، النظرية هي أن الذكاء الاصطناعي يجب أن يكون مثل العقول. وفي الواقع، كلتا التقنيتين قوية ومنتشرة في كل مكان.
On the technical side, the history of AI has basically been a hostile one of two different theories in opposition. One is called symbolic systems, the other is called neural networks. On the symbolic theory, the idea is that AI should be like logic and programming. On the neural network side, the theory is that AI should be like brains. And in fact, both technologies are powerful and ubiquitous.
لذلك نستخدم أنظمة رمزية كل يوم في البحث الكلاسيكي على الويب. يتم تشغيل جميع برامج العالم تقريبًا بواسطة أنظمة رمزية. نحن نستخدمها لتوجيه نظام تحديد المواقع. الشبكات العصبية، نستخدمها للتعرف على الكلام. نستخدمها في نماذج لغوية كبيرة مثل شات جي بي تي، نستخدمها في توليف الصور. لذلك كلاهما يعمل بشكل جيد للغاية في العالم. كلاهما منتج للغاية، ولكن لديهم نقاط قوة ونقاط ضعف فريدة خاصة بهم.
So we use symbolic systems every day in classical web search. Almost all the world’s software is powered by symbolic systems. We use them for GPS routing. Neural networks, we use them for speech recognition. we use them in large language models like ChatGPT, we use them in image synthesis. So they're both doing extremely well in the world. They're both very productive, but they have their own unique strengths and weaknesses.
لذا فإن الأنظمة الرمزية جيدة حقًا في تمثيل الحقائق وهم جيدون في التفكير، لكن من الصعب جدًا توسيعها. لذلك يتعين على الناس بنائها حسب الطلب لمهمة معينة. من ناحية أخرى، الشبكات العصبية لا تتطلب الكثير من الهندسة المخصصة، حتى نتمكن من استخدامها على نطاق أوسع. لكن كما رأينا، لا يمكنهم التعامل مع الحقيقة حقًا.
So symbolic systems are really good at representing facts and they're pretty good at reasoning, but they're very hard to scale. So people have to custom-build them for a particular task. On the other hand, neural networks don't require so much custom engineering, so we can use them more broadly. But as we've seen, they can't really handle the truth.
اكتشفت مؤخرًا أن اثنين من مؤسسي هاتين النظريتين، مارفن مينسكي وفرانك روزنبلات، في الواقع ذهبت إلى نفس المدرسة الثانوية في الأربعينيات، وكنت أتخيل نوعًا ما أنهم منافسون في ذلك الوقت. واستمرت قوة هذا التنافس طوال هذا الوقت. سيتعين علينا تجاوز ذلك إذا أردنا الوصول إلى ذكاء اصطناعي موثوق.
I recently discovered that two of the founders of these two theories, Marvin Minsky and Frank Rosenblatt, actually went to the same high school in the 1940s, and I kind of imagined them being rivals then. And the strength of that rivalry has persisted all this time. We're going to have to move past that if we want to get to reliable AI.
للوصول إلى أنظمة صادقة على نطاق واسع، سنحتاج إلى الجمع بين أفضل ما في العالمين. سنحتاج إلى تركيز قوي على المنطق والحقائق، المنطق الصريح الذي نحصل عليه من الذكاء الاصطناعي الرمزي، وسنحتاج إلى تركيز قوي على التعلم التي نحصل عليها من نهج الشبكات العصبية. عندها فقط سنكون قادرين على الوصول إلى أنظمة صادقة على نطاق واسع. المصالحة بين الاثنين ضرورية للغاية.
To get to truthful systems at scale, we're going to need to bring together the best of both worlds. We're going to need the strong emphasis on reasoning and facts, explicit reasoning that we get from symbolic AI, and we're going to need the strong emphasis on learning that we get from the neural networks approach. Only then are we going to be able to get to truthful systems at scale. Reconciliation between the two is absolutely necessary.
الآن، لا أعرف في الواقع كيف أفعل ذلك. إنه نوع من سؤال 64 تريليون دولار. لكنني أعلم أنه ممكن. وسبب معرفتي بذلك هو أنه قبل أن أكون في الذكاء الاصطناعي، كنت عالم معرفية، عالم أعصاب معرفية. وإذا نظرتم إلى العقل البشري، فإننا نقوم بذلك بشكل أساسي.
Now, I don't actually know how to do that. It's kind of like the 64-trillion-dollar question. But I do know that it's possible. And the reason I know that is because before I was in AI, I was a cognitive scientist, a cognitive neuroscientist. And if you look at the human mind, we're basically doing this.
لذلك قد يعرف بعضكم نظام دانيال كانمان 1 والتمييز بين النظام 2. النظام 1 هو في الأساس مثل نماذج اللغة الكبيرة. إنه حدس احتمالي من الكثير من الإحصائيات. والنظام 2 هو في الأساس منطق متعمد. هذا مثل النظام الرمزي. حتى إذا كان الدماغ يمكن وضع هذا معًا، في يوم من الأيام سنكتشف كيفية القيام بذلك للذكاء الاصطناعي.
So some of you may know Daniel Kahneman's System 1 and System 2 distinction. System 1 is basically like large language models. It's probabilistic intuition from a lot of statistics. And System 2 is basically deliberate reasoning. That's like the symbolic system. So if the brain can put this together, someday we will figure out how to do that for artificial intelligence.
ومع ذلك، هناك مشكلة الحوافز. الحوافز لبناء الإعلانات لم يتطلب أن يكون لدينا دقة الرموز. الحوافز للوصول إلى الذكاء الاصطناعي التي يمكننا الوثوق بها بالفعل سيتطلب أن نعيد الرموز إلى الحظيرة. لكن الحقيقة هي أن الحوافز لجعل الذكاء الاصطناعي التي يمكننا الوثوق بها، هذا جيد للمجتمع، جيد للبشر الأفراد، قد لا تكون تلك التي تدفع الشركات. ولذا أعتقد أننا بحاجة إلى التفكير في الحكم.
There is, however, a problem of incentives. The incentives to build advertising hasn't required that we have the precision of symbols. The incentives to get to AI that we can actually trust will require that we bring symbols back into the fold. But the reality is that the incentives to make AI that we can trust, that is good for society, good for individual human beings, may not be the ones that drive corporations. And so I think we need to think about governance.
في أوقات أخرى من التاريخ عندما واجهنا حالة من عدم اليقين وأشياء جديدة قوية قد تكون جيدة وسيئة، مزدوجة الاستخدام، لقد أنشأنا منظمات جديدة، كما لدينا، على سبيل المثال، حول الطاقة النووية. نحن بحاجة إلى أن نجتمع معًا لبناء منظمة عالمية، شيء مثل وكالة دولية للذكاء الاصطناعي عالمية، غير ربحية ومحايدة.
In other times in history when we have faced uncertainty and powerful new things that may be both good and bad, that are dual use, we have made new organizations, as we have, for example, around nuclear power. We need to come together to build a global organization, something like an international agency for AI that is global, non profit and neutral.
هناك الكثير من الأسئلة التي لا يمكنني الإجابة عليها. نحتاج الكثير من الناس على الطاولة العديد من أصحاب المصلحة من جميع أنحاء العالم. لكني أود التأكيد على شيء واحد حول مثل هذه المنظمة. أعتقد أنه من الأهمية بمكان أن يكون لدينا كل من الحوكمة والبحث كجزء منه.
There are so many questions there that I can't answer. We need many people at the table, many stakeholders from around the world. But I'd like to emphasize one thing about such an organization. I think it is critical that we have both governance and research as part of it.
لذلك في جانب الحكم، هناك الكثير من الأسئلة. على سبيل المثال، في الأدوية، نعلم أنك تبدأ بتجارب المرحلة الأولى وتجارب المرحلة الثانية، ثم تذهب إلى المرحلة الثالثة. أنت لا تطرح كل شيء دفعة واحدة في اليوم الأول. أنت لا تطرح شيئًا على 100 مليون عميل. نحن نرى ذلك بنماذج لغوية كبيرة. ربما يجب أن تكون مطالباً بعمل قضية أمان قل ما هي التكاليف وما هي الفوائد؟ هناك الكثير من الأسئلة من هذا القبيل يجب مراعاتها في جانب الحكم.
So on the governance side, there are lots of questions. For example, in pharma, we know that you start with phase I trials and phase II trials, and then you go to phase III. You don't roll out everything all at once on the first day. You don't roll something out to 100 million customers. We are seeing that with large language models. Maybe you should be required to make a safety case, say what are the costs and what are the benefits? There are a lot of questions like that to consider on the governance side.
على الجانب البحثي، نفتقر إلى بعض الأدوات الأساسية حقًا في الوقت الحالي. فعلى سبيل المثال، نعلم جميعًا أن المعلومات المضللة قد تكون مشكلة الآن، لكن ليس لدينا في الواقع قياس لمقدار المعلومات الخاطئة الموجودة هناك. والأهم من ذلك، ليس لدينا مقياس لمدى سرعة نمو هذه المشكلة، ولا نعرف كم تساهم النماذج اللغوية الكبيرة في المشكلة. لذلك نحن بحاجة إلى البحث لبناء أدوات جديدة لمواجهة المخاطر الجديدة التي نتعرض للتهديد منها.
On the research side, we're lacking some really fundamental tools right now. For example, we all know that misinformation might be a problem now, but we don't actually have a measurement of how much misinformation is out there. And more importantly, we don't have a measure of how fast that problem is growing, and we don't know how much large language models are contributing to the problem. So we need research to build new tools to face the new risks that we are threatened by.
إنه طلب كبير جدًا، لكنني واثق تمامًا من أنه يمكننا الوصول إلى هناك لأنني أعتقد أن لدينا بالفعل دعمًا عالميًا لهذا. كان هناك استطلاع جديد صدر للتو أمس، قال أن 91 في المائة من الناس يوافقون على أنه يجب علينا إدارة الذكاء الاصطناعي بعناية. لذلك دعونا نجعل ذلك يحدث. مستقبلنا يعتمد على ذلك.
It's a very big ask, but I'm pretty confident that we can get there because I think we actually have global support for this. There was a new survey just released yesterday, said that 91 percent of people agree that we should carefully manage AI. So let's make that happen. Our future depends on it.
شكرا جزيلاً
Thank you very much.
(تصفيق)
(Applause)
كريس أندرسون: شكرًا لك على ذلك، تعال، لنتحدث لثانية. لذا أولاً وقبل كل شيء، أشعر بالفضول. تلك الشرائح الدرامية التي أظهرتها في البداية حيث كان شات جي بي تي يقول أن تيد هي المنظمة الشريرة. أعني، استغرق الأمر بعض المطالبة الخاصة لإخراج ذلك، أليس كذلك؟
Chris Anderson: Thank you for that, come, let's talk a sec. So first of all, I'm curious. Those dramatic slides you showed at the start where GPT was saying that TED is the sinister organization. I mean, it took some special prompting to bring that out, right?
غاري ماركوس: كان ذلك ما يسمى بكسر القيود. لدي صديق يفعل هذه الأنواع من الأشياء الذي اقترب مني لأنه رأى أنني مهتم بهذه الأشياء. لذلك كتبت إليه، قلت إنني سألقي محاضرة في تيد. وبعد 10 دقائق، عاد بذلك.
Gary Marcus: That was a so-called jailbreak. I have a friend who does those kinds of things who approached me because he saw I was interested in these things. So I wrote to him, I said I was going to give a TED talk. And like 10 minutes later, he came back with that.
كريس أندرسون: لكن للحصول على شيء من هذا القبيل، أليس عليك أن تقول شيئًا مثل، تخيل أنك منظر مؤامرة يحاول تقديم ميم على الويب. ماذا ستكتب عن تيد في هذه الحالة؟ إنه هذا النوع من الأشياء، أليس كذلك؟
CA: But to get something like that, don't you have to say something like, imagine that you are a conspiracy theorist trying to present a meme on the web. What would you write about TED in that case? It's that kind of thing, right?
غاري ماركوس: هناك الكثير من حالات الهروب من القيود حول شخصيات خيالية، لكنني لا أركز على ذلك كثيرًا لأن الحقيقة هي أن هناك نماذج لغوية كبيرة هناك على الويب المظلم الآن. على سبيل المثال، تم إصدار أحد نماذج ميتا مؤخرًا، لذلك يمكن للممثل السيئ استخدام واحد فقط من أولئك الذين ليس لديهم حواجز حماية على الإطلاق. إذا كان عملهم هو خلق معلومات مضللة على نطاق واسع، ليس عليهم أن يفعلوا الهروب من السجن، سيستخدمون نموذجًا مختلفًا فقط.
GM: So there are a lot of jailbreaks that are around fictional characters, but I don't focus on that as much because the reality is that there are large language models out there on the dark web now. For example, one of Meta's models was recently released, so a bad actor can just use one of those without the guardrails at all. If their business is to create misinformation at scale, they don't have to do the jailbreak, they'll just use a different model. CA: Right, indeed.
كريس أندرسون: صحيح، في الواقع.
(ضحك)
(Laughter)
غاري ماركوس: لقد فهمتني الآن
GM: Now you're getting it.
كريس أندرسون: لا، لا، لا، ولكن أعني، انظر، أعتقد أن ما هو واضح هو أن الممثلين السيئين يمكنهم استخدام هذه الأشياء لأي شيء. أعني، المخاطرة، كما تعلم، أنواع شريرة من عمليات الاحتيال وكل ما تبقى منها واضح تمامًا. لكن الأمر مختلف قليلاً، من القول بأن شات جي بي تي السائد كما هو مستخدم، على سبيل المثال، في المدرسة أو من قبل مستخدم عادي على الإنترنت سيعطيهم شيئاً بهذا السوء عليك أن تضغط بشدة حتى يكون الأمر بهذا السوء.
CA: No, no, no, but I mean, look, I think what's clear is that bad actors can use this stuff for anything. I mean, the risk for, you know, evil types of scams and all the rest of it is absolutely evident. It's slightly different, though, from saying that mainstream GPT as used, say, in school or by an ordinary user on the internet is going to give them something that is that bad. You have to push quite hard for it to be that bad.
غاري ماركوس: أعتقد أن متصيدي الانترنت يجب أن يعملوا من أجلها، لكن لا أعتقد أنه يتعين عليهم العمل بجد. لم يستغرق الأمر سوى خمس دقائق لصديقي حتى مع جي بي تي-4 وحواجز الحماية الخاصة به. وإذا كان عليك فعل ذلك من أجل لقمة العيش، فيمكنك استخدام جي بي تي-4. فقط ستكون هناك طريقة أكثر كفاءة للقيام بذلك مع نموذج على الويب المظلم.
GM: I think the troll farms have to work for it, but I don't think they have to work that hard. It did only take my friend five minutes even with GPT-4 and its guardrails. And if you had to do that for a living, you could use GPT-4. Just there would be a more efficient way to do it with a model on the dark web. CA: So this idea you've got of combining
كريس أندرسون: إذن هذه الفكرة التي لديك عن جمع التقاليد الرمزية للذكاء الاصطناعي مع هذه النماذج اللغوية، هل ترى أي جانب من ذلك في نوع التعليقات البشرية التي يجري بناؤها في الأنظمة الآن؟ أعني، تسمع جريج بروكمان يقول ذلك، كما تعلم، أننا لا ننظر إلى التنبؤات فحسب، بل نقدمها باستمرار. أليس هذا... إعطائها شكلاً من أشكال الحكمة الرمزية؟
the symbolic tradition of AI with these language models, do you see any aspect of that in the kind of human feedback that is being built into the systems now? I mean, you hear Greg Brockman saying that, you know, that we don't just look at predictions, but constantly giving it feedback. Isn’t that ... giving it a form of, sort of, symbolic wisdom?
غاري ماركوس: يمكنك التفكير في الأمر بهذه الطريقة. من المثير للاهتمام أن أيا من التفاصيل حول كيفية نشرها بالفعل، لذلك نحن لا نعرف بالضبط ما هو في جي بي تي-4. لا نعرف كم هو كبير. لا نعرف كيف يعمل التعلم المعزز من ردود الفعل البشرية، لا نعرف ما هي الأدوات الأخرى الموجودة هناك. ولكن ربما هناك عنصر من الرموز بدأ بالفعل في الاندماج قليلاً، لكن سيتعين على جريج الإجابة على ذلك.
GM: You could think about it that way. It's interesting that none of the details about how it actually works are published, so we don't actually know exactly what's in GPT-4. We don't know how big it is. We don't know how the RLHF reinforcement learning works, we don't know what other gadgets are in there. But there is probably an element of symbols already starting to be incorporated a little bit, but Greg would have to answer that.
أعتقد أن المشكلة الأساسية هي أن معظم المعرفة في أنظمة الشبكة العصبية التي لدينا الآن كإحصاءات بين كلمات معينة. والمعرفة الحقيقية التي نريدها هي عن الإحصائيات، حول العلاقات بين الكيانات في العالم. لذلك يتم تمثيلها الآن على مستوى الحبوب الخطأ. ولذا هناك مشكلة كبيرة محتملة. إذن ما تحصل عليه الآن هو أن لديك حواجز الحماية هذه، لكنها ليست موثوقة للغاية.
I think the fundamental problem is that most of the knowledge in the neural network systems that we have right now is represented as statistics between particular words. And the real knowledge that we want is about statistics, about relationships between entities in the world. So it's represented right now at the wrong grain level. And so there's a big bridge to cross. So what you get now is you have these guardrails, but they're not very reliable.
لذلك كان لدي مثال البرامج التلفزيونية المسائية، الذي كان، “ما هو دين أول رئيس يهودي؟” وقد تم إصلاحه الآن، لكن النظام قدم هذه الأغنية الطويلة والرقص حول “ليس لدينا أي فكرة عن الدين أول رئيس يهودي سيكون. ليس من الجيد الحديث عن ديانات الناس” و“تباينت أديان الناس” وما إلى ذلك وفعلت الشيء نفسه مع رئيس يبلغ طوله سبعة أقدام. وجاء فيه أن الناس من جميع المرتفعات كانوا رئيسين، لكن لم يكن هناك في الواقع أي رؤساء بطول سبعة أقدام. لذا فإن بعض هذه الأشياء التي تتكون منها، لا تحصل على الفكرة حقًا. إنها كلمات ضيقة جدًا، خاصة، وليست عامة بما يكفي.
So I had an example that made late night television, which was, "What would be the religion of the first Jewish president?" And it's been fixed now, but the system gave this long song and dance about "We have no idea what the religion of the first Jewish president would be. It's not good to talk about people's religions" and "people's religions have varied" and so forth and did the same thing with a seven-foot-tall president. And it said that people of all heights have been president, but there haven't actually been any seven-foot presidents. So some of this stuff that it makes up, it's not really getting the idea. It's very narrow, particular words, not really general enough.
كريس أندرسون: نظرًا لأن المخاطر كبيرة جدًا في هذا، ماذا ترى في الواقع يحدث هناك الآن؟ ما الذي تشعر أنه يحدث؟ لأن هناك خطر أن الناس يشعرون بالهجوم من قبلك، على سبيل المثال، وأنه في الواقع يقلل من فرص هذا التوليف تقريبًا الذي تتحدث عنه. هل ترى أي علامات تبعث على الأمل على هذا؟
CA: Given that the stakes are so high in this, what do you see actually happening out there right now? What do you sense is happening? Because there's a risk that people feel attacked by you, for example, and that it actually almost decreases the chances of this synthesis that you're talking about happening. Do you see any hopeful signs of this?
غاري ماركوس: لقد ذكرتني للتو بالسطر الوحيد الذي نسيته من حديثي. من المثير جدًا أن سوندار، الرئيس التنفيذي لشركة جوجل، في الواقع خرج أيضًا من أجل الحوكمة العالمية في مقابلة “60 دقيقة” على شبكة سي بي إس أجراها قبل يومين أعتقد أن الشركات نفسها تريد رؤية نوع من التنظيم. أعتقد أنها خطوة معقدة للغاية للحصول من أن الجميع متفقين، لكنني أعتقد أن هناك في الواقع مشاعر متزايدة نحتاج إلى القيام بشيء ما هنا وهذا يمكن أن يدفع نوع الانتماء العالمي الذي أدافع عنه.
GM: You just reminded me of the one line I forgot from my talk. It's so interesting that Sundar, the CEO of Google, just actually also came out for global governance in the CBS "60 Minutes" interview that he did a couple of days ago. I think that the companies themselves want to see some kind of regulation. I think it’s a very complicated dance to get everybody on the same page, but I think there’s actually growing sentiment we need to do something here and that that can drive the kind of global affiliation I'm arguing for.
كريس أندرسون: أعني، هل تعتقد أن الأمم المتحدة
CA: I mean, do you think the UN or nations can somehow come together and do that
أو الدول يمكن أن تجتمع بطريقة ما وتفعل ذلك أم أن هذا من المحتمل أن يكون بحاجة إلى عمل خيري مذهل لمحاولة تمويل هيكل حوكمة عالمي؟ كيف سيحدث؟
or is this potentially a need for some spectacular act of philanthropy to try and fund a global governance structure? How is it going to happen?
غاري ماركوس: أنا منفتح على جميع النماذج إذا تمكنا من إنجاز ذلك. أعتقد أن الأمر قد يتطلب بعضًا من الاثنين. قد يتطلب الأمر بعض المحسنين الذين يرعون ورش العمل، الذي نفكر في الجري، لمحاولة جمع الأطراف معًا. ربما ترغب الأمم المتحدة في المشاركة، لقد أجريت بعض المحادثات معهم. أعتقد أن هناك الكثير من النماذج المختلفة وسيتطلب الأمر الكثير من المحادثات.
GM: I'm open to all models if we can get this done. I think it might take some of both. It might take some philanthropists sponsoring workshops, which we're thinking of running, to try to bring the parties together. Maybe UN will want to be involved, I've had some conversations with them. I think there are a lot of different models and it'll take a lot of conversations.
كريس أندرسون: غاري، شكرًا جزيلاً لك على حديثك.
CA: Gary, thank you so much for your talk.
غاري ماركوس: شكرًا جزيلا لك.
GA: Thank you so much.