أنا جيمس. أنا كاتب وفنان، وأعمل في مجال التكنولوجيا. وأرسم بالحجم الطبيعي هيكل الطائرات العسكرية بدون طيار في شوارع المدينة حول العالم، لكي يبدأ الناس في التفكير والفهم ومن الصعب جدا الرؤية والتفكير في التكنولوجيا صنعت أشياءً مثل الشبكات العصبية التي تُنبئ بنتيجة الانتخابات اعتمادا على تقارير الطقس، لأني مفتون بـ ماهية الإمكانيات الفعلية لهذه التكنولوجيا الجديدة والغريبة. السنة الماضية، بنيت سيارتي الذاتية القيادة. ولكن لأني لا أثق بالتكنولوجيا، صممت أيضا فخًّا لها.
I'm James. I'm a writer and artist, and I make work about technology. I do things like draw life-size outlines of military drones in city streets around the world, so that people can start to think and get their heads around these really quite hard-to-see and hard-to-think-about technologies. I make things like neural networks that predict the results of elections based on weather reports, because I'm intrigued about what the actual possibilities of these weird new technologies are. Last year, I built my own self-driving car. But because I don't really trust technology, I also designed a trap for it.
(ضحك)
(Laughter)
وأفعل هذه الأمور غالبا لأني أجدها رائعة تماما، ولكن أيضا لأني أظن عندما نتحدث عن التكنولوجيا، نتحدث بشكل كبير عن أنفسنا وطريقة فهمنا للعالم. وهنا قصة عن التكنولوجيا.
And I do these things mostly because I find them completely fascinating, but also because I think when we talk about technology, we're largely talking about ourselves and the way that we understand the world. So here's a story about technology.
هذا هو فيديو "بيض المفاجآت". إنه أساسا فيديو عن شخص ما يفتح الكثير من بيض الشيكولاتة ويُظهر الألعاب التي بداخلها للمشاهد. وهذا هو. هذا كل شيء فعله ذلك طوال 7 دقائق. وأودُّ أن تلاحظوا أمرين بشأنه. أولا: هذا الفيديو حظى بـ 30 مليون مشاهدة.
This is a "surprise egg" video. It's basically a video of someone opening up loads of chocolate eggs and showing the toys inside to the viewer. That's it. That's all it does for seven long minutes. And I want you to notice two things about this. First of all, this video has 30 million views.
(ضحك)
(Laughter)
والشيء الآخر هو، بثّته قناة تحظى بـ 6,3 مليون مشترك، ليبلغ الإجمالي 8 مليار مشاهدة، والأمر كله مجرد الكثير من الفيديوهات مثلها 30 مليون شخص يشاهدون رجلا يفتح هذه البيضات. يبدو الأمر غريبا، ولكن إذا بحثنا عن "بيض المفاجآت" على اليوتيوب ستجد هناك 10 مليون من هذه الفيديوهات، وأظن إنها أقل من الأرقام الفعلية. أظن أن هناك الكثير منها للغاية. إذا واصلت البحث، ستجد عددًا لا نهائيًا منها. هناك الملايين من هذه الفيديوهات بمزيج مفصّل ومتزايد من الماركات والمواد، وهناك المزيد والمزيد منهم يتم تحميلهم كل يوم. هذا عالم غريب، أليس كذلك؟
And the other thing is, it comes from a channel that has 6.3 million subscribers, that has a total of eight billion views, and it's all just more videos like this -- 30 million people watching a guy opening up these eggs. It sounds pretty weird, but if you search for "surprise eggs" on YouTube, it'll tell you there's 10 million of these videos, and I think that's an undercount. I think there's way, way more of these. If you keep searching, they're endless. There's millions and millions of these videos in increasingly baroque combinations of brands and materials, and there's more and more of them being uploaded every single day. Like, this is a strange world. Right?
ولكن الأمر هو أن البالغين ليسوا مَن يشاهدوا هذه الفيديوهات. إنهم الأطفال الصغار. وهذه الفيديوهات يدمِنُها الأطفال الصغار. هناك خطبٌ ما حول التكرار، ويكشف لنا الدوبامين المستمر الحقيقة، أنها تجذبهم تماما لها. والصغار يشاهدون هذه الفيديوهات مرارًا وتكرارًا، ويستغرقون ساعات طويلة في مشاهدتها. وإذا حاولت إبعاد الشاشة عنهم ستتوالى صرخاتهم. إذا لم تصدقني ــ ولقد شاهدت أشخاصا بالفعل بين الجمهور يومئون برأسهم ــ إذا لم تصدقني، أجد شخصا لديه أطفالا واسألهم، وستجدهم يعرفون أمر فيديوهات بيض المفاجآت. ومن هنا بدأنا. إنه عام 2018، وشخصا ما، أو الكثير منهم، يستخدمون نفس الآلية، التي يستخدمها الفيس بوك والانستجرام لتستمر في تفقد ذلك التطبيق، ويستخدمونها على اليوتيوب لتخترق عقول صغار الأطفال في مقابل عائدات الإعلانات.
But the thing is, it's not adults who are watching these videos. It's kids, small children. These videos are like crack for little kids. There's something about the repetition, the constant little dopamine hit of the reveal, that completely hooks them in. And little kids watch these videos over and over and over again, and they do it for hours and hours and hours. And if you try and take the screen away from them, they'll scream and scream and scream. If you don't believe me -- and I've already seen people in the audience nodding -- if you don't believe me, find someone with small children and ask them, and they'll know about the surprise egg videos. So this is where we start. It's 2018, and someone, or lots of people, are using the same mechanism that, like, Facebook and Instagram are using to get you to keep checking that app, and they're using it on YouTube to hack the brains of very small children in return for advertising revenue.
على الأقل، هذا ما آمل أنهم يفعلونه. آمل أن هذا ما يفعلونه لأجل ذلك، لأن هناك طرق أسهل للحصول على عائدات الإعلانات على اليوتيوب. يمكنك صنع أشياء أو سرقة أشياء. لذا إذا بحثت عن أفلام الكرتون المشهورة للأطفال ك"بيبا الخنزير" أو "دوريات المخالب" وستجد هناك الملايين والملايين منها أون لاين أيضا. ومعظمها، بالطبع، لم ينشرها منشئي المحتوى الأصلي. جاءت من تحميلات من حسابات مختلفة وعشوائية، ومن المستحيل معرفة مَن ينشرهم أو ما هي دوافعهم. أهذا يبدو مألوفاً؟ لأنها بالضبط نفس الآلية التي تحدث في معظم خدماتنا الرقمية، حيث من المستحيل معرفة من أين تأتي هذه المعلومات. إنها بالتأكيد أخبار مزيفة للأطفال، ونحن ندرّّبهم منذ ولادتهم على النقر على أول رابط يظهر أمامهم، دون النظر إلى مصدره. وهذا لا يبدو كفكرة جيدة للغاية.
At least, I hope that's what they're doing. I hope that's what they're doing it for, because there's easier ways of making ad revenue on YouTube. You can just make stuff up or steal stuff. So if you search for really popular kids' cartoons like "Peppa Pig" or "Paw Patrol," you'll find there's millions and millions of these online as well. Of course, most of them aren't posted by the original content creators. They come from loads and loads of different random accounts, and it's impossible to know who's posting them or what their motives might be. Does that sound kind of familiar? Because it's exactly the same mechanism that's happening across most of our digital services, where it's impossible to know where this information is coming from. It's basically fake news for kids, and we're training them from birth to click on the very first link that comes along, regardless of what the source is. That's doesn't seem like a terribly good idea.
وهنا شيء آخر خطير بالفعل على الأطفال على اليوتيوب. يدعى "أغنية عائلة الأصابع". سمعت للتو شخصا يتأوَّه بين الجمهور. هذه هي "أغنية عائلة الأصابع". وهذا أول فيديو تمكّنت من إيجاده. منذ عام 2007، ولديه فقط 200 ألف مشاهدة، ولا يمثل شيئا بالنسبة للمشاهدات الحالية. ولكن لها تأثير النغمات التي تتردد في الأذهان، ولن أُشغِّله لكم، لأنها ستؤثر على عقولكم بنفس الطريقة التي أثرت بها على عقلي، ولن أفعل ذلك بكم. ولكن مثل بيض المفاجآت، اخترقت عقول الأطفال وجعلتهم يدمنونها. لذا في خلال بضع سنوات، فيديوهات عائلة الأصابع بدأت تظهر في كل مكان، وتجد نسخ بمختلف اللغات بجانب أفلام كارتون الأطفال التي تستخدم الطعام أو، صراحةً، تستخدم أي نوع من الرسوم المتحركة التي تبدو أنها توجد حولنا. ومرة أخرى، هناك الملايين والملايين من هذه الفيديوهات متاحة أون لاين في جميع هذه المجموعات الجنونية نوعا ما وكلما قضيت وقتا أطول في مشاهدتها، ربما بدأ إحساسك بالجنون.
Here's another thing that's really big on kids' YouTube. This is called the "Finger Family Song." I just heard someone groan in the audience. This is the "Finger Family Song." This is the very first one I could find. It's from 2007, and it only has 200,000 views, which is, like, nothing in this game. But it has this insanely earwormy tune, which I'm not going to play to you, because it will sear itself into your brain in the same way that it seared itself into mine, and I'm not going to do that to you. But like the surprise eggs, it's got inside kids' heads and addicted them to it. So within a few years, these finger family videos start appearing everywhere, and you get versions in different languages with popular kids' cartoons using food or, frankly, using whatever kind of animation elements you seem to have lying around. And once again, there are millions and millions and millions of these videos available online in all of these kind of insane combinations. And the more time you start to spend with them, the crazier and crazier you start to feel that you might be.
ومن هنا بدأت أتعمّق فيها ذلك الشعور بالغرابة الشديدة والقصور في الفهم حول كيفية إنشاء هذا الشيء الذي يبدو أنه يُقدَّم حولي. لأنه من المستحيل أن تعرف مصدر هذه الأشياء. مثل، مَن الذي يصنعهم؟ والبعض منهم صنعهم فريق من إخصائيي رسوم متحركة محترفين. والبرمجيات جمّعتها بشكل عشوائي. وبعض منهم يبدو مفيدا تماما لتسلية الصغار. وبعضهم أشخاصاً لا ينبغي أن يكونوا بجوار الأطفال نهائياً.
And that's where I kind of launched into this, that feeling of deep strangeness and deep lack of understanding of how this thing was constructed that seems to be presented around me. Because it's impossible to know where these things are coming from. Like, who is making them? Some of them appear to be made of teams of professional animators. Some of them are just randomly assembled by software. Some of them are quite wholesome-looking young kids' entertainers. And some of them are from people who really clearly shouldn't be around children at all.
(ضحك)
(Laughter)
ومرة أخرى، تعذّر اكتشاف صانع هذه الأمور ــ مثل، هل هو إنسان آلي؟ هل هو شخص؟ أم غولاً؟ ماذا يعني ذلك أننا لا يمكننا معرفة الاختلاف بين هذه الأمور بعد الآن؟ ومجددا، أليس ذلك الشك يبدو مألوفاً الآن؟
And once again, this impossibility of figuring out who's making this stuff -- like, this is a bot? Is this a person? Is this a troll? What does it mean that we can't tell the difference between these things anymore? And again, doesn't that uncertainty feel kind of familiar right now?
فالسبيل الأساسي ليحصل الناس على نسب مشاهدة لفيديوهاتهم وتذكر، مشاهدات تعني نقود ــ هي أنهم يُعنْوِنون هذه الفيديوهات بأسماء مشهورة. مثل "بيض المفاجآت" وأضف "دوريات المخالب"، و"بيض شم النسيم" أو أيا من هذه الأشياء، جميعها كلمات من فيديوهات أخرى مشهورة لتظهر في عنوانك، حتى تنتهي بهذا النوع من مزيج عديم الجدوى للغة لا تجدي نفعا لجميع البشر. لأن بالطبع الصغار فقط هم الذين يشاهدون الفيديو الخاص بك، وماذا يعرفون بحق الجحيم؟ فجمهورك الحقيقي لهذه الأشياء هي البرمجيات. إنها الخوارزميات. إنها البرمجيات التي يستخدمها اليوتيوب لاختيار أي الفيديوهات التي تشبه الفيديوهات الأخرى، لإشهارها، وتزكيتها. ولهذا السبب ينتهي بك الأمر إلى هذا المزيج عديم الجدوى تماما، سواء من حيث العنوان أو المحتوى.
So the main way people get views on their videos -- and remember, views mean money -- is that they stuff the titles of these videos with these popular terms. So you take, like, "surprise eggs" and then you add "Paw Patrol," "Easter egg," or whatever these things are, all of these words from other popular videos into your title, until you end up with this kind of meaningless mash of language that doesn't make sense to humans at all. Because of course it's only really tiny kids who are watching your video, and what the hell do they know? Your real audience for this stuff is software. It's the algorithms. It's the software that YouTube uses to select which videos are like other videos, to make them popular, to make them recommended. And that's why you end up with this kind of completely meaningless mash, both of title and of content.
ولكن عليك أن تتذكر، أن لا زال هناك أشخاص في هذا النظام المثالي الذي يعمل بشكل لوغاريتمي، أشخاصاً يتزايد اضطرارهم لتمثيل هذا المزيج الغريب والمتزايد من الكلمات، مثل فنان ارتجالي يائس يرد على الصرخات المجتمعة لملايين الأطفال في آنٍ واحد. هناك أشخاص حقيقيون محاصرون بين هذه الأنظمة، والشيء الآخر الشديد الغرابة حول هذه الثقافة المدارة بالشكل اللوغاريتمي، لأنه حتى ولو كنت إنساناً، سينتهي بك الأمر لتتصرّف كالآلة فقط لتبقى حيّا.
But the thing is, you have to remember, there really are still people within this algorithmically optimized system, people who are kind of increasingly forced to act out these increasingly bizarre combinations of words, like a desperate improvisation artist responding to the combined screams of a million toddlers at once. There are real people trapped within these systems, and that's the other deeply strange thing about this algorithmically driven culture, because even if you're human, you have to end up behaving like a machine just to survive.
وأيضا، على الجانب الآخر من الشاشة، لازال يوجد هؤلاء الأطفال وهم يشاهدون هذه الفيديوهات، يُعيرون اهتمامهم بالكامل لهذه الآليات الغريبة. ومعظم هؤلاء الأطفال صغار للغاية لاستخدام أي موقع. إنهم فقط يطرقون بأيديهم الصغيرة على الشاشة. وهناك تشغيل تلقائي، حيث تستمر في عرض هذه الفيديوهات مرارًا وتكرارًا في حلقة لا نهائية لمدة ساعات طويلة في كل مرة. هناك أشياء غريبة للغاية في النظام الآن فيأخذك التشغيل التلقائي إلى أماكن غريبة جدا. وهكذا، من خلال عشرات الخطوات، يمكنك التنقل من فيديو لطيف لقطار عد الأرقام لاستمناء ميكي ماوس. نعم. أنا آسف لذلك. والأمر يزداد سوءأ. وهذا ما يحدث عندما كل هذه الكلمات الدلالية المختلفة، وكل الأشكال المختلفة من الاهتمام، وهذا الإنتاج المحبط للمحتوى، تواجدوا جميعا في مكان واحد. هذا هو المكان التي تأتي فيه كل الكلمات الأساسية الغريبة للغاية لتستقر. وتمزج فيديو عائلة الأصابع ببعض أمور الأبطال الخوارق الحقيقيين، وتضيف بعض المزحات الاستفزازية أو أي شيء وفجأة، تجد نفسك في موقع غريب للغاية.
And also, on the other side of the screen, there still are these little kids watching this stuff, stuck, their full attention grabbed by these weird mechanisms. And most of these kids are too small to even use a website. They're just kind of hammering on the screen with their little hands. And so there's autoplay, where it just keeps playing these videos over and over and over in a loop, endlessly for hours and hours at a time. And there's so much weirdness in the system now that autoplay takes you to some pretty strange places. This is how, within a dozen steps, you can go from a cute video of a counting train to masturbating Mickey Mouse. Yeah. I'm sorry about that. This does get worse. This is what happens when all of these different keywords, all these different pieces of attention, this desperate generation of content, all comes together into a single place. This is where all those deeply weird keywords come home to roost. You cross-breed the finger family video with some live-action superhero stuff, you add in some weird, trollish in-jokes or something, and suddenly, you come to a very weird place indeed.
الأمور التي تُغضب الآباء هي الأمور التي تحتوي على مشاهد عنيفة أو جنسية، أليس كذلك؟ أفلام كارتون لأطفال يتعرضون للاعتداء، يتعرضون للقتل، مقالب غريبة تُرعب الأطفال بالفعل. فليس لديك إلا برمجيات محاطة بكل هذه التأثيرات المختلفة. لتخلق تلقائيا أسوأ كوابيس الأطفال. وهذه الأمور بالفعل تؤثر على الأطفال. وأفاد آباء أن أطفالهم قد تعرضوا لصدمة نفسية، أصبحوا يخشوْن الظلام، يخْشَوْن شخصيات أفلام الكارتون المفضلة لديهم. والدرس المستفاد من هذه الفيديوهات، هو لو أن لديك أطفالا صغارا، أبعدهم عن اليوتيوب بحق الجحيم.
The stuff that tends to upset parents is the stuff that has kind of violent or sexual content, right? Children's cartoons getting assaulted, getting killed, weird pranks that actually genuinely terrify children. What you have is software pulling in all of these different influences to automatically generate kids' worst nightmares. And this stuff really, really does affect small children. Parents report their children being traumatized, becoming afraid of the dark, becoming afraid of their favorite cartoon characters. If you take one thing away from this, it's that if you have small children, keep them the hell away from YouTube.
(تصفيق)
(Applause)
ولكن السبب الذي جعلني أستعرض هذه الفيديوهات، هو أنني لست متأكدا كيف نصل بالفعل إلى هذه النقطة. لقد أخذنا كل هذه التأثيرات، وكل هذه الأمور، وغيّرناها معا بطريقة لا يقصدها أحد بالفعل. ومع ذلك، هذه هي الطريقة التي نبني بها العالم بأكمله. نأخد كل هذه البيانات، الكثير من البيانات السيئة، الكثير من البيانات التاريخية المليئة بالتحيُّز، مليئة بكل دوافعنا السيئة في التاريخ، وننشئ ذلك في مجموعات ضخمة من البيانات ونجعله أتوماتيكيا. وغيّرنا هذه البيانات معا إلى أشياءٍ مثل تقارير الجدارة الائتمانية، إلى أقساط التأمين، إلى أشياء مثل الأنظمة التنبئية لحفظ الأمن، إلى المبادئ التوجيهية لإصدار الأحكام. هذه هي الطريقة التي نبني بها بالفعل العالم اليوم بعيداً عن هذه البيانات. ولا أعرف ما هو الأسوأ، فنبني نظاما يبدو مثاليا بالكامل لأسوأ الجوانب تماما لسلوك الإنسان، أو كما يبدو أننا قمنا بذلك بالصدفة، دون حتى أن ندرك ما كنا نفعله، لأننا لم ندرك تماما الأنظمة التي قمنا بإنشائها، ولم نفهم تماما كيفية فعل أي شيء بصورة مختلفة بها.
But the other thing, the thing that really gets to me about this, is that I'm not sure we even really understand how we got to this point. We've taken all of this influence, all of these things, and munged them together in a way that no one really intended. And yet, this is also the way that we're building the entire world. We're taking all of this data, a lot of it bad data, a lot of historical data full of prejudice, full of all of our worst impulses of history, and we're building that into huge data sets and then we're automating it. And we're munging it together into things like credit reports, into insurance premiums, into things like predictive policing systems, into sentencing guidelines. This is the way we're actually constructing the world today out of this data. And I don't know what's worse, that we built a system that seems to be entirely optimized for the absolute worst aspects of human behavior, or that we seem to have done it by accident, without even realizing that we were doing it, because we didn't really understand the systems that we were building, and we didn't really understand how to do anything differently with it.
هناك أمرين أظن أنهما يتحكمان بهذا على ما يبدو تحديدا على اليوتيوب، الأمر الأول هو الإعلانات، التي تجني الأرباح من جذب الانتباه دون أي جهد حقيقي مبذول، أي اهتمام للناس الذين يطوِّرون بالفعل هذا المحتوى، تمركز القوى، وعزل تلك الأمور. وأظن مهما كان شعورك حول استخدام الإعلانات لدعم تلك الأمور، منظر رجل بالغ يرتدي حفاض يتقلّب في الرمال على أمل أن اللوغاريتم الذي لا يفهموه تماما سيجنون الأموال من جراء ذلك ويشير إلى أن ربما ليس هذا الأمر الذي يجب علينا أن نبني به مجتمعنا وثفافتنا، والطريقة التي يجب علينا تمويله من خلالها.
There's a couple of things I think that really seem to be driving this most fully on YouTube, and the first of those is advertising, which is the monetization of attention without any real other variables at work, any care for the people who are actually developing this content, the centralization of the power, the separation of those things. And I think however you feel about the use of advertising to kind of support stuff, the sight of grown men in diapers rolling around in the sand in the hope that an algorithm that they don't really understand will give them money for it suggests that this probably isn't the thing that we should be basing our society and culture upon, and the way in which we should be funding it.
والأمر الآخر هو المحرك الرئيسي لهذا هو التشغيل التلقائي، الذي يعتبر الموزّع لكل هذه التكنولوجيا بمجرد وصولها، مع عدم وجود أي نوع من أنواع الرقابة، ثم بمجرد ظهورها هناك، كأننا نرفع أيدينا ونمضي "ونلقي باللوم على التكنولوجيا." كأننا "لم نكن شركاء في ذلك." وذلك ليس جيدا بما يكفي، لأن هذه الأمور لا يتم التحكم بها بشكل لوغاريتمي فقط، بل أيضا يتم حمايتها بشكل لوغاريتمي. حينما بدأ اليوتيوب أن يولي اهتمامه لهذه الأمور، أول شيء قالوه ليفعلوا شيئا حياله كان أنهم سينشرون آلة أفضل على دراية باللوغاريتمات لتعديل المحتوى. قدرة الآلة على التعلم، كأي خبير في هذا المجال سيخبرك، هي أساسا ما بدأنا تسميته بالبرامجيات التي لا ندرك بالفعل كيف تعمل. وأظن أن لدينا بالفعل قدر كاف منها. ولم يجدر بنا أن نترك الأمر برمته للذكاء الاصطناعي لكي يقرر ما هو مناسب أم غير مناسب، لأننا نعرف ما يحدث. سيبدأ بمراقبة الأشياء الأخرى. سيبدأ بفرض رقابة على المحتوى الغريب. سيبدأ بفرض رقابة على الخطاب العام المشروع. وما هو مسموح في هذه المحادثات، ولا ينبغي أن يُترك الأمر برمته لأنظمة غير مسؤولة. إنها جزء من مناقشة يجب أن نشارك بها جميعا.
And the other thing that's kind of the major driver of this is automation, which is the deployment of all of this technology as soon as it arrives, without any kind of oversight, and then once it's out there, kind of throwing up our hands and going, "Hey, it's not us, it's the technology." Like, "We're not involved in it." That's not really good enough, because this stuff isn't just algorithmically governed, it's also algorithmically policed. When YouTube first started to pay attention to this, the first thing they said they'd do about it was that they'd deploy better machine learning algorithms to moderate the content. Well, machine learning, as any expert in it will tell you, is basically what we've started to call software that we don't really understand how it works. And I think we have enough of that already. We shouldn't be leaving this stuff up to AI to decide what's appropriate or not, because we know what happens. It'll start censoring other things. It'll start censoring queer content. It'll start censoring legitimate public speech. What's allowed in these discourses, it shouldn't be something that's left up to unaccountable systems. It's part of a discussion all of us should be having.
ولكن سأترك تذكِرة أن البديل ليس مبهجا للغاية أيضا. وأعلن اليوتيوب مؤخرا أنهم سيطلقون نسخة من تطبيقهم الخاص بالأطفال الذي سيعدّله البشر بالكامل. الفيس بوك... تحدّث زوكربيرج كثيرا عن نفس الشيء في الكونجرس، عندما أعرب عن كيفية تعديل محتواهم. قال إن لديهم أشخاصا يقومون بذلك. وما يعنيه ذلك الكلام هو أن بدلا من أن يكون الأطفال الصغار هم أول من يشاهدوا هذا المحتوى، سيكون هناك موظفين بأجر يعملون بعقد مؤقت بدون دعم مناسب للصحة العقلية التي ستتضرّر بسببها أيضا.
But I'd leave a reminder that the alternative isn't very pleasant, either. YouTube also announced recently that they're going to release a version of their kids' app that would be entirely moderated by humans. Facebook -- Zuckerberg said much the same thing at Congress, when pressed about how they were going to moderate their stuff. He said they'd have humans doing it. And what that really means is, instead of having toddlers being the first person to see this stuff, you're going to have underpaid, precarious contract workers without proper mental health support being damaged by it as well.
(ضحك)
(Laughter)
أظن أنه يمكننا جميعا أن نعمل أفضل كثيرا من ذلك.
And I think we can all do quite a lot better than that.
(تصفيق)
(Applause)
أظن أن الفكر الذي يجمع هذه الأمور معا، بالنسبة لي، هو الوكالة. كأننا نحدد مقدار ما ندركه بالفعل... حسب الوكالة، أعني: كيف نعرف كيفية التصرُّف في مصالحنا الفضلي. التي ... من المستحيل القيام بذلك في هذه الأنظمة التي لا نفهمها تماما. عدم التكافؤ في ميزان القوى يؤدي دائما إلى العنف. ويمكننا رؤية داخل هذه الأنظمة أن انعدام المساواة في الفهم يؤدي أيضا لنفس النتيجة. إذا كان هناك شيئا ما يمكننا فعله للبدء في تحسين هذه الأنظمة، هو أن نوضحها بشكل أفضل للناس الذين يستخدمونها، لكي نحظى جميعا بفهم موحد لما يجري هنا بالفعل.
The thought, I think, that brings those two things together, really, for me, is agency. It's like, how much do we really understand -- by agency, I mean: how we know how to act in our own best interests. Which -- it's almost impossible to do in these systems that we don't really fully understand. Inequality of power always leads to violence. And we can see inside these systems that inequality of understanding does the same thing. If there's one thing that we can do to start to improve these systems, it's to make them more legible to the people who use them, so that all of us have a common understanding of what's actually going on here.
الأمر هو أنه، على الرغم من أنني أفكر كثيرا في هذه الأنظمة، ليس فقط عن اليوتيوب كما آمل أني قد شرحت ذلك. ولكنه عن كل شيء. هذه القضايا المتعلقة بالمسؤولية والوكالة، ومعدل الشفافية والتعقيد، والعنف والاستغلال الذي ينتج تلقائيا عن تمركز القوى بين أياد قليلة... هذه القضايا أكبر بكثير. إنها قضايا ليست متعلقة باليوتيوب فحسب، وليست متعلقة بالتكنولوجيا عموما، وليست حتى جديدة. إنها تتواجد معنا منذ قرون. ولكن في النهاية بنينا هذا النظام، هذا النظام العالمي، الإنترنت، الذي قدمهم إلينا بالفعل بطريقة رائعة، بشكل لا يمكن إنكاره. التكنولوجيا لديها هذه القدرة الرائعة لتنشئ مثيلا وتستمر في عرض كل رغباتنا الأكثر غرابة وغالبا ما تكون رغبات وتحيّزات خفية وترميزهم إلى العالم، ولكن تدوّنهم أيضا لكي نتمكن من رؤيتهم، ولا يمكننا التظاهر بعدم وجودها بعد الآن. نحتاج أن نكف عن التفكير في التكنولوجيا كحل لكل مشاكلنا، ولكن نفكر فيها كدليل لمعرفة ما هي تلك المشاكل بالفعل، لكي نبدأ بالتفكير فيهم بشكل مناسب ونبدأ في مواجهتهم.
The thing, though, I think most about these systems is that this isn't, as I hope I've explained, really about YouTube. It's about everything. These issues of accountability and agency, of opacity and complexity, of the violence and exploitation that inherently results from the concentration of power in a few hands -- these are much, much larger issues. And they're issues not just of YouTube and not just of technology in general, and they're not even new. They've been with us for ages. But we finally built this system, this global system, the internet, that's actually showing them to us in this extraordinary way, making them undeniable. Technology has this extraordinary capacity to both instantiate and continue all of our most extraordinary, often hidden desires and biases and encoding them into the world, but it also writes them down so that we can see them, so that we can't pretend they don't exist anymore. We need to stop thinking about technology as a solution to all of our problems, but think of it as a guide to what those problems actually are, so we can start thinking about them properly and start to address them.
شكرا جزيلا لكم.
Thank you very much.
(تصفيق)
(Applause)
شكرا لكم.
Thank you.
(تصفيق)
(Applause)
شكرا لك يا جيمس لقدومك وتقديمك لهذه المحادثة لنا. هذا مثير للاهتمام: حينما تفكر في الأفلام التي يسيطر فيها الإنسان الآلي ويصبح الحاكم، إنها أكثر إبهارا قليلا عما تصفه. ولكن أتساءل... في تلك الأفلام، نرى تصاعد المقاومة. أيوجد تصاعد للمقاومة ضد هذه الأمور؟ أترى أي إشارات إيجابية، أي بوادر للمقاومة؟
Helen Walters: James, thank you for coming and giving us that talk. So it's interesting: when you think about the films where the robotic overlords take over, it's all a bit more glamorous than what you're describing. But I wonder -- in those films, you have the resistance mounting. Is there a resistance mounting towards this stuff? Do you see any positive signs, green shoots of resistance?
لا أعرف عن المقاومة المباشرة، لأن هذه الأمور طويلة الأمد للغاية. أظن أنها يتم غرسها في ثقافتنا بطرق عميقة للغاية. وتقول صديقتي "إلينورسايتا" دائما أي مشاكل تكنولوجية بحجم ونطاق كافٍ هي مشاكل سياسية في المقام الأول. لذا، كل هذه الأمور التي نعمل للتصدي لها في هذا النطاق لن يتم التصدي لها فقط بإنشاء تكنولوجيا أفضل، ولكن بتغير المجتمع بالفعل الذي يُنتج هذه التكنولوجيات. لذا أقول لا، ليس الآن، أظن أن لدينا طريق طويل للغاية للمضي فيه. ولكن كما قلت، أظن بإظهارهم، وبتوضيحهم، وبالتحدّث عنهم بصراحة مطلقة، يمكننا البدء على الأقل بهذه الخطوات.
James Bridle: I don't know about direct resistance, because I think this stuff is super long-term. I think it's baked into culture in really deep ways. A friend of mine, Eleanor Saitta, always says that any technological problems of sufficient scale and scope are political problems first of all. So all of these things we're working to address within this are not going to be addressed just by building the technology better, but actually by changing the society that's producing these technologies. So no, right now, I think we've got a hell of a long way to go. But as I said, I think by unpacking them, by explaining them, by talking about them super honestly, we can actually start to at least begin that process.
وعندما تتحدّث عن سهولة القراءة والمعرفة الرقمية، أجد صعوبة في تخيُّل أننا نحتاج إلي أن نضع عِبء المعرفة الرقمية على عاتق المستخدمين. ولكن على مَن تقع مسؤولية التعليم في هذا العالم الجديد؟
HW: And so when you talk about legibility and digital literacy, I find it difficult to imagine that we need to place the burden of digital literacy on users themselves. But whose responsibility is education in this new world?
مرة أخرى، أظن أنها مسؤوليتنا جميعا، فكل شيء نفعله، وكل شيء نبنيه، ونصنعه، يحتاج أن يتم في مناقشة توافقية مع كل شخص يتجنبها؛ لأننا لا ننشئ أنظمة بغرض خداع ومفاجأة الناس لفعل الصواب، ولكن نحن بالفعل مشاركون في كل خطوة في تعليمهم، لأن كل نظام من هذه النظم يُعد تعليميًا. ولهذا السبب أنا متفائل بشأنه، وحتى بشأن هذه الأمور المُروّعة، التي إذا أخذتها وأمعنت النظر فيها، ستجدها بالفعل قطعة تعليمية التي تسمح لك ببدء رؤية كم الأنظمة المعقدة التي تجتمع معا وتعمل وربما تُطبق تلك المعرفة في أي مكان آخر في العالم.
JB: Again, I think this responsibility is kind of up to all of us, that everything we do, everything we build, everything we make, needs to be made in a consensual discussion with everyone who's avoiding it; that we're not building systems intended to trick and surprise people into doing the right thing, but that they're actually involved in every step in educating them, because each of these systems is educational. That's what I'm hopeful about, about even this really grim stuff, that if you can take it and look at it properly, it's actually in itself a piece of education that allows you to start seeing how complex systems come together and work and maybe be able to apply that knowledge elsewhere in the world.
إنها مناقشة هامة يا جيمس، وأعرف الكثير من الأشخاص منفتحين للغاية ومستعدين للحصول عليه، لذا، شكرا لأنك بدأت صباحنا بشيء جيد.
HW: James, it's such an important discussion, and I know many people here are really open and prepared to have it, so thanks for starting off our morning.
شكرا لكم جزيلا. هتاف.
JB: Thanks very much. Cheers.
(تصفيق)
(Applause)