I'm James. I'm a writer and artist, and I make work about technology. I do things like draw life-size outlines of military drones in city streets around the world, so that people can start to think and get their heads around these really quite hard-to-see and hard-to-think-about technologies. I make things like neural networks that predict the results of elections based on weather reports, because I'm intrigued about what the actual possibilities of these weird new technologies are. Last year, I built my own self-driving car. But because I don't really trust technology, I also designed a trap for it.
جیمز هستم. نویسنده و هنرمندم، و کارم درباره فناوری است. کارهایی مثل کشیدن هواپیماهای بدون سرنشین نظامی در مقیاس واقعی را در خیابانهای شهرهای جهان انجام میدهم. تا مردم شروع به فکر کردن به مسائل فناوری کنند که هم دیدن و هم فهم شان سخت است. ابزاری مثل شبکههای عصبی میسازم که نتایج انتخابات را بر اساس گزارشهای هواشناسی پیش بینی میکند، چون علاقمندم بفهمم امکانات واقعی این فناوریهای عجیب جدید چیست؟ پارسال، اولین ماشین خودران خود را ساختم. اما چون حقیقتا به فناوری اعتماد ندارم، یک تله نیز برایش طراحی کردم.
(Laughter)
(خنده)
And I do these things mostly because I find them completely fascinating, but also because I think when we talk about technology, we're largely talking about ourselves and the way that we understand the world. So here's a story about technology.
و این کارها را برای این انجام میدهم که برایم خیلی جالبند، و فکر میکنم که وقتی درباره فناوری حرف میزنیم در واقع عمدتا درباره خودمان و نحوه درک خود از جهان اطراف صحبت میکنیم. خوب، داستانی از فناوری را تعریف میکنم.
This is a "surprise egg" video. It's basically a video of someone opening up loads of chocolate eggs and showing the toys inside to the viewer. That's it. That's all it does for seven long minutes. And I want you to notice two things about this. First of all, this video has 30 million views.
این ویدئویی درباره تخم مرغ شانسی است. در واقع این ویدئو شخصی است که کلی تخم مرغ شانسی را باز کرده و اسباببازی داخل آن را نشان بیننده میدهد. فقط همین. این کل چیزی است که طی ۷ دقیقه انجام میدهد. و از شما می خواهم که به دو چیز در مورد این ویدئو توجه کنید. نخست، این ویدئو ۳۰ میلیون بار دیده شده است.
(Laughter)
(خنده)
And the other thing is, it comes from a channel that has 6.3 million subscribers, that has a total of eight billion views, and it's all just more videos like this -- 30 million people watching a guy opening up these eggs. It sounds pretty weird, but if you search for "surprise eggs" on YouTube, it'll tell you there's 10 million of these videos, and I think that's an undercount. I think there's way, way more of these. If you keep searching, they're endless. There's millions and millions of these videos in increasingly baroque combinations of brands and materials, and there's more and more of them being uploaded every single day. Like, this is a strange world. Right?
و مورد بعدی این که، این ویدئو از کانالی است که ۶/۳ میلیون عضو دارد، که در مجموع ۸ میلیارد بازدید شده است. و ویدیوهای مشابه اینطوری زیادند-- ۳۰ میلیون نفر به تماشای شخصی که در حال بازکردن تخم مرغ شانسی است نشستهاند. بنظر عجیب است، اما اگر در یوتیوب تخم مرغ شانسی را جستجو کنید، متوجه خواهید شد که ۱۰ میلیون از این ویدئوها وجود دارد، که فکر میکنم این رقم بسیار بسیار بالاتر باشد. با ادامه جستجو متوجه میشوید که پایان ندارد. میلیونها میلیون از این ویدئوها که ترکیب عجیب و غربی از برندها و مواد هستند وجود دارد. و هرروز هم تعداد بیشتری بارگذاری میشوند. دنیای عجیبی است. نه؟
But the thing is, it's not adults who are watching these videos. It's kids, small children. These videos are like crack for little kids. There's something about the repetition, the constant little dopamine hit of the reveal, that completely hooks them in. And little kids watch these videos over and over and over again, and they do it for hours and hours and hours. And if you try and take the screen away from them, they'll scream and scream and scream. If you don't believe me -- and I've already seen people in the audience nodding -- if you don't believe me, find someone with small children and ask them, and they'll know about the surprise egg videos. So this is where we start. It's 2018, and someone, or lots of people, are using the same mechanism that, like, Facebook and Instagram are using to get you to keep checking that app, and they're using it on YouTube to hack the brains of very small children in return for advertising revenue.
اما مساله این است که که مخاطب این ویدئوها بزگسالان نیستند، بلکه کودکان هستند. این ویدئوها مثل هروپین برای کودکان است. این تکرار ویدئوها مانند ترشح دوپامین، آنها را گیر میاندازد. و کودکان این ویدئوها را بارها و بارها و بارها و ساعتها و ساعتها تماشا میکنند. و اگر آنها را از این کار باز دارید، جیغ و فریاد خواهند کرد. اگر حرفم را باور ندارید-- و بعضی از شما را میبینم که سر تایید تکان میدهید-- اگر باور ندارید، افرادی که بچه دارند را پیدا کنید و از آنها بپرسید تا به شما درباره این تخممرغ شانسیها بگویند. خوب این شروع کار ما است. سال ۲۰۱۸ است، و اشخاص یا خیلی از مردم از ابزارهایی شبیه فیسبوک و اینستاگرم استفاده می کنند تا شما را وادار به چک کردن آن اپلیکیشن کنند، و از آن در یوتیوب استفاده میکنند تا مغز کودکان را برای درآمد ناشی از تبلیغات شستشو دهند.
At least, I hope that's what they're doing. I hope that's what they're doing it for, because there's easier ways of making ad revenue on YouTube. You can just make stuff up or steal stuff. So if you search for really popular kids' cartoons like "Peppa Pig" or "Paw Patrol," you'll find there's millions and millions of these online as well. Of course, most of them aren't posted by the original content creators. They come from loads and loads of different random accounts, and it's impossible to know who's posting them or what their motives might be. Does that sound kind of familiar? Because it's exactly the same mechanism that's happening across most of our digital services, where it's impossible to know where this information is coming from. It's basically fake news for kids, and we're training them from birth to click on the very first link that comes along, regardless of what the source is. That's doesn't seem like a terribly good idea.
حداقل، کاری است که امیدوارم انجام دهند. امیدوارم دنبال این باشند، بدلیل اینکه راههای ساده تری برای کسب درآمد از تبلیغ در یوتیوب وجود دارد. شما میتوانید محتوا تولید کنید یا بدزدید. بنابراین اگر دنبال کارتونهای واقعا مشهور کودکان مثل «پپاپیگ» یا «پاو پترول» باشید، میلیونها و میلیونها از اینها را نیز انلاین پیدا کنید. البته بیشتر آنها توسط خالقشان پست نشدهاند. بلکه توسط بسیاری از حسابهای مختلف هستند که پیدا کردن و پی بردن به انگیزهشان غیرممکن است. آیا به نظرتان آشنا نیست؟ چون همان مکانیزمی است که در بیشتر سرویسهای دیجیتال استفاده میشود، که غیر ممکن است بتوان منبع را یافت. اساسا اخبار دروغ برای کودکان هستند، و ما نیز از بدو تولد به کودکان میآموزیم که روی اولین لینکی که میبینند کلیک کنند، بدون توجه به منبع آن. به نظر ایده جالبی نمیآید.
Here's another thing that's really big on kids' YouTube. This is called the "Finger Family Song." I just heard someone groan in the audience. This is the "Finger Family Song." This is the very first one I could find. It's from 2007, and it only has 200,000 views, which is, like, nothing in this game. But it has this insanely earwormy tune, which I'm not going to play to you, because it will sear itself into your brain in the same way that it seared itself into mine, and I'm not going to do that to you. But like the surprise eggs, it's got inside kids' heads and addicted them to it. So within a few years, these finger family videos start appearing everywhere, and you get versions in different languages with popular kids' cartoons using food or, frankly, using whatever kind of animation elements you seem to have lying around. And once again, there are millions and millions and millions of these videos available online in all of these kind of insane combinations. And the more time you start to spend with them, the crazier and crazier you start to feel that you might be.
از برنامههای محبوب دیگر برای کودکان در یوتیوب، ترانه خانواده انگشتی است. ناله یکی از حضار را شنیدم. این ترانه خانواده انگشتی است. یکی از اولین نمونهها که پیدا کردم. سال ۲۰۰۷ ساخته شده، و فقط ۲۰۰٫۰۰۰ بار دیده شده است، که رقم بسیار پایینی است. اما نوای بسیار گوش نوازی دارد، که نمیخواهم اینجا پخش کنم، چون کرم مغز شما خواهد شد همانطور که برای من اتفاق افتاد. و نمیخواهم برای شما تکرار شود. اما همانند تخم مرغ شانسی، داخل مغز کودکان نفوذ کرده و آنها را معتاد کرده است. بنابراین بزودی، ویدئوهای خانواده انگشتی همه جا ظاهر شدند، و به زبانهای مختلف با کارتونهای مشهور کودکان با استفاده از غذا یا راستش هر عنصر انیمیشنی موجود در اطراف خواهد بود. میلیونها میلیون از این ویدئوها با ترکیبهای متفاوت روی اینترنت موجود است. و هرقدر وقت بیشتری با آنها صرف کنید، احساس دیوانگی بیشتری خواهید داشت.
And that's where I kind of launched into this, that feeling of deep strangeness and deep lack of understanding of how this thing was constructed that seems to be presented around me. Because it's impossible to know where these things are coming from. Like, who is making them? Some of them appear to be made of teams of professional animators. Some of them are just randomly assembled by software. Some of them are quite wholesome-looking young kids' entertainers. And some of them are from people who really clearly shouldn't be around children at all.
و این جا است که من به این موضوع علاقهمند شدم، احساس غریبگی عمیق و درک ناقص چگونگی تولید آن من را احاطه کرده بود. چون غیرممکن است که بدانید این چیزها از کجا میآیند؟ مثلا سازندهشان کیست؟ بعضی از آنها توسط تیمی از انیماتورهای حرفهای ساخته شدهاند. بعضی از آنها توسط نرمافزار سرهم شدهاند. بعضی از آنها سرگرم کنندههای سالمی برای کودکان هستند. اما بعضی را افرادی تهیه میکنند که به هیچ عنوان نباید اطراف کودکان باشند.
(Laughter)
(خنده)
And once again, this impossibility of figuring out who's making this stuff -- like, this is a bot? Is this a person? Is this a troll? What does it mean that we can't tell the difference between these things anymore? And again, doesn't that uncertainty feel kind of familiar right now?
و دوباره، این عدم امکان فهمیدن منبع ساخت این ویدئوها است-- مثل این که بات باشد؟ یا شخص و یا ترول؟ این یعنی ما نمیتوانیم تفاوت بین اینها را دیگر بیابیم؟ و دوباره، آیا این عدم اطمینان آشنا نیست؟
So the main way people get views on their videos -- and remember, views mean money -- is that they stuff the titles of these videos with these popular terms. So you take, like, "surprise eggs" and then you add "Paw Patrol," "Easter egg," or whatever these things are, all of these words from other popular videos into your title, until you end up with this kind of meaningless mash of language that doesn't make sense to humans at all. Because of course it's only really tiny kids who are watching your video, and what the hell do they know? Your real audience for this stuff is software. It's the algorithms. It's the software that YouTube uses to select which videos are like other videos, to make them popular, to make them recommended. And that's why you end up with this kind of completely meaningless mash, both of title and of content.
بنابراین اصلیترین راهی که این ویدئوها بازدید شوند، و یادتان باشد، بازدید یعنی پول -- این است که نامهای معروف برای آنها انتخاب شود. مثل تخم مرغ شانسی و بعد افزودن نامهای دیگر، مثل پاوپاترول، تخم مرغ عید پاک، یا هر چیز دیگری که هست، همه اینها از ویدئوهای محبوب در عنوان میآید تا که ملغمه بیسروتهای از کلمهها سرهم شود که برای انسانها مفهومی ندارد. چون البته که بچههای کوچک تنها تماشاچی این ویدئوها هستند و آنها هم از همه جا بیخبرند. مخاطب حقیقی شما برای این محتواها نرمافزارها هستند. الگوریتمها. نرمافزاری که یوتیوب استفاده میکند تا انتخاب کند کدام ویدئوها مثل سایر ویدئوها هستند، کدام را محبوب کند، کدام را توصیه کند. و برای همین به آن ملغمه کاملا بیسر و ته ختم میشود، هم در محتوا و هم در عنوان.
But the thing is, you have to remember, there really are still people within this algorithmically optimized system, people who are kind of increasingly forced to act out these increasingly bizarre combinations of words, like a desperate improvisation artist responding to the combined screams of a million toddlers at once. There are real people trapped within these systems, and that's the other deeply strange thing about this algorithmically driven culture, because even if you're human, you have to end up behaving like a machine just to survive.
اما نکتهای که باید به خاطر بسپارید: واقعا هنوز بین این سیستم الگوریتمی بهینه شده آدمهایی هستند که به طرز فزایندهای وادارشدهاند این ترکیب رو به رشد غریب از واژهها، مثل هنرمند بداههپرداز مستاصلی که به فریادهای یکی شده میلیونها کودک نوپا هم زمان جواب دهد. آدمهای واقعی در این سیستمها به دام افتادند، و این چیز واقعا عجیب دیگری است درباره فرهنگ نشات گرفته از الگوریتم، چون حتی اگر انسان باشی، براب بقاء داشتن باید دست آخر مثل ماشین رفتار کنی.
And also, on the other side of the screen, there still are these little kids watching this stuff, stuck, their full attention grabbed by these weird mechanisms. And most of these kids are too small to even use a website. They're just kind of hammering on the screen with their little hands. And so there's autoplay, where it just keeps playing these videos over and over and over in a loop, endlessly for hours and hours at a time. And there's so much weirdness in the system now that autoplay takes you to some pretty strange places. This is how, within a dozen steps, you can go from a cute video of a counting train to masturbating Mickey Mouse. Yeah. I'm sorry about that. This does get worse. This is what happens when all of these different keywords, all these different pieces of attention, this desperate generation of content, all comes together into a single place. This is where all those deeply weird keywords come home to roost. You cross-breed the finger family video with some live-action superhero stuff, you add in some weird, trollish in-jokes or something, and suddenly, you come to a very weird place indeed.
و هنوز در آن سوی پرده این خردسالان هستند که این محتوا را میبینند، در حالی که کل توجه آنها با این مکانیزمهای عجیب جلب میشود. و اکثر این کودکان حتی برای استفاده از یوتیوب خیلی کوچکند. با دستهای کوچک خود به صفحه میکوبند. و خب این پخش خودکار هست، که به پخش این ویدئوها پشت سر هم در این بدون وقفه برای ساعتهای متوالی ادامه میدهد. و الان در سیستم چنان چیزهایی غریبی هست که حالت پخش خودکار شما را به جاهای عجیب میبرد. اینطوری است که طی چند مرحله میتوانید از یک ویدئوی بامزه از قطار شماری به میکیموسی برسید که خودارضایی میکند. بله. متاسفم درباره آن. تازه بدتر هم میشود. اتفاقی که میافتد این است وقتی همه این کلیدواژههای مختلف، همه این تکههای مختلف توجه، این نسل متاصل محتوا، همه در یک جا گرد میآید. اینجاست که همه آن کلیدواژههای عمیقا عجیب تاوان این ندانم کاری را میدهند. ویدئوی خانواده انگشتی را با برخی چیزهای ابر-قهرمانی زنده پیوند میزنید، به آن امثال شوخیهای ترولیوار عجیب را اضافه میکنید و ناگهان راستش از جای عجیبی سر در میآورید.
The stuff that tends to upset parents is the stuff that has kind of violent or sexual content, right? Children's cartoons getting assaulted, getting killed, weird pranks that actually genuinely terrify children. What you have is software pulling in all of these different influences to automatically generate kids' worst nightmares. And this stuff really, really does affect small children. Parents report their children being traumatized, becoming afraid of the dark, becoming afraid of their favorite cartoon characters. If you take one thing away from this, it's that if you have small children, keep them the hell away from YouTube.
چیزهایی که موجب برافروختگی والدین میشود بنوعی حاوی محتوا خشونت آمیز یا جنسی هستند، درست است؟ کارتونهای کودکان که مورد آزار قرار میگیرند، کشته میشوند، شوخیهای عجیب که در واقع کودکان را میترساند. آنچه دارید نرمافزاری است همه انواع این تاثیرات مختلف را گرد میآورد تا بطور خودکار بدترین کابوسهای کودکان را تولید کنند. و این چیزها واقعا واقعا روی بچههای کوچک تاثیر میگذارد. والدین از آسیبهای روحی فرزندان خود گزارش میدهند، ترسیدنشان از تاریکی، ترسیدنشان از شخصیتهای محبوب کارتونی خود. اگر قرار به کار بردن یک نکته باشید بچههای کوچک را از یوتیوب دور نگه دارید.
(Applause)
(تشویق)
But the other thing, the thing that really gets to me about this, is that I'm not sure we even really understand how we got to this point. We've taken all of this influence, all of these things, and munged them together in a way that no one really intended. And yet, this is also the way that we're building the entire world. We're taking all of this data, a lot of it bad data, a lot of historical data full of prejudice, full of all of our worst impulses of history, and we're building that into huge data sets and then we're automating it. And we're munging it together into things like credit reports, into insurance premiums, into things like predictive policing systems, into sentencing guidelines. This is the way we're actually constructing the world today out of this data. And I don't know what's worse, that we built a system that seems to be entirely optimized for the absolute worst aspects of human behavior, or that we seem to have done it by accident, without even realizing that we were doing it, because we didn't really understand the systems that we were building, and we didn't really understand how to do anything differently with it.
اما نکته دیگری که واقعا من را درگیر خودش کرده این است که من مطمئن نیستم ما حتی واقعا بفهمیم چطور به این نکته رسیدیم. ما همه تاثیرات این چیزها را لحاظ کردهایم و چنان ملغمهای درست کردهایم که کسی واقعا قصدش را نداشته است. و هنوز با این روش به ساخت دنیا ادامه میدهیم. همه این دادهها را بر میداریم، کلی دادههای بد، کلی دادههای تاریخی سرشار از تعصب، سرشار از بدترین محرکهای ما در تاریخ، و ما از آنها مجموعهای عظیم از دادهها میسازیم و بعد آنها را خودکار میکنیم و آنها در قالب گزارشهای اعتباری، به حق بیمه و چیزهایی مثل سیستمهای سیاستگذاری پیشگویانه، و خط مشیهای محکوم کننده ترکیب میکنیم. این دقیقا همان روشی است که ما جهان امروز را از دادهها میسازیم. و نمیدانم که کدام بدتر است، که سیستمی بسازیم که ظاهرا برای بدترین زوایای رفتار بشر بهینه باشد یا که ظاهرا این کار را انجام داده ایم، آن هم ندانسته، چون واقعا سیستمهایی که میساختیم را نمیفهمیدند، و واقعا نمیفهمیدیم چه کار متفاوتی با آن انجام دهیم.
There's a couple of things I think that really seem to be driving this most fully on YouTube, and the first of those is advertising, which is the monetization of attention without any real other variables at work, any care for the people who are actually developing this content, the centralization of the power, the separation of those things. And I think however you feel about the use of advertising to kind of support stuff, the sight of grown men in diapers rolling around in the sand in the hope that an algorithm that they don't really understand will give them money for it suggests that this probably isn't the thing that we should be basing our society and culture upon, and the way in which we should be funding it.
فکر میکنم چند مورد هست که واقعا به نظر میرسد که با تمام قدرت در یوتیوب محرک هستند، و اول از همه تبلیغات است، که از توجه پول در میآورد بدون هیچ متغیر واقعی دیگری دراین بین، بدون توجه به آدمهایی که در واقع این محتوا را تولید میکنند، متمرکز کردن قدرت، تمایز دادن این چیزها. و اگر چه شاید این حس را داشته باشید که استفاده از تبلیغات بنوعی برای حمایت از چیزهاست، تصویر مردان بالغ در پوشک که در ماسه میغلتند به امید الگوریتمی که آنها واقعا نمیفهمند پول برای آن میدهند نشان میدهد که این شاید چیزی نیست که باید اجتماع و فرهنگ خود را بر پایه آن بگذاریم، و روش سرمایهگذاری ما در آن.
And the other thing that's kind of the major driver of this is automation, which is the deployment of all of this technology as soon as it arrives, without any kind of oversight, and then once it's out there, kind of throwing up our hands and going, "Hey, it's not us, it's the technology." Like, "We're not involved in it." That's not really good enough, because this stuff isn't just algorithmically governed, it's also algorithmically policed. When YouTube first started to pay attention to this, the first thing they said they'd do about it was that they'd deploy better machine learning algorithms to moderate the content. Well, machine learning, as any expert in it will tell you, is basically what we've started to call software that we don't really understand how it works. And I think we have enough of that already. We shouldn't be leaving this stuff up to AI to decide what's appropriate or not, because we know what happens. It'll start censoring other things. It'll start censoring queer content. It'll start censoring legitimate public speech. What's allowed in these discourses, it shouldn't be something that's left up to unaccountable systems. It's part of a discussion all of us should be having.
و نکته دیگر این است که محرک دیگر اصلی برای آن اتوماسیون است که بکارگیری انواع این فناوریها است و وقتی بدون هیچ دوراندیشی عرضه میشوند و قابل دسترس میشوند، مثل این میماند که دست در هوا تکان داده و بگوییم، «کار ما نیست. تقصیر فناوریه.» یا «ما که دخالتی نداریم.» که واقعا به حد کافی خوب نیست، چون این چیزها صرفا اگوریتمی مدیریت نمیشوند، بلکه الگوریتمی هم سیاستگذاری میشوند. وقتی یوتیوب اولین بار شروع به توجه کردن به این کرد، اولین کاری که گفتند در این باره انجام دادند به کارگیر الگوریتمهای بهتر یادگیری ماشین بود برای تعدیل محتوا. خب، یادگیری ماشین، همانطور هر متخصص فعال در آن به شما خواهد گفت، اساسا چیزی را نرمافزار نامیدیم که درک واقعی از کارکردش نداریم. و فکر کنم الان بحد کافی از آن داریم. نباید اینها را برای تصمیمگیری درست یا غلطی به هوش مصنوعی محول کرد، چون میدانیم چطور میشود. بقیه چیزها را سانسور میکند. محتوا دگرباشها را سانسور خواهد کرد. سخنرانیهای عمومی مشروع را سانسور میکند. محتوای مجاز در این گفت و شنودها نباید به سیستمهای بازخواست نشدنی محول گردد. باید بخشی از بحثی باشد که همه ما مشارکت داریم.
But I'd leave a reminder that the alternative isn't very pleasant, either. YouTube also announced recently that they're going to release a version of their kids' app that would be entirely moderated by humans. Facebook -- Zuckerberg said much the same thing at Congress, when pressed about how they were going to moderate their stuff. He said they'd have humans doing it. And what that really means is, instead of having toddlers being the first person to see this stuff, you're going to have underpaid, precarious contract workers without proper mental health support being damaged by it as well.
اما بگذارید یادآوری کنم که جایگزین حتی خیلی دلچسب هم نیست. یوتیوب اخیرا اعلام کرد که قصد انتشار نسخهای از برنامه کاربردی کودکان را دارند که تماما از سوی انسانها اداره میشود. فیسبوک -- زوکربرگ تقریبا چیزی مشابه را در کنگره گفت، وقتی درباره نحوه تعدیل محتوایشان تحت فشار قرار گرفت، گفت آدمها را برای انجامش دارند. و معنی واقعی آن این است که بجای داشتن نوپاهایی که اولین بیننده این برنامهها باشند، کارکنان قراردادی متزلزل کم درآمد فاقد حمایت سلامت روان مناسب را خواهید داشت که از آن آسیب هم در امان نمیمانند.
(Laughter)
(خنده)
And I think we can all do quite a lot better than that.
و فکر میکنم میتوانیم عملکرد بهتری داشته باشیم.
(Applause)
(تشویق)
The thought, I think, that brings those two things together, really, for me, is agency. It's like, how much do we really understand -- by agency, I mean: how we know how to act in our own best interests. Which -- it's almost impossible to do in these systems that we don't really fully understand. Inequality of power always leads to violence. And we can see inside these systems that inequality of understanding does the same thing. If there's one thing that we can do to start to improve these systems, it's to make them more legible to the people who use them, so that all of us have a common understanding of what's actually going on here.
به اعتقاد من چیزی که بتواند این دو را واقعا یکجا داشته باشد برای شخص من نمایندگی است. مثلا چقدر ما واقعا می فهمیم-- چطور میدانیم که چطور در جهت نفع اعلای خود عمل کنیم. که-- تقریبا انجامش در این سیستمهایی که واقعا کامل نمیفهمیم غیرممکن است. نابرابری در قدرت همواره منتهی به خشونت میگردد. و میبینیم که داخل این سیستمها که نابرابری از فهم نیز همین کار را میکند. اگر برای شروع چیزی باشد که برای بهبود این سیستمها انجام دهیم، که آنها را برای کاربرهای آنها خواناتر کند، بنابراین همه ما درک مشترکی از آنچه واقعا رخ میدهد داریم.
The thing, though, I think most about these systems is that this isn't, as I hope I've explained, really about YouTube. It's about everything. These issues of accountability and agency, of opacity and complexity, of the violence and exploitation that inherently results from the concentration of power in a few hands -- these are much, much larger issues. And they're issues not just of YouTube and not just of technology in general, and they're not even new. They've been with us for ages. But we finally built this system, this global system, the internet, that's actually showing them to us in this extraordinary way, making them undeniable. Technology has this extraordinary capacity to both instantiate and continue all of our most extraordinary, often hidden desires and biases and encoding them into the world, but it also writes them down so that we can see them, so that we can't pretend they don't exist anymore. We need to stop thinking about technology as a solution to all of our problems, but think of it as a guide to what those problems actually are, so we can start thinking about them properly and start to address them.
چیزی که اگر چه فکر میکنم درباره اکثر این سیستمها اینطور نیست که البته امیدوارم به درستی درباره یوتیوب آن را درست توضیح داده باشم. شامل همه چیز است. این مسائل مسئولیتپذیری و پویایی، ابهام و پیچیدگی، خشونت و استثمار که ذاتا منجر به تمرکز قدرت در دستانی معدود میشوند -- اینها مسائل خیلی خیلی بزرگتری هستند. و اینها صرفا مسائل یوتیوب و فناوری در کل نیستند، و حتی چیز تازهای نیستند. سالها با ما بودهاند. اما سرانجام این سیستم را ساختیم، این سیستم جهانی، اینترنت، که در واقع آنها را به شیوهای خارقالعاده نشان میدهد، آنها را غیرقابل انکار میکند. فناوری این ظرفیت خارقالعاده را دارد که همه آن استثناییترین تعصبها و امیال ما که اغلب پنهان هستند را معرفی کرده و ادامه میدهد و آنها را در این دنیا رمزگذاری میکند، اما همچنین آنها را یادداشت میکند بنابراین میتوانیم آنها را ببینیم، پس نمیتوانیم وانمود کنیم که وجود ندارند. باید از این تفکر که فناوری راهحل همه مشکلات ما است دست بکشیم، بلکه به آن بعنوان راهنمایی برای آنچه واقعا این مشکلات هستند فکر کنیم، تا بتوانیم درباره آنها به درستی فکر کرده و مورد خطاب قرار دهیم.
Thank you very much.
خیلی متشکرم.
(Applause)
(تشویق)
Thank you.
متشکرم.
(Applause)
(تشویق)
Helen Walters: James, thank you for coming and giving us that talk. So it's interesting: when you think about the films where the robotic overlords take over, it's all a bit more glamorous than what you're describing. But I wonder -- in those films, you have the resistance mounting. Is there a resistance mounting towards this stuff? Do you see any positive signs, green shoots of resistance?
هلن والترز: جیمز، متشکرم برای آمدنت به اینجا و سخنرانی که کردی. بنابراین جالب است: وقتی به فیلمهایی فکر میکنی، از آنچه شرح دادی کم باشکوهتر است. اما فکر می کنم-- در آن فیلمها با افزایش مقاومت مواجه هستیم. آیا مقاومتی در برابر این چیزها در حال شکل گرفتن است؟ آیا هیچ علامت مثبتی میبینی، هیچی اثری از بهبودی در مقاومت؟
James Bridle: I don't know about direct resistance, because I think this stuff is super long-term. I think it's baked into culture in really deep ways. A friend of mine, Eleanor Saitta, always says that any technological problems of sufficient scale and scope are political problems first of all. So all of these things we're working to address within this are not going to be addressed just by building the technology better, but actually by changing the society that's producing these technologies. So no, right now, I think we've got a hell of a long way to go. But as I said, I think by unpacking them, by explaining them, by talking about them super honestly, we can actually start to at least begin that process.
جیمز بریدل: چیزی درباره مقاومت مستقیم نمیدانم، چون فکر میکنم این چیزها واقعا طولانی مدت هستند. فکر میکنم عمیقا در فرهنگ ما جا افتادند. الئنورسایتا یکی از دوستانم همیشه میگوید که مشکلات فناوری با هر مقیاس و دامنهای اول از همه مشکلات سیاسی هستند. بنابراین همه آنچه تلاش داریم در این بازه خطاب قرار دهیم صرف با بهتر ساختن فناوری اصلاح نمیشود، بلکه درواقع تغییر جامعهای که این فناوریها را تولید میکند لازم است. پس همین حالا فکر میکنم که راه لعنتی درازی در پیش داریم. همانطور که گفتم، با پرده برداشتن از آنها، با توضیح دادن، صحبت صادقانه داشتن درباره آنها میتوانیم حداقل این روند را آغاز کنیم.
HW: And so when you talk about legibility and digital literacy, I find it difficult to imagine that we need to place the burden of digital literacy on users themselves. But whose responsibility is education in this new world?
ه و: و بنابراین وقتی درباره سواد دیجیتالی و خوانایی صحبت میکنید، برایم دشوار است که تصور کنم لازم باشد بار سواد دیجیتال را بر دوش خود کاربرها بگذاریم. اما آموزش و تربیت در این جهان جدید مسئولیت چه کسی است؟
JB: Again, I think this responsibility is kind of up to all of us, that everything we do, everything we build, everything we make, needs to be made in a consensual discussion with everyone who's avoiding it; that we're not building systems intended to trick and surprise people into doing the right thing, but that they're actually involved in every step in educating them, because each of these systems is educational. That's what I'm hopeful about, about even this really grim stuff, that if you can take it and look at it properly, it's actually in itself a piece of education that allows you to start seeing how complex systems come together and work and maybe be able to apply that knowledge elsewhere in the world.
ج ب: دوباره، فکر میکنم این مسئولیت به نوعی به همه ما بستگی دارد، هر کاری که میکنیم، هر چیزی که میسازیم، هرآنچه میسازیم، لازم است به بحث جمعی با اشخاصی دارد که از آن اجتناب می کنند. که سیستمهایی نمیسازیم که تمایل به کلک زدن و شگفتزده کردن آدمها برای انجام کار درست دارند، اما این که آنها به راستی در هر گامی در تعلیم آنها دخیل هستند، چون هریک از این سیستمها آموزشی هستند. چیزی که برایش امیدوارم، حتی این چیزهای واقعا ناراحت کننده، که اگر بخواهید نگاه حسابی به آنها بیندازید، خودش در واقع آموزش محسوب میشود که به شما امکان میدهد ببینید چطور سیستمهای پیچیده با هم شروع به کار می کنند و احتمالا قادر خواهید بود آن را در جاهای دیگر دنیا اعمال کنید.
HW: James, it's such an important discussion, and I know many people here are really open and prepared to have it, so thanks for starting off our morning.
ه و: جمیز، بحث خیلی مهمی است، و می دانم که خیلی از آدمهای حاضر در اینجا واقعا مشتاق و آمادهاند، خیلی ممنون که آغازگر جلسه صبح ما بودی.
JB: Thanks very much. Cheers.
ج ب: خیلی خیلی متشکرم.
(Applause)
(تشویق)