I'm James. I'm a writer and artist, and I make work about technology. I do things like draw life-size outlines of military drones in city streets around the world, so that people can start to think and get their heads around these really quite hard-to-see and hard-to-think-about technologies. I make things like neural networks that predict the results of elections based on weather reports, because I'm intrigued about what the actual possibilities of these weird new technologies are. Last year, I built my own self-driving car. But because I don't really trust technology, I also designed a trap for it.
אני ג'יימס. אני סופר ואמן, והיצירות שלי עוסקות בטכנולוגיה. למשל, מתווה בגודל אמיתי של מזל"ט צבאי ברחובות ערים בעולם, כדי לעורר אנשים לחשוב ולהבין את הטכנולוגיות האלה, שרחוקות מהעין ומהלב. אני גם יוצר דברים כמו רשתות עצביות שחוזות תוצאות של בחירות על יסוד דיווחי מזג אוויר, כי מסקרנות אותי האפשרויות הממשיות שטמונות בטכנולגיות החדשות והמשונות האלה. בשנה שעברה בניתי מכונית אוטונומית, אבל היות שאינני סומך על הטכנולוגיה, תכננתי גם מלכודת עבורה.
(Laughter)
(צחוק)
And I do these things mostly because I find them completely fascinating, but also because I think when we talk about technology, we're largely talking about ourselves and the way that we understand the world. So here's a story about technology.
ואני עושה דברים אלה בעיקר כי הם לגמרי מרתקים אותי, אבל גם משום שכאשר אנו מדברים על טכנולוגיה, זה בד"כ עוסק בעצמנו ובאופן הבנתנו את העולם. אז הרי לכם סיפור על טכנולוגיה.
This is a "surprise egg" video. It's basically a video of someone opening up loads of chocolate eggs and showing the toys inside to the viewer. That's it. That's all it does for seven long minutes. And I want you to notice two things about this. First of all, this video has 30 million views.
זהו סרטון "ביצת הפתעה" (surprise egg). בעקרון, הוא מראה מישהו שפותח המון ביצי שוקולד ומראה לצופה את הצעצועים שבתוכן. זה הכל. זה כל מה שקורה במשך שבע דקות תמימות. ואני רוצה שתשימו לב לשני דברים בו. קודם כל, לסרטון הזה יש 30 מיליון צפיות.
(Laughter)
(צחוק)
And the other thing is, it comes from a channel that has 6.3 million subscribers, that has a total of eight billion views, and it's all just more videos like this -- 30 million people watching a guy opening up these eggs. It sounds pretty weird, but if you search for "surprise eggs" on YouTube, it'll tell you there's 10 million of these videos, and I think that's an undercount. I think there's way, way more of these. If you keep searching, they're endless. There's millions and millions of these videos in increasingly baroque combinations of brands and materials, and there's more and more of them being uploaded every single day. Like, this is a strange world. Right?
והדבר הנוסף הוא, הוא מוקרן בערוץ של 6.3 מיליון מנויים, וצפיות בסך שמונה מיליארד, והוא מכיל רק סרטונים כמו זה - 30 מיליון אנשים צופים במישהו שפותח את הביצים האלה. נשמע משונה, אבל אם תחפשו "ביצי הפתעה" ביו-טיוב, התוצאה תהיה 10 מיליון סרטונים כאלה, ולדעתי, אלה אינם כולם, ויש הרבה, הרבה יותר כאלה. אם תמשיכו לחפש, תגלו שהכמות היא אינסופית. יש מיליונים רבים של סרטונים כאלה עם עוד ועוד צירופים בארוקיים של מותגים וחומרים, ועוד ועוד כאלה מועלים לרשת בכל יום ויום. עולם מוזר, נכון?
But the thing is, it's not adults who are watching these videos. It's kids, small children. These videos are like crack for little kids. There's something about the repetition, the constant little dopamine hit of the reveal, that completely hooks them in. And little kids watch these videos over and over and over again, and they do it for hours and hours and hours. And if you try and take the screen away from them, they'll scream and scream and scream. If you don't believe me -- and I've already seen people in the audience nodding -- if you don't believe me, find someone with small children and ask them, and they'll know about the surprise egg videos. So this is where we start. It's 2018, and someone, or lots of people, are using the same mechanism that, like, Facebook and Instagram are using to get you to keep checking that app, and they're using it on YouTube to hack the brains of very small children in return for advertising revenue.
אבל העניין הוא, שלא מבוגרים צופים בסרטונים האלה, אלא ילדים, ילדים קטנים. הסרטונים האלה הם כמו קראק לילדים קטנים. יש משהו בחזרתיות, במנת הדופמין הקבועה של רגע החשיפה, שממכר אותם לגמרי. וילדים קטנים צופים בסרטונים האלה שוב ושוב ושוב, במשך שעות על גבי שעות. ואם תנסו לנתק אותם מהמסך הם יצרחו ויצרחו ויצרחו. אם אינכם מאמינים לי - וראיתי בקהל אנשים שמנידים בראשם - אם אינכם מאמינים לי, מיצאו מישהו עם ילדים קטנים ושאלו אותו, ויתברר שהוא מכיר את סרטוני ביצי ההפתעה. אז נתחיל מזה. השנה היא 2018 ומישהו, או הרבה אנשים, משתמשים באותו מנגנון שבו משתמשים "פייסבוק" ו"אינסטגרם" שגורם לכם לבדוק כל הזמן את היישומון, והם משתמשים בזה ב"יו-טיוב" כדי להיכנס למוח של ילדים קטנים מאד בתמורה להכנסות מפרסומות.
At least, I hope that's what they're doing. I hope that's what they're doing it for, because there's easier ways of making ad revenue on YouTube. You can just make stuff up or steal stuff. So if you search for really popular kids' cartoons like "Peppa Pig" or "Paw Patrol," you'll find there's millions and millions of these online as well. Of course, most of them aren't posted by the original content creators. They come from loads and loads of different random accounts, and it's impossible to know who's posting them or what their motives might be. Does that sound kind of familiar? Because it's exactly the same mechanism that's happening across most of our digital services, where it's impossible to know where this information is coming from. It's basically fake news for kids, and we're training them from birth to click on the very first link that comes along, regardless of what the source is. That's doesn't seem like a terribly good idea.
לפחות, זה מה שהם עושים, אני מקווה. אני מקווה שזאת המטרה שלהם, כי יש דרך קלה יותר להרוויח ב"יו-טיוב" מפרסומות. אפשר פשוט להמציא או לגנוב דברים. אז אם תחפשו קומיקס לילדים פופולרי באמת כמו "פפר פיג" או "פאו פטרול", תמצאו ברשת גם מהם מיליונים רבים. ברור שאף לא אחד מהם הועלה בידי יוצרי התוכן המקוריים. הם מגיעים מהמוני חשבונות אקראיים, ואי-אפשר לדעת מי מעלה אותם או מהם המניעים שלהם. נשמע לכם מוכר? זהו הרי בדיוק אותו המנגנון של מרבית השירותים הדיגיטליים שלנו: אי-אפשר לדעת מניין מגיע המידע הזה. מדובר בעקרון בחדשות כוזבות לילדים, ואנו מאמנים אותם מילדות להקליק על הקישור הראשון שמופיע, ולא משנה מה מקורו. זה לא נראה רעיון טוב במיוחד.
Here's another thing that's really big on kids' YouTube. This is called the "Finger Family Song." I just heard someone groan in the audience. This is the "Finger Family Song." This is the very first one I could find. It's from 2007, and it only has 200,000 views, which is, like, nothing in this game. But it has this insanely earwormy tune, which I'm not going to play to you, because it will sear itself into your brain in the same way that it seared itself into mine, and I'm not going to do that to you. But like the surprise eggs, it's got inside kids' heads and addicted them to it. So within a few years, these finger family videos start appearing everywhere, and you get versions in different languages with popular kids' cartoons using food or, frankly, using whatever kind of animation elements you seem to have lying around. And once again, there are millions and millions and millions of these videos available online in all of these kind of insane combinations. And the more time you start to spend with them, the crazier and crazier you start to feel that you might be.
הנה עוד משהו ב"יו-טיוב" שעובד יפה על ילדים. זה קרוי "שיר משפחת האצבעות". שמעתי שוב מישהו גונח בקהל. זהו "שיר משפחת האצבעות". זה הכי מוקדם שמצאתי. הוא מ-2007, ויש לו רק 200,000 צפיות, שזה כלום, אבל יש לו מנגינה מטמטמת עד טירוף, ואני לא אשמיע לכם אותה, כי היא תיצרב לכם במוח כפי שנצרבה אצלי, ולא אעולל לכם את זה. אבל כמו ביצי ההפתעה, זה נכנס לראש של הילדים וגרם להם להתמכר. אז בתוך כמה שנים סרטוני משפחת האצבעות החלו להופיע בכל מקום, עם גרסאות בשפות שונות עם דמויות מוכרות מקומיקס ילדים שמשתמשות באוכל ובעצם, כל פריט אנימציה שיש בסביבה. ושוב, יש מיליונים על מיליונים על מיליוני סרטונים כאלה שאפשר למצוא ברשת בכל שילוב מטורף. וככל שמבזבזים עליהם יותר זמן, כך מתחילים להרגיש יותר ויותר מטורפים.
And that's where I kind of launched into this, that feeling of deep strangeness and deep lack of understanding of how this thing was constructed that seems to be presented around me. Because it's impossible to know where these things are coming from. Like, who is making them? Some of them appear to be made of teams of professional animators. Some of them are just randomly assembled by software. Some of them are quite wholesome-looking young kids' entertainers. And some of them are from people who really clearly shouldn't be around children at all.
וכאן בערך נכנסתי לזה אני, עם הרגשה של זרות עמוקה וחוסר-הבנה עמוק איך הדבר הזה נבנה ומוגש לכולם מסביבי. כי אי-אפשר לדעת מניין הדברים האלה באים. כאילו, מי יוצר אותם? חלקם נראים כאילו נוצרו ע"י צוותי אמני הנפשה מקצועיים, חלקם - כאילו הורכבו באופן אקראי ע"י תוכנה, חלקם נראים כמו בידור ילדים מועיל, וחלקם מגיעים מאנשים שברור שאסור להרשות להם להתקרב לילדים. (צחוק)
(Laughter)
And once again, this impossibility of figuring out who's making this stuff -- like, this is a bot? Is this a person? Is this a troll? What does it mean that we can't tell the difference between these things anymore? And again, doesn't that uncertainty feel kind of familiar right now?
ושוב, חוסר האפשרות לגלות מי עושה את זה -- תוכנה רובוטית? אדם? טרול? מה המשמעות של חוסר יכולתנו להבדיל יותר בין הדברים האלה? ושוב, האם חוסר הוודאות הזה מוכר?
So the main way people get views on their videos -- and remember, views mean money -- is that they stuff the titles of these videos with these popular terms. So you take, like, "surprise eggs" and then you add "Paw Patrol," "Easter egg," or whatever these things are, all of these words from other popular videos into your title, until you end up with this kind of meaningless mash of language that doesn't make sense to humans at all. Because of course it's only really tiny kids who are watching your video, and what the hell do they know? Your real audience for this stuff is software. It's the algorithms. It's the software that YouTube uses to select which videos are like other videos, to make them popular, to make them recommended. And that's why you end up with this kind of completely meaningless mash, both of title and of content.
השיטה העיקרית שבה אנשים משיגים צפיות בסרטונים שלהם -- וזיכרו, צפיות שוות כסף -- היא לדחוס בכותרות הסרטונים מונחים פופולריים. אתם לוקחים למשל את "ביצי הפתעה" ואז אתם מוסיפים "פאו פטרול", "ביצת פסחא," מה שזה לא יהיה, כל מיני מלים ממשחקי מחשב פופולריים, ובסוף מתקבלת תערובת לשונית חסרת-פשר שבכלל אינה מובנת לבני-אדם. כי כמובן, רק ילדים צופים בסרטון שלכם, ומה הם מבינים בכלל מהחיים שלהם? הקהל האמיתי של הדברים האלה הוא תוכנה, האלגוריתם, התוכנה שבה משתמשת "יו-טיוב" כדי לבחור אילו סרטונים דומים לאחרים, כדי להפיץ אותם ולהמליץ עליהם. ולכן אתם מקבלים תערובת מלים בלתי-מובנת לחלוטין גם בכותרת וגם בתוכן.
But the thing is, you have to remember, there really are still people within this algorithmically optimized system, people who are kind of increasingly forced to act out these increasingly bizarre combinations of words, like a desperate improvisation artist responding to the combined screams of a million toddlers at once. There are real people trapped within these systems, and that's the other deeply strange thing about this algorithmically driven culture, because even if you're human, you have to end up behaving like a machine just to survive.
אבל עליכם לזכור שעדיין יש אנשים בתוך המערכת ממוטבת-האלגוריתם הזאת, אנשים שנאלצים יותר ויותר לגלם את הצירופים היותר ויותר מוזרים של מלים, כמו אמן אלתור נואש שמגיב לצעקותיהם של מיליון פעוטים בבת-אחת. יש אנשים אמיתיים שלכודים בתוך המערכות האלה, וזה הדבר המוזר להפליא השני בתרבות מבוססת האלגוריתמים הזאת, כי אפילו אם אתה אנושי, מתישהו אתה נאלץ להתנהג כמו מכונה רק כדי לשרוד. וגם, בעברו השני של הצג,
And also, on the other side of the screen, there still are these little kids watching this stuff, stuck, their full attention grabbed by these weird mechanisms. And most of these kids are too small to even use a website. They're just kind of hammering on the screen with their little hands. And so there's autoplay, where it just keeps playing these videos over and over and over in a loop, endlessly for hours and hours at a time. And there's so much weirdness in the system now that autoplay takes you to some pretty strange places. This is how, within a dozen steps, you can go from a cute video of a counting train to masturbating Mickey Mouse. Yeah. I'm sorry about that. This does get worse. This is what happens when all of these different keywords, all these different pieces of attention, this desperate generation of content, all comes together into a single place. This is where all those deeply weird keywords come home to roost. You cross-breed the finger family video with some live-action superhero stuff, you add in some weird, trollish in-jokes or something, and suddenly, you come to a very weird place indeed.
עדיין ישנם ילדים קטנים שצופים בדברים האלה, הם תקועים שם והמנגנונים המוזרים האלה לוכדים את מלוא תשומת ליבם. ורוב הילדים האלה קטנים מכדי לדעת אפילו להשתמש באתר אינטרנט. הם רק חובטים במסך בידיהם הקטנות. לשם כך הומצא ה"אוטופליי", הניגון האוטומטי, שממשיך להקרין את הסרטונים האלה שוב ושוב ושוב, ללא הרף, במשך שעות על גבי שעות. ויש היום כל-כך הרבה מוזרות במערכת, שה"אוטופליי" לוקח אתכם למקומות משונים למדי. וכך, בתוך שנים-עשר שלבים, אתם יכולים להגיע מסרטון חמוד של רכבת מספרים למיקי מאוס מאונן. כן. סליחה על זה. וזה הולך ונעשה גרוע יותר. זה מה שקורה כשכל מילות המפתח השונות, כל פיסות תשומת הלב השונות, הפקת התוכן הנואשת הזאת, הכל מתחבר באותו המקום. לכאן מגיעות לקנן כל מילות המפתח המוזרות מאד. מכליאים את סרטון משפחת האצבעות עם סרט מצולם של גיבור-על, מוסיפים כמה בדיחות טרוליות מוזרות או משהו כזה, ולפתע אתם מגיעים למקום משונה בהחלט.
The stuff that tends to upset parents is the stuff that has kind of violent or sexual content, right? Children's cartoons getting assaulted, getting killed, weird pranks that actually genuinely terrify children. What you have is software pulling in all of these different influences to automatically generate kids' worst nightmares. And this stuff really, really does affect small children. Parents report their children being traumatized, becoming afraid of the dark, becoming afraid of their favorite cartoon characters. If you take one thing away from this, it's that if you have small children, keep them the hell away from YouTube.
הדברים האלה, שמעצבנים את ההורים, הם אלה שיש בהם תוכן מיני או אלים כלשהו, נכון? דמות מקומיקס ילדים שמותקפת, שנרצחת, מעשי קונדס מוזרים שממש מפחידים ילדים. מדובר בעצם בתוכנה שמושכת אליה כל מיני השפעות כדי ליצור באופן אוטומטי את הסיוט הכי נורא לילדים. והדברים האלה באמת ובתמים משפיעים על ילדים קטנים. הורים מדווחים על ילדים מוכי טראומה, ילדים שפוחדים מהחושך, שפוחדים מדמויות הקומיקס האהובות שלהם. אם תלמדו היום לקח אחד בלבד, הרי זה שאם יש לכם ילדים קטנים, הרחיקו אותם ככל האפשר מ"יו-טיוב".
(Applause)
(מחיאות כפיים)
But the other thing, the thing that really gets to me about this, is that I'm not sure we even really understand how we got to this point. We've taken all of this influence, all of these things, and munged them together in a way that no one really intended. And yet, this is also the way that we're building the entire world. We're taking all of this data, a lot of it bad data, a lot of historical data full of prejudice, full of all of our worst impulses of history, and we're building that into huge data sets and then we're automating it. And we're munging it together into things like credit reports, into insurance premiums, into things like predictive policing systems, into sentencing guidelines. This is the way we're actually constructing the world today out of this data. And I don't know what's worse, that we built a system that seems to be entirely optimized for the absolute worst aspects of human behavior, or that we seem to have done it by accident, without even realizing that we were doing it, because we didn't really understand the systems that we were building, and we didn't really understand how to do anything differently with it.
אבל הדבר הנוסף, מה שממש מרגיז אותי בקשר לזה, הוא שאני לא בטוח שאנו בכלל יודעים איך הגענו למצב הזה. צירפנו ביחד את כל ההשפעה הזאת, את כל הדברים האלה, ועוללנו נזק שאיש לא התכוון לעולל. ועם זאת, ככה גם אנו בונים את העולם כולו. אנו לוקחים את כל הנתונים האלה, הרבה מהם נתונים רעים, המון נתונים היסטוריים מלאי דעות קדומות, מלאים בכל הדחפים ההיסטוריים הכי גרועים שלנו, ואנו הופכים את זה למערכי נתונים ענקיים ומכניסים לזה אוטומציה ומשסים את הנזק הזה בדברים כמו דיווחי אשראי, פרמיות ביטוח, דברים כמו מערכות חיזוי מדיניות, הנחיות שיפוט, כך בעצם אנו בונים היום את העולם על יסוד נתונים אלה. ואינני יודע מה גרוע יותר, שאנו בונים מערכת שכנראה ממוטבת כולה לפי ההיבטים הכי גרועים בהתנהגות האנושית, או שככל הנראה, עשינו את זה בטעות, מבלי להבין אפילו שאנו עושים זאת, בגלל שלא באמת הבנו את המערכות שאנו בונים, ולא באמת הבנו איך לעשות משהו שונה.
There's a couple of things I think that really seem to be driving this most fully on YouTube, and the first of those is advertising, which is the monetization of attention without any real other variables at work, any care for the people who are actually developing this content, the centralization of the power, the separation of those things. And I think however you feel about the use of advertising to kind of support stuff, the sight of grown men in diapers rolling around in the sand in the hope that an algorithm that they don't really understand will give them money for it suggests that this probably isn't the thing that we should be basing our society and culture upon, and the way in which we should be funding it.
לדעתי יש כמה דברים שכנראה מניעים את זה הכי חזק ב"יו-טיוב", והראשון הוא הפרסום, הפיכת תשומת-הלב למטבע בלי שום משתנים נוספים, בלי שום התייחסות לאנשים שמפתחים את התוכן, ריכוז הכוח, ההפרדה של הדברים האלה. ולדעתי, תחשבו מה שתחשבו על השימוש בפרסום כדי לקדם דברים, המראה של גברים מבוגרים בחיתולים שמתגלגלים בחול בתקווה שאיזה אלגוריתם שהם לא ממש מבינים ישלם להם על זה אומר שכנראה לא זה הדבר שעליו עלינו לבסס את החברה והתרבות שלנו, ולא זו הדרך לממן אותן.
And the other thing that's kind of the major driver of this is automation, which is the deployment of all of this technology as soon as it arrives, without any kind of oversight, and then once it's out there, kind of throwing up our hands and going, "Hey, it's not us, it's the technology." Like, "We're not involved in it." That's not really good enough, because this stuff isn't just algorithmically governed, it's also algorithmically policed. When YouTube first started to pay attention to this, the first thing they said they'd do about it was that they'd deploy better machine learning algorithms to moderate the content. Well, machine learning, as any expert in it will tell you, is basically what we've started to call software that we don't really understand how it works. And I think we have enough of that already. We shouldn't be leaving this stuff up to AI to decide what's appropriate or not, because we know what happens. It'll start censoring other things. It'll start censoring queer content. It'll start censoring legitimate public speech. What's allowed in these discourses, it shouldn't be something that's left up to unaccountable systems. It's part of a discussion all of us should be having.
והמניע החזק הנוסף מאחורי זה הוא האוטומציה: להטמיע את כל הטכנולוגיה הזאת מיד כשהיא מגיעה, ללא שום פיקוח, וברגע שהבעיות מתגלות, להרים ידיים ולומר, "זה לא אנחנו. זאת הטכנולוגיה." כאילו, "אנו לא מעורבים בזה." זה לא מספיק טוב, כי האלגוריתם לא רק מנהל את הדברים האלה; האלגוריתם גם קובע את המדיניות. כש"יו-טיוב" החלה להבחין בזה, הדבר הראשון שהם עשו בעניין היה להטמיע אלגוריתמים טובים יותר של למידת מכונה כדי למתן את התוכן. אז למידת מכונה, כפי שיאמר לכם כל מומחה, מבוססת על מה שהתחלנו לכנות "תוכנה שאיננו מבינים באמת איך היא עובדת." ואני חושב שכבר יש לנו מספיק מזה. אסור שנשאיר דברים כאלה לבינה המלאכותית שתקבע מה מתאים ומה לא. כי ברור לנו מה יקרה: היא תתחיל לצנזר דברים אחרים. היא תתחיל לצנזר תוכן קווירי. היא תתחיל לצנזר התבטאויות פומביות לגיטימיות. את מה שמותר בדיונים האלה אסור להשאיר לכל מיני מערכות שאי-אפשר להאשים. זהו חלק מהדיון שכולנו צריכים לנהל. אבל אשאיר לכם תזכורת
But I'd leave a reminder that the alternative isn't very pleasant, either. YouTube also announced recently that they're going to release a version of their kids' app that would be entirely moderated by humans. Facebook -- Zuckerberg said much the same thing at Congress, when pressed about how they were going to moderate their stuff. He said they'd have humans doing it. And what that really means is, instead of having toddlers being the first person to see this stuff, you're going to have underpaid, precarious contract workers without proper mental health support being damaged by it as well.
לכך שגם החלופה אינה הכי נעימה. "יו-טיוב" גם הכריזו לאחרונה על שחרור גירסה של היישומון שלהם לילדים שבו ניטור התוכן ייעשה כולו בידי בני-אדם. "פייסבוק" - צוקרברג אמר משהו דומה בקונגרס, כשלחצו עליו עם השאלה איך בדעתו לנטר את התוכן. הוא אמר שיש להם אנשים שעושים את זה. ובפועל, זה אומר שבמקום שהפעוטים יהיו הראשונים שרואים את הדברים האלה, יהיו אלה עובדי קבלן לא-אמינים בשכר-רעב ללא סיוע נפשי נאות, שגם הם יינזקו מזה. (צחוק)
(Laughter)
ולדעתי, כולנו מסוגלים להתעלות על זה.
And I think we can all do quite a lot better than that.
(מחיאות כפיים)
(Applause)
The thought, I think, that brings those two things together, really, for me, is agency. It's like, how much do we really understand -- by agency, I mean: how we know how to act in our own best interests. Which -- it's almost impossible to do in these systems that we don't really fully understand. Inequality of power always leads to violence. And we can see inside these systems that inequality of understanding does the same thing. If there's one thing that we can do to start to improve these systems, it's to make them more legible to the people who use them, so that all of us have a common understanding of what's actually going on here.
הרעיון שמסכם באמת את שני הדברים האלה, בעיני, הוא אוטונומיות: כמה באמת אנו מבינים-- ב"אוטונומיות" כוונתי היא: איך אנו יודעים לנהוג לפי מיטב האינטרסים שלנו. ואת זה כמעט ואי-אפשר לעשות במערכות האלה, שאותן איננו לגמרי מבינים. חוסר-שוויון בכוח מוביל תמיד לאלימות. ובמערכות האלה אנו יכולים לראות שחוסר-שוויון בהבנה עושה אותו דבר. אם יש דבר אחד שנוכל לעשות כדי לשפר את המערכות האלה, הוא להפוך אותן למובנות יותר לאנשים שמשתמשים בהן, כדי שלכולנו תהיה הבנה משותפת לגבי מה שבאמת קורה כאן.
The thing, though, I think most about these systems is that this isn't, as I hope I've explained, really about YouTube. It's about everything. These issues of accountability and agency, of opacity and complexity, of the violence and exploitation that inherently results from the concentration of power in a few hands -- these are much, much larger issues. And they're issues not just of YouTube and not just of technology in general, and they're not even new. They've been with us for ages. But we finally built this system, this global system, the internet, that's actually showing them to us in this extraordinary way, making them undeniable. Technology has this extraordinary capacity to both instantiate and continue all of our most extraordinary, often hidden desires and biases and encoding them into the world, but it also writes them down so that we can see them, so that we can't pretend they don't exist anymore. We need to stop thinking about technology as a solution to all of our problems, but think of it as a guide to what those problems actually are, so we can start thinking about them properly and start to address them.
אבל העניין העיקרי, לדעתי, במערכות האלה, הוא - ואני מקווה שהסברתי זאת בקשר ל"יו-טיוב" - שזה מתייחס להכל. סוגיות הנשיאה באחריות והאוטונומיות האישית, של העמימות והמורכבות, של האלימות והניצול שנובעים מעצם העובדה שהכוח מרוכז בידיים מועטות -- אלה סוגיות הרבה יותר נרחבות. הסוגיות האלה לא נוגעות רק ל"יו-טיוב" ולא רק לטכנולוגיה בכלל, והן אפילו לא חדשות; הן מלוות אותנו כבר המון זמן. אבל סוף-סוף בנינו את המערכת הזאת, המערכת הגלובלית הזאת, האינטרנט, שמציגה אותן בפנינו בצורה ברורה להפליא, מבלי שנוכל להתכחש להן. לטכנולוגיה יש היכולת הנפלאה גם להמחיש וגם להמשיך את כל רצונותינו והטיותינו הכי גדולים, והסמויים לעתים קרובות , ולקודד אותם אל העולם כולו, אבל היא גם מתעדת אותם כדי שנוכל לראותם, כדי שלא נוכל עוד להעמיד פנים כאילו אינם קיימים. עלינו להפסיק לראות בטכנולוגיה פתרון לכל בעיותינו, אלא להיעזר בה כדי לראות אל הבעיות האלה, כדי שנוכל להתחיל לחשוב עליהן כמו שצריך ולהתחיל לטפל בהן. תודה רבה לכם.
Thank you very much.
(מחיאות כפיים)
(Applause)
Thank you.
תודה.
(Applause)
(מחיאות כפיים)
Helen Walters: James, thank you for coming and giving us that talk. So it's interesting: when you think about the films where the robotic overlords take over, it's all a bit more glamorous than what you're describing. But I wonder -- in those films, you have the resistance mounting. Is there a resistance mounting towards this stuff? Do you see any positive signs, green shoots of resistance?
הלן וולטרס: ג'יימס, תודה שבאת ותודה על ההרצאה הזאת. זה מעניין: כשחושבים על סרטים שבהם הרובוטים משתלטים על העולם, הכל קצת יותר זוהר ממה שאתה מתאר. אבל אני תוהה - בסרטים האלה מתגבשת תנועת התקוממות. האם ישנה תנועת התקוממות נגד הדברים האלה? האם אתה רואה סימנים חיוביים, ניצני התנגדות כלשהם?
James Bridle: I don't know about direct resistance, because I think this stuff is super long-term. I think it's baked into culture in really deep ways. A friend of mine, Eleanor Saitta, always says that any technological problems of sufficient scale and scope are political problems first of all. So all of these things we're working to address within this are not going to be addressed just by building the technology better, but actually by changing the society that's producing these technologies. So no, right now, I think we've got a hell of a long way to go. But as I said, I think by unpacking them, by explaining them, by talking about them super honestly, we can actually start to at least begin that process.
ג'יימס בריידל: אני לא יודע מה עם התקוממות ישירה, כי לדעתי מדובר בדברים מאד ותיקים. לדעתי זה אפוי בתרבות שלנו באופן עמוק מאד. ידידה שלי, אלינור סאיטה, אומרת תמיד שכל בעיה טכנולוגית מעל לגודל והיקף מסוימים היא קודם כל בעיה פוליטית. אז כל הדברים האלה שאנו מנסים להתייחס אליהם לא ייפתרו סתם בבניית טכנולוגיה טובה יותר, אלא דרך שינוי התרבות שיוצרת את הטכנולוגיות האלה. אז לא. כרגע יש לפנינו דרך ארוכה מאד. אבל כפי שאמרתי, אני חושב שאם נפרק אותן, אם נסביר אותן ונדבר עליהן בכנות גמורה, נוכל לפחות להתחיל את התהליך.
HW: And so when you talk about legibility and digital literacy, I find it difficult to imagine that we need to place the burden of digital literacy on users themselves. But whose responsibility is education in this new world?
ה"וו: אז כשאתה מדבר על מובנות ועל אוריינות דיגיטלית, אני מתקשה לדמיין שנעביר את נטל האוריינות הדיגיטלית אל המשתמשים עצמם. אבל מיהם האחראים לחינוך בעולם החדש הזה?
JB: Again, I think this responsibility is kind of up to all of us, that everything we do, everything we build, everything we make, needs to be made in a consensual discussion with everyone who's avoiding it; that we're not building systems intended to trick and surprise people into doing the right thing, but that they're actually involved in every step in educating them, because each of these systems is educational. That's what I'm hopeful about, about even this really grim stuff, that if you can take it and look at it properly, it's actually in itself a piece of education that allows you to start seeing how complex systems come together and work and maybe be able to apply that knowledge elsewhere in the world.
ג'"ב: שוב, לדעתי האחריות מוטלת על כולנו, במובן זה, שכל מה שאנו עושים, בונים ויוצרים צריך להיעשות מתוך דיון והסכמה עם כל מי שנמנעים מכך; שלא נבנה מערכות שנועדו להכשיל ולהפתיע אנשים ולגרום להם לעשות את מה שנכון, אלא שהם יהיו מעורבים בכל שלב של החינוך שלהם, כי כל אחת מהמערכות האלה היא חינוכית. לכן יש בי תקווה, גם אם המצב באמת עגום, שאם נוכל לבחון את זה כמו שצריך, זה כשלעצמו דבר חינוכי שמאפשר לנו להתחיל לראות איך מערכות מורכבות משתלבות ופועלות ואולי להצליח ליישם ידע זה במקומות אחרים בעולם.
HW: James, it's such an important discussion, and I know many people here are really open and prepared to have it, so thanks for starting off our morning.
ה"וו: ג'יימס, זהו נושא חשוב ביותר, ואני יודעת שרבים כאן פתוחים ונכונים לדבר עליו, אז תודה לך על שפתחת בשבילנו את הבוקר.
JB: Thanks very much. Cheers.
ג'"ב: תודה רבה. להתראות!
(Applause)
(מחיאות כפיים)