Ich heiße James. Ich bin Schriftsteller und Künstler und mache Arbeiten über Technologie. Ich mache solche Dinge wie lebensgroße Umrisse von Militärdrohnen in städtischen Straßen weltweit zu zeichnen, damit Menschen anfangen, über diese wirklich schwer sichtbaren und schwer vorstellbaren Technologien nachzudenken und sie zu begreifen. Ich mache Dinge wie neuronale Netzwerke, die das Ergebnis von Wahlen anhand von Wetterberichten vorhersagen, denn ich bin neugierig, was die tatsächlichen Möglichkeiten dieser seltsamen neuen Technologien sind. Letztes Jahr baute ich mein eigenes selbstfahrendes Auto. Aber da ich der Technologie nicht wirklich vertraue, entwarf ich auch eine Falle dafür.
I'm James. I'm a writer and artist, and I make work about technology. I do things like draw life-size outlines of military drones in city streets around the world, so that people can start to think and get their heads around these really quite hard-to-see and hard-to-think-about technologies. I make things like neural networks that predict the results of elections based on weather reports, because I'm intrigued about what the actual possibilities of these weird new technologies are. Last year, I built my own self-driving car. But because I don't really trust technology, I also designed a trap for it.
(Lachen)
(Laughter)
Ich mache diese Dinge vor allem, weil ich sie absolut faszinierend finde, aber auch weil ich denke, wenn wir über Technologie sprechen, sprechen wir hauptsächlich über uns selbst und darüber, wie wir die Welt verstehen. Hier ist eine Geschichte über Technologie:
And I do these things mostly because I find them completely fascinating, but also because I think when we talk about technology, we're largely talking about ourselves and the way that we understand the world. So here's a story about technology.
Das ist ein "Überraschungsei-Video". Es ist ein Video von jemandem, der massenhaft Schokoladeneier öffnet und die Spielzeuge darin dem Zuschauer zeigt. Das ist alles. In sieben langen Minuten passiert nichts anderes. Ich möchte, dass Ihnen hier zwei Dinge auffallen. Erstens, dieses Video hat 30 Millionen Aufrufe.
This is a "surprise egg" video. It's basically a video of someone opening up loads of chocolate eggs and showing the toys inside to the viewer. That's it. That's all it does for seven long minutes. And I want you to notice two things about this. First of all, this video has 30 million views.
(Lachen)
(Laughter)
Die andere Sache ist: Es stammt von einem Kanal mit 6,3 Millionen Abonnenten, der insgesamt 8 Milliarden Aufrufe hat, und es sind einfach nur mehr Videos dieser Art. 30 Millionen Menschen, die einem Typen dabei zusehen, wie er diese Eier öffnet. Es klingt ziemlich seltsam, aber wenn man auf YouTube "Überraschungseier" sucht, wird einem angezeigt, dass es 10 Millionen dieser Videos gibt, und ich halte das für eine Untertreibung. Ich denke, es gibt noch viel mehr. Wenn man weitersucht, ist es endlos. Es gibt Millionen von diesen Videos mit zunehmend seltsamen Kombinationen von Marken und Material, und tagtäglich werden mehr und mehr dieser Videos hochgeladen. Was für eine komische Welt, nicht wahr?
And the other thing is, it comes from a channel that has 6.3 million subscribers, that has a total of eight billion views, and it's all just more videos like this -- 30 million people watching a guy opening up these eggs. It sounds pretty weird, but if you search for "surprise eggs" on YouTube, it'll tell you there's 10 million of these videos, and I think that's an undercount. I think there's way, way more of these. If you keep searching, they're endless. There's millions and millions of these videos in increasingly baroque combinations of brands and materials, and there's more and more of them being uploaded every single day. Like, this is a strange world. Right?
Aber die Sache ist, dass es nicht Erwachsene sind, die diese Videos sehen. Es sind Kinder, kleine Kinder. Kleine Kinder sind süchtig nach sowas. Irgendetwas an den Wiederholungen, den permanenten kleinen Dopaminschüben bei der Enthüllung, fasziniert sie total. Kleine Kinder sehen sich diese Videos immer und immer und immer wieder an und sie tun das stundenlang. Wenn man versucht, ihnen den Bildschirm wegzunehmen, werden sie unermüdlich schreien. Wenn Sie mir nicht glauben -- und ich sehe schon, wie einige im Publikum nicken -- wenn Sie mir nicht glauben, fragen Sie Leute mit kleinen Kindern und sie werden von den Überraschungsei-Videos wissen. Also hier fangen wir an. Es ist 2018 und jemand, vielleicht sogar viele Menschen, nutzen denselben Mechanismus, den Facebook und Instagram benutzen, der Sie dazu bringt, die App ständig zu öffnen, und sie nutzen ihn auf YouTube, um das Gehirn sehr kleiner Kindern zu hacken, um damit Werbeeinnahmen zu erzielen.
But the thing is, it's not adults who are watching these videos. It's kids, small children. These videos are like crack for little kids. There's something about the repetition, the constant little dopamine hit of the reveal, that completely hooks them in. And little kids watch these videos over and over and over again, and they do it for hours and hours and hours. And if you try and take the screen away from them, they'll scream and scream and scream. If you don't believe me -- and I've already seen people in the audience nodding -- if you don't believe me, find someone with small children and ask them, and they'll know about the surprise egg videos. So this is where we start. It's 2018, and someone, or lots of people, are using the same mechanism that, like, Facebook and Instagram are using to get you to keep checking that app, and they're using it on YouTube to hack the brains of very small children in return for advertising revenue.
Ich hoffe jedenfalls, das ist es, was sie tun. Ich hoffe, dass es der Grund ist, denn es gibt einfachere Möglichkeiten, Werbeeinnahmen auf YouTube zu erzielen. Man kann einfach etwas erfinden oder klauen. Wenn Sie also nach sehr beliebten Kinderserien wie "Peppa Wutz" oder "Paw Patrol" suchen, werden Sie feststellen, dass es auch sie millionenfach online gibt. Die meisten stammen natürlich nicht von den Machern der Sendungen, sondern von vielen verschiedenen, beliebigen Konten, und es ist unmöglich zu wissen, wer sie veröffentlicht oder was ihre Absichten sein könnten. Kommt Ihnen das bekannt vor? Es ist nämlich genau derselbe Mechanismus, den wir auch in den meisten unserer digitalen Dienste sehen, wo es unmöglich ist, zu wissen, woher die Informationen kommen. Es sind im Prinzip Fake News für Kinder und wir trainieren sie von Geburt an, auf den allerersten Link zu klicken, der erscheint, unabhängig davon, was die Quelle ist. Das scheint keine sehr gute Idee zu sein.
At least, I hope that's what they're doing. I hope that's what they're doing it for, because there's easier ways of making ad revenue on YouTube. You can just make stuff up or steal stuff. So if you search for really popular kids' cartoons like "Peppa Pig" or "Paw Patrol," you'll find there's millions and millions of these online as well. Of course, most of them aren't posted by the original content creators. They come from loads and loads of different random accounts, and it's impossible to know who's posting them or what their motives might be. Does that sound kind of familiar? Because it's exactly the same mechanism that's happening across most of our digital services, where it's impossible to know where this information is coming from. It's basically fake news for kids, and we're training them from birth to click on the very first link that comes along, regardless of what the source is. That's doesn't seem like a terribly good idea.
Eine weitere Sache, die auf Kinder-YouTube sehr populär ist: Es nennt sich der "Finger Family Song". Jemand im Publikum hat gerade aufgestöhnt. Das ist der "Finger Family Song". Das ist das erste Video, das ich finden konnte. Es ist von 2007 und hat nur 200.000 Aufrufe, was in diesem Spiel so gut wie nichts ist. Aber das Lied ist so ein wahnsinniger Ohrwurm und ich spiele es Ihnen nicht vor, da es sich in Ihr Gehirn einbrennen wird, genauso wie es sich in meines eingebrannt hat, und das will ich Ihnen nicht antun. Aber wie die Überraschungsei-Videos ist es in die Köpfe der Kinder gelangt und hat sie süchtig danach gemacht. Innerhalb weniger Jahre beginnen diese Finger-Family-Videos also, überall zu sein, und es gibt verschiedene Sprachversionen mit beliebten Kinderserien, die Essen, oder, um ehrlich zu sein, alle Arten von Animationselementen, die man gerade hat, verwenden. Auch hier gibt es Millionen und Abermillionen dieser Videos, die online in all diesen verrückten Kombinationen verfügbar sind. Je mehr Zeit Sie damit verbringen, desto mehr haben Sie das Gefühl, dass Sie verrückt sind.
Here's another thing that's really big on kids' YouTube. This is called the "Finger Family Song." I just heard someone groan in the audience. This is the "Finger Family Song." This is the very first one I could find. It's from 2007, and it only has 200,000 views, which is, like, nothing in this game. But it has this insanely earwormy tune, which I'm not going to play to you, because it will sear itself into your brain in the same way that it seared itself into mine, and I'm not going to do that to you. But like the surprise eggs, it's got inside kids' heads and addicted them to it. So within a few years, these finger family videos start appearing everywhere, and you get versions in different languages with popular kids' cartoons using food or, frankly, using whatever kind of animation elements you seem to have lying around. And once again, there are millions and millions and millions of these videos available online in all of these kind of insane combinations. And the more time you start to spend with them, the crazier and crazier you start to feel that you might be.
Deswegen fing ich an, mich damit auseinanderzusetzen, weil es so tiefgreifend absurd und unverständlich ist, wie das Ganze konstruiert wurde, was man mir hier offenbar präsentiert. Denn es ist unmöglich, zu wissen, woher diese Dinge kommen. Wer produziert sie? Einige von ihnen scheinen von Teams professioneller Animatoren zu stammen. Andere wurden einfach zufällig per Software zusammengestellt. Wieder andere sind ganz gesund aussehende Unterhaltungskünstler für Kinder. Und manche sind von Menschen, die ganz klar nichts mit Kindern zu tun haben sollten.
And that's where I kind of launched into this, that feeling of deep strangeness and deep lack of understanding of how this thing was constructed that seems to be presented around me. Because it's impossible to know where these things are coming from. Like, who is making them? Some of them appear to be made of teams of professional animators. Some of them are just randomly assembled by software. Some of them are quite wholesome-looking young kids' entertainers. And some of them are from people who really clearly shouldn't be around children at all.
(Lachen)
(Laughter)
Wieder ist es unmöglich, herauszufinden, wer dieses Zeug macht. Ist es ein Bot? Ist es eine Person? Ist es ein Troll? Was bedeutet es, dass wir den Unterschied zwischen diesen Dingen nicht mehr erkennen? Und wieder: Fühlt sich diese Unsicherheit nicht irgendwie vertraut an?
And once again, this impossibility of figuring out who's making this stuff -- like, this is a bot? Is this a person? Is this a troll? What does it mean that we can't tell the difference between these things anymore? And again, doesn't that uncertainty feel kind of familiar right now?
Die gängigste Art und Weise, wie man Videoaufrufe bekommt -- und bedenken Sie, Aufrufe bedeuten Geld -- ist, diese populären Begriffe in die Titel dieser Videos zu packen. Sie nehmen zum Beispiel "Überraschungseier" und fügen "Paw Patrol", "Osterei" oder was auch immer, all diese Worte aus anderen populären Videos in Ihren Titel ein, bis Sie am Ende eine Art bedeutungslosen Sprachbrei haben, der für Menschen überhaupt keinen Sinn ergibt. Weil sich natürlich nur ganz kleine Kinder diese Videos ansehen und was zum Teufel wissen sie schon? Das wirkliche Publikum für dieses Zeug ist Software. Es sind die Algorithmen. Es ist die Software, die YouTube benutzt, um auszuwählen, welche Videos wie andere Videos sind, um sie populär zu machen, um sie zu empfehlen. Deshalb kommt diese Art von völlig bedeutungslosem Brei heraus, sowohl was den Titel als auch den Inhalt betrifft.
So the main way people get views on their videos -- and remember, views mean money -- is that they stuff the titles of these videos with these popular terms. So you take, like, "surprise eggs" and then you add "Paw Patrol," "Easter egg," or whatever these things are, all of these words from other popular videos into your title, until you end up with this kind of meaningless mash of language that doesn't make sense to humans at all. Because of course it's only really tiny kids who are watching your video, and what the hell do they know? Your real audience for this stuff is software. It's the algorithms. It's the software that YouTube uses to select which videos are like other videos, to make them popular, to make them recommended. And that's why you end up with this kind of completely meaningless mash, both of title and of content.
Aber die Sache ist die, Sie müssen bedenken, dass in diesem algorithmisch optimierten System wirklich noch Menschen stecken, Menschen, die quasi immer mehr dazu gezwungen werden, diese immer absurderen Wortkombinationen zu verwenden, wie ein verzweifelter Impro-Künstler, der auf die kombinierten Schreie von einer Million Kleinkindern auf einmal reagiert. In diesen Systemen sind echte Menschen gefangen und das ist das andere sehr Seltsame an dieser algorithmisch gesteuerten Kultur, denn selbst wenn man ein Mensch ist, muss man sich am Ende wie eine Maschine verhalten, um zu überleben.
But the thing is, you have to remember, there really are still people within this algorithmically optimized system, people who are kind of increasingly forced to act out these increasingly bizarre combinations of words, like a desperate improvisation artist responding to the combined screams of a million toddlers at once. There are real people trapped within these systems, and that's the other deeply strange thing about this algorithmically driven culture, because even if you're human, you have to end up behaving like a machine just to survive.
Auf der anderen Seite des Bildschirms gibt es immer noch diese kleinen Kinder, die dieses Zeug schauen, gefesselt, ihre volle Aufmerksamkeit von diesen seltsamen Mechanismen erfasst. Die meisten dieser Kinder sind zu klein, um überhaupt eine Website zu nutzen. Sie hämmern nur mit ihren Händchen auf dem Bildschirm herum. Und dann ist da Autoplay, das diese Videos immer und immer und immer wieder abspielt, stundenlang in Endlosschleife. Inzwischen gibt es so viel Seltsames im System, dass Autoplay einen an einige ziemlich skurrile Orte führt. So kann man in nur wenigen Schritten von einem süßen Video eines Zählzuges zu einer masturbierenden Micky Maus gelangen. Ja. Das tut mir leid. Es wird noch schlimmer. Das passiert, wenn all diese verschiedenen Schlagwörter, all diese verschiedenen Aufmerksamkeiten, diese verzweifelte Erzeugung von Inhalten an einem einzigen Ort zusammenkommen. Hier kommen all diese äußerst merkwürdigen Suchbegriffe nach Hause, um zu ruhen. Man kreuzt das Video der Fingerfamilie mit einigen lebensechten Superhelden, fügt einige komische, trollische Insiderwitze oder so etwas hinzu und plötzlich landet man an einem wirklich sehr befremdlichen Ort.
And also, on the other side of the screen, there still are these little kids watching this stuff, stuck, their full attention grabbed by these weird mechanisms. And most of these kids are too small to even use a website. They're just kind of hammering on the screen with their little hands. And so there's autoplay, where it just keeps playing these videos over and over and over in a loop, endlessly for hours and hours at a time. And there's so much weirdness in the system now that autoplay takes you to some pretty strange places. This is how, within a dozen steps, you can go from a cute video of a counting train to masturbating Mickey Mouse. Yeah. I'm sorry about that. This does get worse. This is what happens when all of these different keywords, all these different pieces of attention, this desperate generation of content, all comes together into a single place. This is where all those deeply weird keywords come home to roost. You cross-breed the finger family video with some live-action superhero stuff, you add in some weird, trollish in-jokes or something, and suddenly, you come to a very weird place indeed.
Das Zeug, das Eltern normalerweise verärgert, ist das Zeug, das gewalttätige oder sexuelle Inhalte hat, nicht wahr? Zeichentrickfiguren werden angegriffen, getötet, absurde Streiche, die Kindern wirklich richtige Angst einjagen. Was Sie hier haben, ist Software, die diese ganzen Einflüsse zusammenbringt und so automatisch die schlimmsten Albträume von Kindern erzeugt. Dieses Zeug hat echte Auswirkungen auf kleine Kinder. Eltern berichten, dass ihre Kinder traumatisiert sind, Angst vor der Dunkelheit bekommen, Angst vor ihren liebsten Zeichentrickfiguren bekommen. Wenn man eine Sache hier mitnimmt, ist es die: Wenn Sie kleine Kinder haben, halten Sie sie verdammt nochmal von YouTube fern.
The stuff that tends to upset parents is the stuff that has kind of violent or sexual content, right? Children's cartoons getting assaulted, getting killed, weird pranks that actually genuinely terrify children. What you have is software pulling in all of these different influences to automatically generate kids' worst nightmares. And this stuff really, really does affect small children. Parents report their children being traumatized, becoming afraid of the dark, becoming afraid of their favorite cartoon characters. If you take one thing away from this, it's that if you have small children, keep them the hell away from YouTube.
(Applaus)
(Applause)
Aber die andere Sache, die mich wirklich beschäftigt, ist, dass ich nicht weiß, ob wir überhaupt wirklich verstehen, wie wir an diesen Punkt gekommen sind. Wir haben diese ganzen Einflüsse und all diese Dinge genommen und sie so vermischt, wie es niemand wirklich beabsichtigt hatte. Dabei ist das die Art und Weise, wie wir die ganze Welt konstruieren. Wir nehmen all diese Daten, viele davon schlechte Daten, viele historische Daten voller Vorurteile, voll von all unseren schlimmsten Impulsen der Geschichte, erstellen daraus riesige Datensätze und anschließend automatisieren wir sie. Und wir verarbeiten sie zu Dingen wie Kreditauskünften, Versicherungsprämien, Systemen vorausschauender Polizeiarbeit, Richtlinien zur Strafzumessung. So konstruieren wir die heutige Welt aus diesen Daten. Ich weiß nicht, was schlimmer ist, dass wir ein System geschaffen haben, das scheinbar vollständig für die absolut schlimmsten Aspekte des menschlichen Verhaltens optimiert ist, oder dass wir es aus Versehen taten, ohne zu merken, dass wir es taten, weil wir die Systeme, die wir aufbauten, nicht wirklich verstanden, und wir nicht wirklich wussten, wie man etwas anderes damit macht.
But the other thing, the thing that really gets to me about this, is that I'm not sure we even really understand how we got to this point. We've taken all of this influence, all of these things, and munged them together in a way that no one really intended. And yet, this is also the way that we're building the entire world. We're taking all of this data, a lot of it bad data, a lot of historical data full of prejudice, full of all of our worst impulses of history, and we're building that into huge data sets and then we're automating it. And we're munging it together into things like credit reports, into insurance premiums, into things like predictive policing systems, into sentencing guidelines. This is the way we're actually constructing the world today out of this data. And I don't know what's worse, that we built a system that seems to be entirely optimized for the absolute worst aspects of human behavior, or that we seem to have done it by accident, without even realizing that we were doing it, because we didn't really understand the systems that we were building, and we didn't really understand how to do anything differently with it.
Es gibt ein paar Dinge, die das Ganze auf YouTube am meisten voranzutreiben scheinen, und das erste davon ist die Werbung, sprich die Monetarisierung von Aufmerksamkeit, ohne dass irgendwelche echten, anderen Variablen am Werk sind, wie Sorge um die Menschen, die diese Inhalte tatsächlich entwickeln, die Zentralisierung der Macht, die Trennung dieser Dinge. Und ich glaube, egal wie Sie zum Einsatz von Werbung stehen, um Dinge zu verkaufen, der Anblick von erwachsenen Männern in Windeln, die im Sand herumrollen in der Hoffnung, dass ein Algorithmus, den sie nicht wirklich verstehen, ihnen Geld dafür gibt, legt nahe, dass dies wohl nicht das ist, worauf wir unsere Gesellschaft und Kultur gründen sollten, und wie wir sie finanzieren sollten.
There's a couple of things I think that really seem to be driving this most fully on YouTube, and the first of those is advertising, which is the monetization of attention without any real other variables at work, any care for the people who are actually developing this content, the centralization of the power, the separation of those things. And I think however you feel about the use of advertising to kind of support stuff, the sight of grown men in diapers rolling around in the sand in the hope that an algorithm that they don't really understand will give them money for it suggests that this probably isn't the thing that we should be basing our society and culture upon, and the way in which we should be funding it.
Der andere wesentliche Antriebsfaktor ist die Automatisierung, sprich die Bereitstellung dieser ganzen Technologie, sobald sie eintrifft, ohne irgendeine Art von Kontrolle, und dann, sobald sie verfügbar ist, werfen wir unsere Hände hoch und sagen: "Hey, das sind nicht wir, es ist die Technologie." "Wir haben damit nichts zu tun." Das ist nicht gut genug. Denn dieses Zeug wird nicht nur von Algorithmen gesteuert, es wird auch von Algorithmen kontrolliert. Als YouTube zum ersten Mal darauf aufmerksam wurde, war das Erste, was sie tun wollten, bessere maschinelle Lernalgorithmen einzusetzen, um den Inhalt zu moderieren. Nun, maschinelles Lernen, wie jeder Experte bezeugen kann, ist im Grunde genommen nichts anderes als Software, von der wir nicht wirklich wissen, wie sie funktioniert. Ich denke, davon haben wir bereits genug. Wir sollten die Entscheidung nicht der KI überlassen, was geeignet ist oder nicht, denn wir wissen, was dann passiert. Es wird andere Dinge zensieren. Es wird Queer-Inhalte zensieren. Es wird den legitimen, öffentlichen Diskurs zensieren. Was in diesen Diskursen erlaubt ist, sollte nicht von unverantwortlichen Systemen bestimmt werden. Es ist Teil einer Diskussion, die wir alle führen sollten.
And the other thing that's kind of the major driver of this is automation, which is the deployment of all of this technology as soon as it arrives, without any kind of oversight, and then once it's out there, kind of throwing up our hands and going, "Hey, it's not us, it's the technology." Like, "We're not involved in it." That's not really good enough, because this stuff isn't just algorithmically governed, it's also algorithmically policed. When YouTube first started to pay attention to this, the first thing they said they'd do about it was that they'd deploy better machine learning algorithms to moderate the content. Well, machine learning, as any expert in it will tell you, is basically what we've started to call software that we don't really understand how it works. And I think we have enough of that already. We shouldn't be leaving this stuff up to AI to decide what's appropriate or not, because we know what happens. It'll start censoring other things. It'll start censoring queer content. It'll start censoring legitimate public speech. What's allowed in these discourses, it shouldn't be something that's left up to unaccountable systems. It's part of a discussion all of us should be having.
Aber ich möchte Sie erinnern, dass die Alternative auch nicht sehr angenehm ist. YouTube kündigte vor Kurzem an, dass sie eine Version ihrer Kinder-App veröffentlichen werden, die vollständig von Menschen betreut wird. Facebook -- Zuckerberg sagte etwas sehr Ähnliches vor dem Kongress, als er gefragt wurde, wie sie ihre Sachen überwachen würden. Er sagte, dass es Menschen machen würden. Was das wirklich bedeutet, ist: Anstatt dass Kleinkinder die Ersten sind, die dieses Zeug sehen, hat man nun unterbezahlte Vertragsarbeiter ohne angemessene psychologische Betreuung, die davon auch noch geschädigt werden.
But I'd leave a reminder that the alternative isn't very pleasant, either. YouTube also announced recently that they're going to release a version of their kids' app that would be entirely moderated by humans. Facebook -- Zuckerberg said much the same thing at Congress, when pressed about how they were going to moderate their stuff. He said they'd have humans doing it. And what that really means is, instead of having toddlers being the first person to see this stuff, you're going to have underpaid, precarious contract workers without proper mental health support being damaged by it as well.
(Lachen)
(Laughter)
Ich denke, wir können alle viel mehr zustande bringen.
And I think we can all do quite a lot better than that.
(Applaus)
(Applause)
Der Gedanke, der diese beiden Dinge für mich wirklich zusammenbringt, ist Handlungsfähigkeit. Es geht darum, wie viel wir verstehen -- mit Handlungsfähigkeit meine ich: zu wissen, wie wir in unserem eigenen, besten Interesse handeln können. Was fast unmöglich ist in diesen Systemen, die wir nicht wirklich vollständig verstehen. Ungleiche Machtverhältnisse führen immer zu Gewalt. Diese Systeme zeigen uns, dass ungleiches Verständnis dasselbe bewirkt. Wenn es eine Möglichkeit gibt, zu beginnen, diese Systeme zu verbessern, ist es, sie für Nutzer verständlicher zu machen, sodass wir alle zu einem gemeinsamen Verständnis dessen gelangen, was hier tatsächlich vor sich geht.
The thought, I think, that brings those two things together, really, for me, is agency. It's like, how much do we really understand -- by agency, I mean: how we know how to act in our own best interests. Which -- it's almost impossible to do in these systems that we don't really fully understand. Inequality of power always leads to violence. And we can see inside these systems that inequality of understanding does the same thing. If there's one thing that we can do to start to improve these systems, it's to make them more legible to the people who use them, so that all of us have a common understanding of what's actually going on here.
Jedoch denke ich, das Wichtigste an diesen Systemen ist, dass es, wie ich hoffentlich erklärt habe, nicht wirklich um YouTube geht. Es geht um alles. Themen wie Verantwortlichkeit und Handlungsfähigkeit, Intransparenz und Komplexität, Gewalt und Ausbeutung, was zwangsläufig aus der Konzentration von Macht in wenigen Händen resultiert -- das sind viel, viel größere Themen. Es sind keine Themen, die nur YouTube und Technologie im Allgemeinen betreffen, und sie sind nicht einmal neu. Sie begleiten uns schon ewig. Aber schließlich haben wir dieses globale System, das Internet, entwickelt, das sie uns auf diese außergewöhnliche Art und Weise vorführt und sie unbestreitbar macht. Technologie hat diese außergewöhnliche Fähigkeit, all unsere außergewöhnlichsten, oft verdeckten Wünsche und Vorurteile zu instanziieren und weiterzuentwickeln und sie in die Welt zu kodieren, aber sie schreibt sie auch auf, damit wir sie sehen können, damit wir nicht so tun können, als ob sie nicht mehr existieren. Wir müssen aufhören, Technologie als Lösung für all unsere Probleme zu sehen und sie stattdessen als Leitfaden betrachten, um herauszufinden, was diese Probleme tatsächlich sind, damit wir anfangen können, richtig über sie nachzudenken und sie anzugehen.
The thing, though, I think most about these systems is that this isn't, as I hope I've explained, really about YouTube. It's about everything. These issues of accountability and agency, of opacity and complexity, of the violence and exploitation that inherently results from the concentration of power in a few hands -- these are much, much larger issues. And they're issues not just of YouTube and not just of technology in general, and they're not even new. They've been with us for ages. But we finally built this system, this global system, the internet, that's actually showing them to us in this extraordinary way, making them undeniable. Technology has this extraordinary capacity to both instantiate and continue all of our most extraordinary, often hidden desires and biases and encoding them into the world, but it also writes them down so that we can see them, so that we can't pretend they don't exist anymore. We need to stop thinking about technology as a solution to all of our problems, but think of it as a guide to what those problems actually are, so we can start thinking about them properly and start to address them.
Vielen Dank.
Thank you very much.
(Applaus)
(Applause)
Danke.
Thank you.
(Applaus)
(Applause)
Helen Walters: James, danke fürs Kommen und für den Vortrag. Es ist interessant: Wenn man an die Filme denkt, in denen die Roboter-Oberherren die Macht ergreifen, wirkt das alles etwas glamouröser als das, was du beschreibst. Aber ich frage mich -- in diesen Filmen hat man einen wachsenden Widerstand. Gibt es auch einen wachsenden Widerstand gegen dieses Zeug? Siehst du irgendwelche positiven Signale, erste Anzeichen eines Widerstandes?
Helen Walters: James, thank you for coming and giving us that talk. So it's interesting: when you think about the films where the robotic overlords take over, it's all a bit more glamorous than what you're describing. But I wonder -- in those films, you have the resistance mounting. Is there a resistance mounting towards this stuff? Do you see any positive signs, green shoots of resistance?
James Bridle: Ich weiß nichts von direktem Widerstand, weil ich denke, dieses Zeug ist super langfristig. Es hat sich tief in die Kultur eingebrannt. Eine Freundin von mir, Eleanor Saitta, sagt immer, dass alle technologischen Probleme von ausreichendem Umfang und Ausmaß zuallererst politische Probleme sind. All diese Dinge, an deren Lösung wir arbeiten, werden nicht einfach dadurch behoben, dass wir die Technologie verbessern, sondern indem wir die Gesellschaft verändern, die diese Technologien erzeugt. Also nein, ich denke, im Moment haben wir einen verdammt langen Weg vor uns. Aber wie gesagt, indem wir sie erklären und ehrlich über sie sprechen, können wir wenigstens anfangen, diesen Prozess zu beginnen.
James Bridle: I don't know about direct resistance, because I think this stuff is super long-term. I think it's baked into culture in really deep ways. A friend of mine, Eleanor Saitta, always says that any technological problems of sufficient scale and scope are political problems first of all. So all of these things we're working to address within this are not going to be addressed just by building the technology better, but actually by changing the society that's producing these technologies. So no, right now, I think we've got a hell of a long way to go. But as I said, I think by unpacking them, by explaining them, by talking about them super honestly, we can actually start to at least begin that process.
HW: Wenn du über Verständlichkeit und digitale Kompetenz sprichst, finde ich es schwer, zu glauben, dass wir die Last der digitalen Kompetenz auf die Nutzer selbst abwälzen sollten. Aber wessen Verantwortung ist die Bildung in dieser neuen Welt?
HW: And so when you talk about legibility and digital literacy, I find it difficult to imagine that we need to place the burden of digital literacy on users themselves. But whose responsibility is education in this new world?
JB: Nochmals, ich denke, diese Verantwortung liegt bei uns allen, dass alles, was wir tun, alles, was wir entwickeln, alles, was wir machen, in einer einvernehmlichen Diskussion stattfinden muss, mit allen, die es vermeiden; dass wir keine Systeme entwickeln, die Menschen überlisten oder überraschen, damit sie das Richtige tun, sondern dass sie vielmehr an jedem Schritt der Bildung beteiligt sind, denn jedes dieser Systeme ist lehrreich. Das ist es, was mir Hoffnung gibt, selbst bei diesem sehr düsteren Zeug, dass, wenn man es nehmen und richtig betrachten kann, es an sich schon ein Stück Bildung ist, das es ermöglicht, zu sehen, wie komplexe Systeme zusammenkommen und funktionieren und dieses Wissen vielleicht an anderer Stelle auf der Welt anzuwenden.
JB: Again, I think this responsibility is kind of up to all of us, that everything we do, everything we build, everything we make, needs to be made in a consensual discussion with everyone who's avoiding it; that we're not building systems intended to trick and surprise people into doing the right thing, but that they're actually involved in every step in educating them, because each of these systems is educational. That's what I'm hopeful about, about even this really grim stuff, that if you can take it and look at it properly, it's actually in itself a piece of education that allows you to start seeing how complex systems come together and work and maybe be able to apply that knowledge elsewhere in the world.
HW: James, es ist eine so wichtige Diskussion und ich weiß, viele Menschen hier sind wirklich offen und bereit, sie zu führen. Danke für diesen Start in den Morgen.
HW: James, it's such an important discussion, and I know many people here are really open and prepared to have it, so thanks for starting off our morning.
JB: Vielen Dank. Tschüss.
JB: Thanks very much. Cheers.
(Applaus)
(Applause)