Ονομάζομαι Τζέιμς. Είμαι συγγραφέας και καλλιτέχνης, και η δουλειά μου έχει να κάνει με την τεχνολογία. Για παράδειγμα ζωγραφίζω στρατιωτικά μη επανδρωμένα αεροσκάφη σε πραγματικό μέγεθος σε δρόμους πόλεων σε όλο τον κόσμο για να μπορέσουν οι άνθρωποι να σκεφτούν και να καταλάβουν αυτές τις δυσδιάκριτες και δυσνόητες νέες τεχνολογίες. Φτιάχνω νευρωνικά δίκτυα που προβλέπουν εκλογικά αποτελέσματα και βασίζονται σε δελτία καιρού γιατί με γοητεύει το πόσες δυνατότητες δίνουν αυτές οι περίεργες νέες τεχνολογίες. Πέρυσι έφτιαξα ένα αυτοκίνητο που κινείται μόνο του. Δεν εμπιστεύομαι, όμως, την τεχνολογία και έτσι του έφτιαξα και μια φάκα.
I'm James. I'm a writer and artist, and I make work about technology. I do things like draw life-size outlines of military drones in city streets around the world, so that people can start to think and get their heads around these really quite hard-to-see and hard-to-think-about technologies. I make things like neural networks that predict the results of elections based on weather reports, because I'm intrigued about what the actual possibilities of these weird new technologies are. Last year, I built my own self-driving car. But because I don't really trust technology, I also designed a trap for it.
(Γέλια)
(Laughter)
Ασχολούμαι μ' αυτά κυρίως γιατί τα βρίσκω συναρπαστικά αλλά και γιατί νομίζω πως όταν μιλάμε για τεχνολογία μιλάμε, κυρίως, για εμάς και τον τρόπο που αντιλαμβανόμαστε τον κόσμο. Ακούστε μια ιστορία για την τεχνολογία.
And I do these things mostly because I find them completely fascinating, but also because I think when we talk about technology, we're largely talking about ourselves and the way that we understand the world. So here's a story about technology.
Αυτό είναι ένα βίντεο με «αυγά έκπληξη». Δείχνει κάποιον ν' ανοίγει δεκάδες σοκολατένια αυγά και να παρουσιάζει το παιχνίδι μέσα του. Τελεία. Κάνει μόνο αυτό για επτά ολόκληρα λεπτά. Θέλω να προσέξτε δύο πράγματα. Πρώτον, αυτό το βίντεο έχει 30 εκατομμύρια θεάσεις.
This is a "surprise egg" video. It's basically a video of someone opening up loads of chocolate eggs and showing the toys inside to the viewer. That's it. That's all it does for seven long minutes. And I want you to notice two things about this. First of all, this video has 30 million views.
(Γέλια)
(Laughter)
Και δεύτερον, παίζεται σ' ένα κανάλι με 6,3 εκατομμύρια συνδρομητές και συνολικά οκτώ δισεκατομμύρια θεάσεις και υπάρχουν πολλά βίντεο σαν αυτό. 30 εκατομμύρια άτομα παρακολουθούν κάποιον να ανοίγει αυγά. Μοιάζει αλλόκοτο αλλά αν ψάξετε για «αυγά έκπληξη» στο YouTube, θα σας βρει 10 εκατομμύρια τέτοια βιντεάκια αλλά νομίζω ότι είναι περισσότερα. Πολύ περισσότερα. Αν συνεχίσετε την αναζήτηση, είναι αμέτρητα. Υπάρχουν άπειρα τέτοια βίντεο σε όλο και πιο μπαρόκ συνδυασμούς επώνυμων προϊόντων και υλικών. Και ανεβαίνουν όλο και περισσότερα από αυτά κάθε μέρα. Ένας αλλόκοτος κόσμος, σωστά;
And the other thing is, it comes from a channel that has 6.3 million subscribers, that has a total of eight billion views, and it's all just more videos like this -- 30 million people watching a guy opening up these eggs. It sounds pretty weird, but if you search for "surprise eggs" on YouTube, it'll tell you there's 10 million of these videos, and I think that's an undercount. I think there's way, way more of these. If you keep searching, they're endless. There's millions and millions of these videos in increasingly baroque combinations of brands and materials, and there's more and more of them being uploaded every single day. Like, this is a strange world. Right?
'Ομως, δεν τα βλέπουν ενήλικες. Αλλά μικρά παιδιά. Είναι σαν ναρκωτικά για μικρά παιδιά. Κάτι με το θέμα της επανάληψης και τη συνεχή δόση ντοπαμίνης από την ανακάλυψη τα εθίζει εντελώς. Τα παιδιά παρακολουθούν αυτά τα βίντεο ξανά και ξανά, για ατελείωτες ώρες. Αν προσπαθήσετε να τους πάρετε την οθόνη, ουρλιάζουν ασταμάτητα. Αν δεν με πιστεύετε, έχω δει άτομα στο κοινό να συμφωνούν, αν δεν πιστεύετε, ρωτήστε κάποιον με μικρά παιδιά και θα γνωρίζει για αυτά τα βίντεο. Θα αρχίσουμε, λοιπόν, από εδώ. Είμαστε στο 2018 και κάποιοι ή πολλοί χρησιμοποιούν τον ίδιο μηχανισμό με το Facebook και το Instagram που σας κάνουν να ελέγχετε συνεχώς την εφαρμογή, και τον χρησιμοποιούν στο YouTube για να χακάρουν το μυαλό των παιδιών με αντάλλαγμα έσοδα από διαφημίσεις.
But the thing is, it's not adults who are watching these videos. It's kids, small children. These videos are like crack for little kids. There's something about the repetition, the constant little dopamine hit of the reveal, that completely hooks them in. And little kids watch these videos over and over and over again, and they do it for hours and hours and hours. And if you try and take the screen away from them, they'll scream and scream and scream. If you don't believe me -- and I've already seen people in the audience nodding -- if you don't believe me, find someone with small children and ask them, and they'll know about the surprise egg videos. So this is where we start. It's 2018, and someone, or lots of people, are using the same mechanism that, like, Facebook and Instagram are using to get you to keep checking that app, and they're using it on YouTube to hack the brains of very small children in return for advertising revenue.
Ελπίζω να το κάνουν μόνο γι' αυτό. Ελπίζω να είναι μόνο γι' αυτό γιατί υπάρχουν πιο εύκολοι τρόποι να βγάλεις τέτοια έσοδα στο YouTube. Μπορείς να επινοήσεις ή να κλέψεις υλικό. Αν αναζητήσετε πολύ δημοφιλή παιδικά, όπως «Πέπα το γουρουνάκι», ή «Κουταβοπερίπολος» θα βρείτε, επίσης, εκατομμύρια τέτοια βίντεο στο διαδίκτυο. Τα περισσότερα δεν ανεβαίνουν από τους δημιουργούς τους αλλά από πολλούς λογαριασμούς, και είναι αδύνατον να ξέρουμε ποιος τα ανεβάζει ή ποια είναι τα κίνητρά τους. Σας ακούγεται γνωστό όλο αυτό; Είναι ακριβώς ο ίδιος μηχανισμός που βλέπουμε στις πιο πολλές ψηφιακές υπηρεσίες όπου είναι αδύνατο να γνωρίζουμε την προέλευση των πληροφοριών. Είναι ψευδείς ειδήσεις για παιδιά, και εμείς τα εκπαιδεύουμε από μωρά να κλικάρουν στον πρώτο σύνδεσμο που βλέπουν άσχετα από το πού προέρχεται. Δεν είναι πολύ καλή ιδέα.
At least, I hope that's what they're doing. I hope that's what they're doing it for, because there's easier ways of making ad revenue on YouTube. You can just make stuff up or steal stuff. So if you search for really popular kids' cartoons like "Peppa Pig" or "Paw Patrol," you'll find there's millions and millions of these online as well. Of course, most of them aren't posted by the original content creators. They come from loads and loads of different random accounts, and it's impossible to know who's posting them or what their motives might be. Does that sound kind of familiar? Because it's exactly the same mechanism that's happening across most of our digital services, where it's impossible to know where this information is coming from. It's basically fake news for kids, and we're training them from birth to click on the very first link that comes along, regardless of what the source is. That's doesn't seem like a terribly good idea.
Δείτε κάτι ακόμα πολύ δημοφιλές για παιδιά, στο YouTube. «Το Τραγούδι της Δακτυλοοικογένειας» Άκουσα κάποιον στο κοινό να αναστενάζει. Δείτε το βίντεο του τραγουδιού. Είναι το πιο παλιό που βρήκα. Από το 2007 με μόνο 200.000 θεάσεις. Ψίχουλα δηλαδή. Έχει μια μελωδία απίστευτα κολλητική. Δεν θα βάλω ήχο γιατί θα σας κάψει τον εγκέφαλο όπως έκανε και με τον δικό μου. Δεν θέλω να το πάθετε και εσείς. Όπως και τα «αυγά έκπληξη», τρύπωσε στο μυαλό των παιδιών και προκάλεσε εθισμό. Λίγα χρόνια μετά, αυτά τα βίντεο εμφανίζονται παντού, σε διαφορετικές γλώσσες με κινούμενα σχέδια που χρησιμοποιούν φαγητό ή οτιδήποτε μπορείς να κουνήσεις και σου βρίσκεται πρόχειρο. Και πάλι, υπάρχουν εκατομμύρια τέτοια στο διαδίκτυο, σε παλαβούς συνδυασμούς. Όσο περισσότερο τα παρακολουθείς τόσο περισσότερο νιώθεις να τρελαίνεσαι.
Here's another thing that's really big on kids' YouTube. This is called the "Finger Family Song." I just heard someone groan in the audience. This is the "Finger Family Song." This is the very first one I could find. It's from 2007, and it only has 200,000 views, which is, like, nothing in this game. But it has this insanely earwormy tune, which I'm not going to play to you, because it will sear itself into your brain in the same way that it seared itself into mine, and I'm not going to do that to you. But like the surprise eggs, it's got inside kids' heads and addicted them to it. So within a few years, these finger family videos start appearing everywhere, and you get versions in different languages with popular kids' cartoons using food or, frankly, using whatever kind of animation elements you seem to have lying around. And once again, there are millions and millions and millions of these videos available online in all of these kind of insane combinations. And the more time you start to spend with them, the crazier and crazier you start to feel that you might be.
Αυτό που με έκανε να ασχοληθώ με αυτά είναι το αίσθημα του αλλόκοτου και του ανεξήγητου του πώς δημιουργήθηκε όλο αυτό και βρίσκεται παντού γύρω μου. Είναι αδύνατο να μάθουμε την πηγή τους. Ποιος τα φτιάχνει; Κάποια μοιάζουν έργα επαγγελματιών. Άλλα φτιαγμένα στην τύχη από κάποιο πρόγραμμα. Σε άλλα βλέπουμε νεαρούς παρουσιαστές παιδικών προγραμμάτων. Όμως, κάποια είναι από ανθρώπους που δεν θα έπρεπε να βρίσκονται κοντά σε παιδιά.
And that's where I kind of launched into this, that feeling of deep strangeness and deep lack of understanding of how this thing was constructed that seems to be presented around me. Because it's impossible to know where these things are coming from. Like, who is making them? Some of them appear to be made of teams of professional animators. Some of them are just randomly assembled by software. Some of them are quite wholesome-looking young kids' entertainers. And some of them are from people who really clearly shouldn't be around children at all.
(Γέλια)
(Laughter)
Αυτή η αδυναμία να προσδιορίσουμε ποιος τα φτιάχνει -- κάποιο μποτ; Άνθρωποι; Τρολ; Και γιατί να μην μπορούμε να τα διαχωρίσουμε όλα αυτά πια; Έχουμε πια εξοικειωθεί με αυτή την αβεβαιότητα;
And once again, this impossibility of figuring out who's making this stuff -- like, this is a bot? Is this a person? Is this a troll? What does it mean that we can't tell the difference between these things anymore? And again, doesn't that uncertainty feel kind of familiar right now?
Ο κύριος τρόπος για να έχουν θεάσεις τα βίντεο -- θυμηθείτε, θεάσεις ίσον χρήμα -- είναι να γεμίσουν τους τίτλους τους με δημοφιλείς όρους. Παίρνετε τον όρο «αυγό έκπληξη» και προσθέτετε «Κουταβοπερίπολος», «Πασχαλινό αυγό» κάτι σαν αυτά εδώ, που είναι λέξεις από άλλα βίντεο και τα βάζεις στον τίτλο και έχουμε, τελικά, μια σούπα από λέξεις χωρίς νόημα, εντελώς ακατανόητη από ανθρώπους. Αφού τα βλέπουν μόνο μικρά παιδιά, και τι στο καλό ξέρουν αυτά; Το πραγματικό κοινό σου είναι τα προγράμματα. Οι αλγόριθμοι. Τα προγράμματα που έχει το YouTube για να βρίσκει παρόμοια βίντεο, να τα κάνει δημοφιλή και προτεινόμενα. Έτσι καταλήγουμε σε αυτή την εντελώς ανούσια σούπα ως προς τον τίτλο και το περιεχόμενο.
So the main way people get views on their videos -- and remember, views mean money -- is that they stuff the titles of these videos with these popular terms. So you take, like, "surprise eggs" and then you add "Paw Patrol," "Easter egg," or whatever these things are, all of these words from other popular videos into your title, until you end up with this kind of meaningless mash of language that doesn't make sense to humans at all. Because of course it's only really tiny kids who are watching your video, and what the hell do they know? Your real audience for this stuff is software. It's the algorithms. It's the software that YouTube uses to select which videos are like other videos, to make them popular, to make them recommended. And that's why you end up with this kind of completely meaningless mash, both of title and of content.
Όμως θυμηθείτε ότι πίσω από αυτό το σύστημα αλγόριθμων υπάρχουν άνθρωποι που αναγκάζονται όλο και πιο πολύ να μιμηθούν αυτούς τους όλο και πιο αλλόκοτους συνδιασμούς λέξεων. Όπως ένας απελπισμένος καλλιτέχνης που ουρλιάζει ως απάντηση στα ταυτόχρονα ουρλιαχτά εκατομυρίων παιδιών. Πραγματικοί άνθρωποι παγιδευμένοι στα συστήματα. Ένα άλλο παράξενο πράγμα σε αυτόν τον πολιτισμό των αλγορίθμων είναι ότι ακόμη και αν είστε άνθρωποι τελικά φέρεστε σαν μηχανή μόνο και μόνο για να επιβιώσετε.
But the thing is, you have to remember, there really are still people within this algorithmically optimized system, people who are kind of increasingly forced to act out these increasingly bizarre combinations of words, like a desperate improvisation artist responding to the combined screams of a million toddlers at once. There are real people trapped within these systems, and that's the other deeply strange thing about this algorithmically driven culture, because even if you're human, you have to end up behaving like a machine just to survive.
Στην άλλη πλευρά της όψη της οθόνης έχουμε μικρά παιδιά να παρακολουθούν, κολλημένα, η προσοχή τους αιχμάλωτη αυτών των παράξενων μηχανισμών. Τα πιο πολλά είναι πολύ μικρά για να χρησιμοποιούν ιστότοπους. Απλώς πατάνε στην οθόνη με τα χεράκια τους. Η αυτόματη αναπαραγωγή παίζει αυτά τα βίντεο ξανά και ξανά για ώρες, χωρίς να σταματά. Υπάρχουν τόσα αλλόκοτα πράγματα στο σύστημα που ο αυτοματισμός σε κατευθύνει σε πολύ περίεργα μέρη. Και έτσι, μέσα σε λίγα βήματα, βρίσκεσαι από ένα βίντεο με ένα τρενάκι που μετράει σε ένα με τον Μίκυ Μάους να αυνανίζεται. Πράγματι. Και λυπάμαι γι' αυτό. Πραγματικά χειροτερεύει. Αυτό συμβαίνει όταν όλες αυτές οι λέξεις κλειδιά, όλα αυτά τα διάφορα τμήματα της προσοχής, αυτή η απεγνωσμένη γενιά του περιεχομένου συγκεντρώνονται σε ένα μέρος. Έτσι όλες οι περίεργες αυτές λέξεις γυρίζουν μπούμερανγκ. Διασταυρώνουμε το βίντεο της δακτυλοοικογένειας με μια δόση δράσης υπερήρωα και προσθέτουμε κάτι σαν αστειάκι, σαν τρολλάρισμα και ξαφνικά βρισκόμαστε σε μια πραγματικά περίεργη κατάσταση.
And also, on the other side of the screen, there still are these little kids watching this stuff, stuck, their full attention grabbed by these weird mechanisms. And most of these kids are too small to even use a website. They're just kind of hammering on the screen with their little hands. And so there's autoplay, where it just keeps playing these videos over and over and over in a loop, endlessly for hours and hours at a time. And there's so much weirdness in the system now that autoplay takes you to some pretty strange places. This is how, within a dozen steps, you can go from a cute video of a counting train to masturbating Mickey Mouse. Yeah. I'm sorry about that. This does get worse. This is what happens when all of these different keywords, all these different pieces of attention, this desperate generation of content, all comes together into a single place. This is where all those deeply weird keywords come home to roost. You cross-breed the finger family video with some live-action superhero stuff, you add in some weird, trollish in-jokes or something, and suddenly, you come to a very weird place indeed.
Τα βίντεο που εξοργίζουν τους γονείς είναι αυτά με βίαιο ή σεξουαλικό περιεχόμενο, σωστά; Παιδικοί ήρωες δέχονται επιθέσεις, δολοφονούνται. Παράξενες φάρσες που πραγματικά τρομοκρατούν τα παιδιά. Πρόκειται για προγράμματα που συλλέγουν αυτά τα στοιχεία και αυτοματοποιημένα δημιουργούν χείριστους παιδικούς εφιάλτες. Όλα αυτά πραγματικά επηρεάζουν τα μικρά παιδιά. Γονείς αναφέρονται σε ψυχολογικά τραύματα, τα παιδιά φοβούνται το σκοτάδι, φοβούνται τον αγαπημένο τους ήρωα καρτούν. Κρατήστε αυτό από την ομιλία μου: αν έχετε μικρά παιδιά, κρατήστε τα μακριά από το YouTube.
The stuff that tends to upset parents is the stuff that has kind of violent or sexual content, right? Children's cartoons getting assaulted, getting killed, weird pranks that actually genuinely terrify children. What you have is software pulling in all of these different influences to automatically generate kids' worst nightmares. And this stuff really, really does affect small children. Parents report their children being traumatized, becoming afraid of the dark, becoming afraid of their favorite cartoon characters. If you take one thing away from this, it's that if you have small children, keep them the hell away from YouTube.
(Χειροκρότημα)
(Applause)
Αυτό, όμως, που πραγματικά με εκνευρίζει είναι πως, μάλλον, ούτε καν καταλαβαίνουμε πώς φτάσαμε ως εδώ. Πήραμε όλα αυτά τα στοιχεία και τα επεξεργαστήκαμε με τρόπο πέρα από τις προθέσεις μας. Κι όμως, έτσι χτίζουμε τον κόσμο που μας περιβάλλει. Συγκεντρώνουμε όλα αυτά τα δεδομένα, πολλά απ' τα οποία αβάσιμα, πολλά με προκαταλήψεις γύρω από την ιστορία, με τις χειρότερες απερισκεψίες της ιστορίας μας, τα οργανώνουμε σε μεγάλες βάσεις δεδομένων και μετά, τα αυτοματοποιούμε. Τα επεξεργαζόμαστε για να φτιάξουμε προφίλ πιστοληπτικής ικανότητας, το κόστος ασφάλιστρων, για συστήματα που δίνουν προγνωστικά εγκληματικότητας, και οδηγίες για δικαστικές ποινές. Με αυτόν τον τρόπο συγκροτούμε τον κόσμο μας σήμερα, με βάση αυτά τα δεδομένα. Δεν ξέρω πιο είναι χειρότερο. Η οικοδόμηση ενός συστήματος που μοιάζει το καλύτερο για τις χειρότερες πτυχές της ανθρώπινης συμπεριφοράς ή η υποψία ότι μάλλον φτιάχτηκε κατά λάθος χωρίς καν να το πάρουμε χαμπάρι γιατί δεν κατανοούσαμε πραγματικά τι σύστημα οικοδομούσαμε, ούτε πώς να το χρησιμοποιήσουμε διαφορετικά.
But the other thing, the thing that really gets to me about this, is that I'm not sure we even really understand how we got to this point. We've taken all of this influence, all of these things, and munged them together in a way that no one really intended. And yet, this is also the way that we're building the entire world. We're taking all of this data, a lot of it bad data, a lot of historical data full of prejudice, full of all of our worst impulses of history, and we're building that into huge data sets and then we're automating it. And we're munging it together into things like credit reports, into insurance premiums, into things like predictive policing systems, into sentencing guidelines. This is the way we're actually constructing the world today out of this data. And I don't know what's worse, that we built a system that seems to be entirely optimized for the absolute worst aspects of human behavior, or that we seem to have done it by accident, without even realizing that we were doing it, because we didn't really understand the systems that we were building, and we didn't really understand how to do anything differently with it.
Υπάρχουν κάποια πράγματα που φαίνονται να ωθούν όλα αυτά, κυρίως στο YouTube και το πρώτο είναι οι διαφημίσεις, η αναγωγή της προσοχής μας σε χρήμα χωρίς κανέναν άλλον οδηγό, χωρίς να μας νοιάζουν οι άνθρωποι που δημιουργούν αυτό το περιεχόμενο, ο συγκεντρωτισμός της εξουσίας, ο διαχωρισμός των πραγμάτων. Άσχετα από τη γνώμη σας για τη διαφήμιση σαν μέσο προώθησης, η εικόνα ενήλικων ανδρών με πάνες να κυλιούνται στην άμμο, ελπίζοντας ότι ένας ακαταλαβίστικος αλγόριθμος θα τους αποφέρει έτσι χρήματα, δείχνει ότι μάλλον δεν θα πρέπει να βασιστούμε στην διαφήμιση για να χρηματοδοτούμε την κοινωνία και τον πολιτισμό μας.
There's a couple of things I think that really seem to be driving this most fully on YouTube, and the first of those is advertising, which is the monetization of attention without any real other variables at work, any care for the people who are actually developing this content, the centralization of the power, the separation of those things. And I think however you feel about the use of advertising to kind of support stuff, the sight of grown men in diapers rolling around in the sand in the hope that an algorithm that they don't really understand will give them money for it suggests that this probably isn't the thing that we should be basing our society and culture upon, and the way in which we should be funding it.
Το άλλο, που κυρίως δίνει ώθηση σε αυτά, είναι η αυτοματοποίηση. Δηλαδή η εφαρμογή όλης αυτής της τεχνολογίας αμέσως μόλις εμφανιστεί, χωρίς κάποια εποπτεία. Και όταν γίνεται διαθέσιμη, σηκώνουμε τα χέρια και λέμε: «Η τεχνολογία φταίει, όχι εμείς. Εμείς δεν έχουμε καμία σχέση». Αυτό δεν βοηθάει, γιατί όλα αυτά όχι απλώς ρυθμίζονται από αλγόριθμους αλλά και αστυνομεύονται από αυτούς. Όταν στο YouTube αντιλήφθηκαν το πρόβλημα, το πρώτο που είπαν ότι θα κάνουν ήταν να φτιάξουν καλύτερους αλγόριθμους μηχανικής μάθησης για έλεγχο περιεχομένου. Αυτοί που γνωρίζουν θα σας πουν ότι μηχανική μάθηση αποκαλούμε προγράμματα που δεν καταλαβαίνουμε πώς λειτουργούν. Και υπάρχουν ήδη πολλά τέτοια. Δεν πρέπει να αφήνουμε την τεχνητή νοημοσύνη να αποφασίζει τι είναι κατάλληλο γιατί ξέρουμε τι θα συμβεί, θα λογοκρίνει κι άλλα, όπως ομοφυλοφιλικό περιεχόμενο, ή αποδεκτό δημόσιο λόγο. Το τι επιτρέπεται σε έναν διάλογο δεν πρέπει να το αποφασίζει ένα σύστημα που δεν λογοδοτεί αλλά κάτι που εμείς όλοι πρέπει να αποφασίσουμε με διάλογο.
And the other thing that's kind of the major driver of this is automation, which is the deployment of all of this technology as soon as it arrives, without any kind of oversight, and then once it's out there, kind of throwing up our hands and going, "Hey, it's not us, it's the technology." Like, "We're not involved in it." That's not really good enough, because this stuff isn't just algorithmically governed, it's also algorithmically policed. When YouTube first started to pay attention to this, the first thing they said they'd do about it was that they'd deploy better machine learning algorithms to moderate the content. Well, machine learning, as any expert in it will tell you, is basically what we've started to call software that we don't really understand how it works. And I think we have enough of that already. We shouldn't be leaving this stuff up to AI to decide what's appropriate or not, because we know what happens. It'll start censoring other things. It'll start censoring queer content. It'll start censoring legitimate public speech. What's allowed in these discourses, it shouldn't be something that's left up to unaccountable systems. It's part of a discussion all of us should be having.
Θέλω, όμως, να θυμίσω ότι ούτε η εναλλακτική λύση είναι ευχάριστη. Το YouTube ανακοίνωσε πρόσφατα ότι θα βγάλει μια έκδοση της εφαρμογής για παιδιά που θα ελέγχεται εξ' ολοκλήρου από ανθρώπους. Το Facebook -- ο Ζούκερμπεργκ είπε κάτι παρόμοιο στο Κογκρέσο όταν τον πίεσαν να πει πώς θα ασκούν έλεγχο. Είπε πως θα το κάνουν άνθρωποι. Που, βασικά, σημαίνει ότι αντί για τα νήπια που έβλεπαν πρώτα το περιεχόμενο, θα το κάνουν κακοπληρωμένοι υπάλληλοι με επισφαλή συμβόλαια και χωρίς ψυχολογική υποστήριξη για να διαλύονται κι αυτοί.
But I'd leave a reminder that the alternative isn't very pleasant, either. YouTube also announced recently that they're going to release a version of their kids' app that would be entirely moderated by humans. Facebook -- Zuckerberg said much the same thing at Congress, when pressed about how they were going to moderate their stuff. He said they'd have humans doing it. And what that really means is, instead of having toddlers being the first person to see this stuff, you're going to have underpaid, precarious contract workers without proper mental health support
(Γέλια)
being damaged by it as well.
Νομίζω πως μπορούμε και καλύτερα.
(Laughter)
(Χειροκρότημα)
And I think we can all do quite a lot better than that.
(Applause)
Η ιδέα που ενώνει τη διαφήμιση και την αυτοματοποίηση είναι, νομίζω, η μεσολάβηση. Κατά πόσο καταλαβαίνουμε πραγματικά -- εννοώ πώς ξέρουμε τι να πράξουμε για το συμφέρον μας. Πράγμα σχεδόν αδύνατο με αυτά τα συστήματα που πραγματικά δεν κατανοούμε σε βάθος. Η ανισότητα ισχύος οδηγεί πάντα στη βία. Και σε αυτά τα συστήματα βλέπουμε ότι η ανισότητα κατανόησης οδηγεί στο ίδιο πράγμα. Αν υπάρχει κάτι που μπορεί να γίνει για τη βελτίωση των συστημάτων, θα πρέπει να γίνουν πιο κατανοητά για τους χρήστες έτσι ώστε να υπάρχει μια από κοινού κατανόηση του τι πραγματικά συμβαίνει.
The thought, I think, that brings those two things together, really, for me, is agency. It's like, how much do we really understand -- by agency, I mean: how we know how to act in our own best interests. Which -- it's almost impossible to do in these systems that we don't really fully understand. Inequality of power always leads to violence. And we can see inside these systems that inequality of understanding does the same thing. If there's one thing that we can do to start to improve these systems, it's to make them more legible to the people who use them, so that all of us have a common understanding of what's actually going on here.
Το σημαντικό με αυτά τα συστήματα είναι ότι δεν πρόκειται απλώς για το YouTube, αλλά για τα πάντα. Τα θέματα της ανάληψης ευθύνης και διαμεσολάβησης, έλλειψης διαφάνειας και περιπλοκότητας της βίας και εκμετάλλευσης που προέρχονται εγγενώς από τη συγκέντρωση της εξουσίας στα χέρια λίγων -- αυτά είναι τα σημαντικά προβλήματα. Δεν είναι απλώς το YouTube ή γενικά η τεχνολογία και δεν είναι καν κάτι νέο. Τα ζούμε εδώ και χρόνια. Φτιάξαμε, όμως, το παγκόσμιο αυτό σύστημα, το Ίντερνετ, που μας τα αποκαλύπτει με αυτόν τον περίεργο τρόπο καθιστώντας τα αυταπόδεικτα. Η τεχνολογία έχει την εξαιρετική ικανότητα να δίνει υπόσταση και να διαιωνίζει τις πιο και συχνά κρυφές μας επιθυμίες και προκαταλήψεις και να μας τις παρουσιάζει κωδικοποιημένες αλλά και να τις καταγράφει για να γίνονται ορατές και να μην μπορούμε να κάνουμε πως δεν υπάρχουν πια. Ας μην βλέπουμε την τεχνολογία ως λύση για όλα τα προβλήματά μας αλλά ως οδηγό για το ποια είναι πραγματικά αυτά τα προβλήματα για να μπορέσουμε να τα εξετάσουμε σωστά και να αρχίσουμε να τα διευθετούμε.
The thing, though, I think most about these systems is that this isn't, as I hope I've explained, really about YouTube. It's about everything. These issues of accountability and agency, of opacity and complexity, of the violence and exploitation that inherently results from the concentration of power in a few hands -- these are much, much larger issues. And they're issues not just of YouTube and not just of technology in general, and they're not even new. They've been with us for ages. But we finally built this system, this global system, the internet, that's actually showing them to us in this extraordinary way, making them undeniable. Technology has this extraordinary capacity to both instantiate and continue all of our most extraordinary, often hidden desires and biases and encoding them into the world, but it also writes them down so that we can see them, so that we can't pretend they don't exist anymore. We need to stop thinking about technology as a solution to all of our problems, but think of it as a guide to what those problems actually are, so we can start thinking about them properly and start to address them.
Σας ευχαριστώ πολύ.
Thank you very much.
(Χειροκρότημα)
(Applause)
Ευχαριστώ.
Thank you.
(Χειροκρότημα)
(Applause)
Έλεν Γουόλτερς: Τζέιμς, σ' ευχαριστώ που ήρθες και μας μίλησες. Είναι ενδιαφέρον: όταν σκεφτόμαστε ταινίες όπου κυριαρχεί το ρομποτικό στοιχείο μοιάζει κάπως πιο λαμπερό από αυτό που εσύ περιγράφεις. Αναρωτιέμαι -- σ' αυτές τις ταινίες βλέπεις την αντίδραση να αυξάνεται. Υπάρχει αυξανόμενη αντίδραση προς όλα αυτά; Βλέπεις θετικά σημάδια, βλαστούς αντίστασης;
Helen Walters: James, thank you for coming and giving us that talk. So it's interesting: when you think about the films where the robotic overlords take over, it's all a bit more glamorous than what you're describing. But I wonder -- in those films, you have the resistance mounting. Is there a resistance mounting towards this stuff? Do you see any positive signs, green shoots of resistance?
Τζέιμς Μπράιντλ: δεν θα έλεγα άμεση αντίσταση γιατί αυτά υπάρχουν εδώ και πάρα πολύ καιρό. Έχουν ενσωματωθεί βαθιά στην κουλτούρα μας. Μια φίλη, η Έλεανορ Σαίτα, λέει ότι προβλήματα τεχνολογίας σε μεγάλη κλίμακα και φάσμα είναι κατά βάση προβλήματα πολιτικής. Όλα αυτά που προσπαθούμε να διευθετήσουμε δεν θα λυθούν βελτιώνοντας την τεχνολογία αλλά αλλάζοντας την κοινωνία που τη δημιουργεί. Μένουν να γίνουν πάρα πολλά. Όμως, φέρνοντάς τα στο φως, εξηγώντας τα, μιλώντας απολύτως ειλικρινά για αυτά, μπορούμε, τουλάχιστον, να κάνουμε μια αρχή.
James Bridle: I don't know about direct resistance, because I think this stuff is super long-term. I think it's baked into culture in really deep ways. A friend of mine, Eleanor Saitta, always says that any technological problems of sufficient scale and scope are political problems first of all. So all of these things we're working to address within this are not going to be addressed just by building the technology better, but actually by changing the society that's producing these technologies. So no, right now, I think we've got a hell of a long way to go. But as I said, I think by unpacking them, by explaining them, by talking about them super honestly, we can actually start to at least begin that process.
ΕΓ: Όταν μιλάς για αναγνωσιμότητα και ψηφιακή μάθηση, δυσκολεύομαι να φανταστώ πως πρέπει να επωμιστούν αυτό το φορτίο οι ίδιοι οι χρήστες. Τίνος ευθύνη είναι η εκπαίδευση σε αυτόν τον νέο κόσμο;
HW: And so when you talk about legibility and digital literacy, I find it difficult to imagine that we need to place the burden of digital literacy on users themselves. But whose responsibility is education in this new world?
ΤΜ: Νομίζω πως είναι όλων μας. Όσα κάνουμε, χτίζουμε ή φτιάχνουμε πρέπει να γίνονται μετά από συναινετικό διάλογο με όλους όσοι τον αποφεύγουν. Να μη φτιάχνουμε συστήματα που ξεγελούν και αιφνιδιάζουν ανθρώπους ώστε να πράττουν το αναμενόμενο, αλλά που θα εμπλέκονται σε κάθε φάση της εκπαίδευσής τους, καθώς κάθε τέτοιο σύστημα είναι επιμορφωτικό. Ελπίζω να συμβεί ακόμη και για όλα αυτά τα φρικτά πράγματα που αν τα δούμε από την κατάλληλη οπτική γωνία αποτελούν πραγματικά ένα μάθημα για να δούμε πώς δημιουργούνται και λειτουργούν τα περίπλοκα συστήματα και ίσως μπορέσουμε να εφαρμόσουμε αυτή τη γνώση και σε άλλους τομείς.
JB: Again, I think this responsibility is kind of up to all of us, that everything we do, everything we build, everything we make, needs to be made in a consensual discussion with everyone who's avoiding it; that we're not building systems intended to trick and surprise people into doing the right thing, but that they're actually involved in every step in educating them, because each of these systems is educational. That's what I'm hopeful about, about even this really grim stuff, that if you can take it and look at it properly, it's actually in itself a piece of education that allows you to start seeing how complex systems come together and work and maybe be able to apply that knowledge elsewhere in the world. HW: James, it's such an important discussion,
ΕΓ: Τζέιμς, θα ήταν μια σημαντική συζήτηση και πολλοί από μας εδώ είμαστε ανοιχτοί και έτοιμοι γι αυτή. Σε ευχαριστώ που έκανες την αρχή σήμερα.
and I know many people here are really open and prepared to have it, so thanks for starting off our morning.
ΤΜ: Ευχαριστώ πολύ. Γεια σας.
JB: Thanks very much. Cheers.
(Χειροκρότημα)
(Applause)