Θα σας μιλήσω για ένα σφάλμα στη λογική που έχουν πολλοί από εμάς. Στην ουσία είναι αδυναμία να δούμε ένα ορισμένο είδος κινδύνου. Θα περιγράψω ένα σενάριο που θεωρώ ταυτόχρονα τρομακτικό, αλλά και πιθανό να συμβεί, και δεν είναι καλός συνδυασμός, όπως τελικά αποδεικνύεται. Αλλά αντί να τρομοκρατείστε, οι περισσότεροι πιστεύετε ότι αυτό που σας λέω είναι μάλλον ωραίο.
I'm going to talk about a failure of intuition that many of us suffer from. It's really a failure to detect a certain kind of danger. I'm going to describe a scenario that I think is both terrifying and likely to occur, and that's not a good combination, as it turns out. And yet rather than be scared, most of you will feel that what I'm talking about is kind of cool.
Θα σας περιγράψω πώς τα οφέλη που θα δρέψουμε από την τεχνητή νοημοσύνη μπορούν εν τέλει να μας καταστρέψουν. Και μάλιστα το θεωρώ απίθανο είτε να μην μας καταστρέψουν ή να μας εμπνεύσουν να καταστραφούμε μόνοι μας. Αν όμως σκέφτεστε όπως εγώ, θα το απολαμβάνετε να σκέφτεστε αυτά τα πράγματα. Κι αυτή η αντίδραση είναι μέρος του προβλήματος. Εντάξει; Αυτή η αντίδραση θα πρέπει να σας ανησυχεί. Κι αν επρόκειτο να σας πείσω με αυτή την ομιλία ότι είναι πιθανόν να αντιμετωπίσουμε παγκόσμιο λιμό, είτε λόγω κλιματικής αλλαγής ή κάποιας άλλης καταστροφής, και ότι τα εγγόνια σας, ή τα δικά τους εγγόνια, είναι πολύ πιθανόν να ζήσουν κάπως έτσι, δεν θα σκεφτόσασταν, «Ενδιαφέρον. Μου αρέσει αυτή η ομιλία TED».
I'm going to describe how the gains we make in artificial intelligence could ultimately destroy us. And in fact, I think it's very difficult to see how they won't destroy us or inspire us to destroy ourselves. And yet if you're anything like me, you'll find that it's fun to think about these things. And that response is part of the problem. OK? That response should worry you. And if I were to convince you in this talk that we were likely to suffer a global famine, either because of climate change or some other catastrophe, and that your grandchildren, or their grandchildren, are very likely to live like this, you wouldn't think, "Interesting. I like this TED Talk."
Ο λιμός δεν είναι κάτι διασκεδαστικό. Από την άλλη, ο θάνατος μέσω επιστημονικής φαντασίας είναι διασκεδαστικός, και κάτι που με ανησυχεί σε αυτό το στάδιο της εξέλιξης της τεχνητής νοημοσύνης είναι ότι αδυνατούμε να επιδείξουμε μια κατάλληλη συναισθηματική αντίδραση στους επικείμενους κινδύνους. Ούτε εγώ μπορώ να έχω αυτή την αντίδραση και κάνω αυτή την ομιλία.
Famine isn't fun. Death by science fiction, on the other hand, is fun, and one of the things that worries me most about the development of AI at this point is that we seem unable to marshal an appropriate emotional response to the dangers that lie ahead. I am unable to marshal this response, and I'm giving this talk.
Είναι σαν να στεκόμαστε μπροστά σε δύο πόρτες. Πίσω από την πρώτη πόρτα, παύουμε να κάνουμε πρόοδο στην παραγωγή ευφυών μηχανών. Για κάποιον λόγο παύουμε να βελτιώνουμε υλισμικό και λογισμικό στους υπολογιστές. Τώρα σκεφτείτε για λίγο γιατί μπορεί να συμβεί αυτό. Εννοώ ότι, δεδομένης της μεγάλης αξίας της ευφυίας και των αυτοματισμών, εφόσον μπορούμε, θα συνεχίσουμε να βελτιώνουμε την τεχνολογία μας. Τι μπορεί να μας αποτρέψει; Ένας πυρηνικός πόλεμος πλήρους κλίμακας; Μια παγκόσμια πανδημία; Μια σύγκρουση με αστεροειδή; Να γίνει ο Τζάστιν Μπίμπερ πρόεδρος των ΗΠΑ;
It's as though we stand before two doors. Behind door number one, we stop making progress in building intelligent machines. Our computer hardware and software just stops getting better for some reason. Now take a moment to consider why this might happen. I mean, given how valuable intelligence and automation are, we will continue to improve our technology if we are at all able to. What could stop us from doing this? A full-scale nuclear war? A global pandemic? An asteroid impact? Justin Bieber becoming president of the United States?
(Γέλια)
(Laughter)
Το θέμα είναι ότι κάτι θα πρέπει να καταστρέψει τον σύγχρονο πολιτισμό. Θα πρέπει να φανταστείτε πόσο οδυνηρό πρέπει να είναι για να μας αποτρέψει από το να βελτιώσουμε την τεχνολογία μας σε μόνιμη βάση, στις επόμενες γενεές. Αυτό είναι σχεδόν εξ ορισμού ό,τι χειρότερο έχει ποτέ συμβεί στην ανθρώπινη ιστορία.
The point is, something would have to destroy civilization as we know it. You have to imagine how bad it would have to be to prevent us from making improvements in our technology permanently, generation after generation. Almost by definition, this is the worst thing that's ever happened in human history.
Έτσι η μόνη εναλλακτική -κι αυτή βρίσκεται πίσω από τη δεύτερη πόρτα- είναι να συνεχίσουμε να βελτιώνουμε τις έξυπνες μηχανές μας χρόνο με τον χρόνο. Σε κάποιο σημείο, θα φτιάξουμε μηχανές που θα είναι πιο έξυπνες από εμάς, κι όταν θα έχουμε μηχανές εξυπνότερες από εμάς, θα αρχίσουν να βελτιώνονται μόνες τους. Τότε διακινδυνεύουμε να έχουμε κάτι που ο μαθηματικός Ι. Τζ. Γκουντ αποκάλεσε «έκρηξη ευφυίας», όπου η διαδικασία μπορεί να φύγει από τον έλεγχό μας.
So the only alternative, and this is what lies behind door number two, is that we continue to improve our intelligent machines year after year after year. At a certain point, we will build machines that are smarter than we are, and once we have machines that are smarter than we are, they will begin to improve themselves. And then we risk what the mathematician IJ Good called an "intelligence explosion," that the process could get away from us.
Αυτό συχνά απεικονίζεται, όπως σας δείχνω εδώ, ως ένας φόβος ότι στρατιές από κακόβουλα ρομπότ θα μας επιτεθούν. Αλλά αυτό δεν είναι το πιο πιθανό σενάριο. Δεν είναι ότι οι μηχανές μας θα γίνουν αυθόρμητα κακόβουλες. Η πραγματική ανησυχία είναι ότι θα φτιάξουμε μηχανές που θα είναι τόσο πιο ικανές από εμάς που η ελάχιστη απόκλιση μεταξύ των δικών τους στόχων και των δικών μας θα μπορούσε να μας καταστρέψει.
Now, this is often caricatured, as I have here, as a fear that armies of malicious robots will attack us. But that isn't the most likely scenario. It's not that our machines will become spontaneously malevolent. The concern is really that we will build machines that are so much more competent than we are that the slightest divergence between their goals and our own could destroy us.
Σκεφτείτε τη σχέση μας με τα μυρμήγκια. Δεν τα μισούμε. Δεν τα βλάπτουμε εκουσίως. Συχνά μάλιστα κάνουμε προσπάθεια να μην τα βλάψουμε. Αποφεύγουμε να τα πατήσουμε στο πεζοδρόμιο. Αλλά όταν η παρουσία τους αντιτίθεται σοβαρά με τους στόχους μας, ας πούμε, όταν φτιάχνουμε ένα τέτοιο κτήριο, τα εκμηδενίζουμε χωρίς δεύτερη σκέψη. Η ανησυχία είναι ότι μια μέρα θα φτιάξουμε μηχανές που, είτε ενσυνείδητα ή όχι, θα μας μεταχειριστούν με παρόμοια αδιαφορία.
Just think about how we relate to ants. We don't hate them. We don't go out of our way to harm them. In fact, sometimes we take pains not to harm them. We step over them on the sidewalk. But whenever their presence seriously conflicts with one of our goals, let's say when constructing a building like this one, we annihilate them without a qualm. The concern is that we will one day build machines that, whether they're conscious or not, could treat us with similar disregard.
Υποψιάζομαι ότι οι περισσότεροι το θεωρείτε παρατραβηγμένο. Βάζω στοίχημα ότι κάποιοι αμφιβάλλουν αν η υπερευφυής τεχνητή νοημοσύνη είναι εφικτή, πολύ δε λιγότερο αναπόφευκτη. Τότε όμως πρέπει να βρείτε κάποιο λάθος στις ακόλουθες υποθέσεις. Και είναι μόνο τρεις υποθέσεις.
Now, I suspect this seems far-fetched to many of you. I bet there are those of you who doubt that superintelligent AI is possible, much less inevitable. But then you must find something wrong with one of the following assumptions. And there are only three of them.
Η ευφυΐα είναι θέμα επεξεργασίας της πληροφορίας σε υλικά συστήματα. Βασικά, αυτό είναι κάτι παραπάνω από μια υπόθεση. Έχουμε ήδη ενσωματώσει περιορισμένη ευφυΐα στις μηχανές μας, και πολλές από αυτές ήδη αποδίδουν σε επίπεδο υπεράνθρωπης ευφυΐας. Και ξέρουμε πως η απλή ύλη μπορεί να δημιουργήσει αυτό που λέγεται «γενική ευφυΐα», μια ικανότητα να σκεφτούμε ευέλικτα σε πολλαπλά επίπεδα, επειδή τα μυαλά μας τα έχουν καταφέρει, σωστά; Εξάλλου μόνο άτομα υπάρχουν εκεί, και όσο συνεχίζουμε να φτιάχνουμε συστήματα από άτομα που επιδεικνύουν όλο και περισσότερο ευφυή συμπεριφορά, αν δεν μας σταματήσει κάποιος, τελικά θα βάλουμε τη γενική ευφυΐα μέσα στις μηχανές μας.
Intelligence is a matter of information processing in physical systems. Actually, this is a little bit more than an assumption. We have already built narrow intelligence into our machines, and many of these machines perform at a level of superhuman intelligence already. And we know that mere matter can give rise to what is called "general intelligence," an ability to think flexibly across multiple domains, because our brains have managed it. Right? I mean, there's just atoms in here, and as long as we continue to build systems of atoms that display more and more intelligent behavior, we will eventually, unless we are interrupted, we will eventually build general intelligence into our machines.
Είναι σημαντικό να καταλάβουμε ότι δεν έχει σημασία ο ρυθμός της προόδου, γιατί κάθε πρόοδος είναι αρκετή για να οδηγήσει σε αυτή την κατάληξη. Δεν χρειάζεται ο Νόμος του Μουρ, ούτε κάποια εκθετική πρόοδος. Χρειάζεται απλώς να συνεχίσουμε.
It's crucial to realize that the rate of progress doesn't matter, because any progress is enough to get us into the end zone. We don't need Moore's law to continue. We don't need exponential progress. We just need to keep going.
Η δεύτερη υπόθεση είναι ότι θα συνεχίσουμε. Θα συνεχίσουμε να βελτιώνουμε τις έξυπνες μηχανές μας. Και σύμφωνα με την αξία της ευφυΐας - εννοώ ότι είτε η ευφυΐα είναι η πηγή για ό,τι θεωρούμε άξιο, ή χρειάζεται να περιφρουρήσουμε οτιδήποτε θεωρούμε άξιο. Είναι ο πιο πολύτιμος πόρος που έχουμε. Έτσι, θέλουμε να το κάνουμε. Έχουμε προβλήματα και πρέπει να τα λύσουμε επειγόντως. Θέλουμε να θεραπεύσουμε νόσους όπως τον καρκίνο και την Αλτσχάιμερ, να καταλάβουμε οικονομικά συστήματα, να βελτιώσουμε τη γνώση μας για το κλίμα. Γι' αυτό θα το κάνουμε, αν μπορούμε. Το τρένο έχει ήδη ξεκινήσει και δεν έχει φρένο.
The second assumption is that we will keep going. We will continue to improve our intelligent machines. And given the value of intelligence -- I mean, intelligence is either the source of everything we value or we need it to safeguard everything we value. It is our most valuable resource. So we want to do this. We have problems that we desperately need to solve. We want to cure diseases like Alzheimer's and cancer. We want to understand economic systems. We want to improve our climate science. So we will do this, if we can. The train is already out of the station, and there's no brake to pull.
Τέλος, δεν έχουμε φτάσει στην αποκορύφωση της ευφυΐας, μάλλον ούτε που την πλησιάσαμε. Και αυτή είναι η σημαντική διαπίστωση. Αυτό κάνει τόσο επισφαλή την κατάστασή μας, και τόσο αναξιόπιστα τα προαίσθήματά μας σχετικά με το ρίσκο.
Finally, we don't stand on a peak of intelligence, or anywhere near it, likely. And this really is the crucial insight. This is what makes our situation so precarious, and this is what makes our intuitions about risk so unreliable.
Απλώς σκεφτείτε το πιο έξυπνο άτομο που έχει ποτέ ζήσει. Κάποιον που όλοι σας θα έχετε κατά νου είναι ο Τζον φον Νόιμαν. Η εντύπωση που έκανε στους τριγύρω του ο φον Νόιμαν, συμπεριλαμβανομένων των πιο λαμπρών μαθηματικών και φυσικών της εποχής του, έχει καταγραφεί επαρκώς. Και μόνο οι μισές ιστορίες γι' αυτόν να αληθεύουν, χωρίς αμφιβολία είναι από τους πιο έξυπνους ανθρώπους που έχουν ζήσει. Σκεφτείτε λοιπόν το φάσμα της ευφυΐας. Εδώ είναι ο Τζον φον Νόιμαν. Κι εδώ είμαστε εσείς κι εγώ. Μετά είναι οι κότες.
Now, just consider the smartest person who has ever lived. On almost everyone's shortlist here is John von Neumann. I mean, the impression that von Neumann made on the people around him, and this included the greatest mathematicians and physicists of his time, is fairly well-documented. If only half the stories about him are half true, there's no question he's one of the smartest people who has ever lived. So consider the spectrum of intelligence. Here we have John von Neumann. And then we have you and me. And then we have a chicken.
(Γέλια)
(Laughter)
Συγνώμη, μια κότα.
Sorry, a chicken.
(Γέλια)
(Laughter)
Δεν υπάρχει λόγος να κάνω την ομιλία πιο θλιβερή απ' όσο χρειάζεται.
There's no reason for me to make this talk more depressing than it needs to be.
(Γέλια)
(Laughter)
Ωστόσο, φαίνεται εκπληκτικά πιθανόν ότι το φάσμα της ευφυΐας εκτείνεται πολύ πιο πέρα από όσο τώρα αντιλαμβανόμαστε, και αν φτιάξουμε μηχανές πιο έξυπνες από εμάς, είναι πολύ πιθανόν να εξερευνήσουν αυτό το φάσμα με τρόπους που δεν μπορούμε να φανταστούμε και να μας ξεπεράσουν σε αφάνταστο βαθμό.
It seems overwhelmingly likely, however, that the spectrum of intelligence extends much further than we currently conceive, and if we build machines that are more intelligent than we are, they will very likely explore this spectrum in ways that we can't imagine, and exceed us in ways that we can't imagine.
Και είναι σημαντικό να αναγνωρίσουμε ότι αυτό αληθεύει και μόνο λόγω ταχύτητας. Σωστά; Φανταστείτε να φτιάχναμε μια υπερευφυή τεχνητή νοημοσύνη, που δεν θα ήταν εξυπνότερη από μια μέση ομάδα ερευνητών των πανεπιστημίων Στάνφορντ ή ΜΙΤ. Τα ηλεκτρονικά κυκλώματα λειτουργούν ένα εκατομμύριο φορές ταχύτερα από τα βιοχημικά, έτσι αυτή η μηχανή θα σκεφτόταν ένα εκατομμύριο φορές πιο γρήγορα από τους εγκεφάλους που την έφτιαξαν. Με λειτουργία μίας εβδομάδας θα παράξει έργο 20.000 ετών σε επίπεδο ανθρώπινης διάνοιας, και το ίδιο θα κάνει κάθε επόμενη εβδομάδα. Πώς μπορούμε να καταλάβουμε, πολύ δε περισσότερο να περιορίσουμε, έναν εγκέφαλο που κάνει τέτοια πρόοδο;
And it's important to recognize that this is true by virtue of speed alone. Right? So imagine if we just built a superintelligent AI that was no smarter than your average team of researchers at Stanford or MIT. Well, electronic circuits function about a million times faster than biochemical ones, so this machine should think about a million times faster than the minds that built it. So you set it running for a week, and it will perform 20,000 years of human-level intellectual work, week after week after week. How could we even understand, much less constrain, a mind making this sort of progress?
Για να πω την αλήθεια, είναι επίσης ανησυχητικό να φανταστούμε το καλύτερο δυνατό σενάριο. Φανταστείτε να βρούμε ένα σχέδιο υπερεφυούς τεχνητής νοημοσύνης που δεν έχει θέματα ασφάλειας. Θα έχουμε βρει το τέλειο σχέδιο για πρώτη φορά. Θα είναι σαν να μας έχει δοθεί ένα μαντείο που λειτουργεί ακριβώς όπως πρέπει. Αυτή θα ήταν η τέλεια μηχανή εξοικονόμησης έργου. Θα σχεδιάσει τη μηχανή που θα κατασκευάσει τη μηχανή που θα κάνει κάθε σωματική εργασία, τροφοδοτούμενη από τον ήλιο, με μόνο κόστος αυτό των πρώτων υλών. Έτσι μιλάμε για το τέλος της ανθρώπινης αγγαρείας. Επίσης μιλάμε για το τέλος της περισσότερης διανοητικής εργασίας.
The other thing that's worrying, frankly, is that, imagine the best case scenario. So imagine we hit upon a design of superintelligent AI that has no safety concerns. We have the perfect design the first time around. It's as though we've been handed an oracle that behaves exactly as intended. Well, this machine would be the perfect labor-saving device. It can design the machine that can build the machine that can do any physical work, powered by sunlight, more or less for the cost of raw materials. So we're talking about the end of human drudgery. We're also talking about the end of most intellectual work.
Τι θα κάνουν οι πίθηκοι όπως εμείς σε αυτή την περίπτωση; Θα έχουμε χρόνο να παίζουμε φρίσμπι και να κάνουμε μασάζ ο ένας στον άλλον. Προσθέστε λίγο LSD και κάποιες αμφίβολες επιλογές ένδυσης, κι όλος ο κόσμος θα μοιάζει με φεστιβάλ Burning Man.
So what would apes like ourselves do in this circumstance? Well, we'd be free to play Frisbee and give each other massages. Add some LSD and some questionable wardrobe choices, and the whole world could be like Burning Man.
(Γέλια)
(Laughter)
Μπορεί βέβαια να ακούγεται αρκετά καλό, αλλά αναρωτηθείτε τι θα συνέβαινε με την τωρινή οικονομική και πολιτική κατάσταση; Μοιάζει πιθανό ότι θα βιώσουμε ένα επίπεδο ανισότητας πλούτου και ανεργίας που δεν έχουμε ξαναδεί. Αν απουσιάσει η θέληση να βάλουμε άμεσα αυτόν τον πλούτο στην υπηρεσία όλης της ανθρωπότητας, ελάχιστοι πολυεκατομμυριούχοι θα κοσμούν τα εξώφυλλα των οικονομικών περιοδικών, ενώ ο υπόλοιπος κόσμος θα είναι ελεύθερος να λιμοκτονήσει.
Now, that might sound pretty good, but ask yourself what would happen under our current economic and political order? It seems likely that we would witness a level of wealth inequality and unemployment that we have never seen before. Absent a willingness to immediately put this new wealth to the service of all humanity, a few trillionaires could grace the covers of our business magazines while the rest of the world would be free to starve.
Και τι θα κάνουν οι Ρώσοι ή οι Κινέζοι αν μάθουν ότι μια εταιρεία στη Σίλικον Βάλεϊ πρόκειται να κυκλοφορήσει μια υπερευφυή τεχνητή νοημοσύνη; Αυτή η μηχανή θα μπορούσε να κηρύξει πόλεμο, είτε συμβατικό είτε σε επίπεδο υπολογιστών, με ισχύ άνευ προηγουμένου. Είναι ένα σενάριο όπου κερδίζει μόνο ένας. Όταν προηγείσαι εδώ έξι μήνες από τον ανταγωνισμό, είναι σαν να είσαι 500.000 χρόνια μπροστά κατά το ελάχιστο. Άρα φαίνεται ότι ακόμη και απλές φήμες για κάτι τόσο επαναστατικό θα έκανε το είδος μας να τρελαθεί.
And what would the Russians or the Chinese do if they heard that some company in Silicon Valley was about to deploy a superintelligent AI? This machine would be capable of waging war, whether terrestrial or cyber, with unprecedented power. This is a winner-take-all scenario. To be six months ahead of the competition here is to be 500,000 years ahead, at a minimum. So it seems that even mere rumors of this kind of breakthrough could cause our species to go berserk.
Ένα από τα πιο τρομακτικά πράγματα, κατά την άποψή μου, αυτή τη στιγμή, είναι αυτά που λένε οι ερευνητές της τεχνητής νοημοσύνης όταν θέλουν να μας καθησυχάσουν. Κι ο πιο κοινός λόγος που προβάλλουν για να μην ανησυχούμε είναι ο χρόνος. Αυτό είναι πολύ μακριά, δεν το βλέπετε; Είναι περίπου 50 ή 100 χρόνια μετά. Ένας ερευνητής έχει πει, «Ανησυχώντας για ασφάλεια στην τεχνητή νοημοσύνη είναι σαν να ανησυχούμε για υπερπληθυσμό στον Άρη». Αυτό είναι η έκδοση της Σίλικον Βάλεϊ του «μην ζαλίζεις το όμορφο κεφαλάκι σου».
Now, one of the most frightening things, in my view, at this moment, are the kinds of things that AI researchers say when they want to be reassuring. And the most common reason we're told not to worry is time. This is all a long way off, don't you know. This is probably 50 or 100 years away. One researcher has said, "Worrying about AI safety is like worrying about overpopulation on Mars." This is the Silicon Valley version of "don't worry your pretty little head about it."
(Γέλια)
(Laughter)
Κανείς δεν φαίνεται να βλέπει ότι η αναφορά στον χρονικό ορίζοντα είναι τελείως ανακόλουθη. Αν η ευφυΐα είναι απλώς θέμα επεξεργασίας της πληροφορίας, και συνεχίζουμε να βελτιώνουμε τις μηχανές μας, σίγουρα θα δημιουργήσουμε κάποια μορφή υπερευφυΐας. Και δεν ξέρουμε πόσο χρόνο θα μας πάρει να δημιουργήσουμε τις συνθήκες ώστε να το κάνουμε με ασφάλεια. Να το πω πάλι. Δεν έχουμε ιδέα πόσο χρόνο θα μας πάρει να δημιουργήσουμε τις συνθήκες ώστε να το κάνουμε με ασφάλεια.
No one seems to notice that referencing the time horizon is a total non sequitur. If intelligence is just a matter of information processing, and we continue to improve our machines, we will produce some form of superintelligence. And we have no idea how long it will take us to create the conditions to do that safely. Let me say that again. We have no idea how long it will take us to create the conditions to do that safely.
Κι αν δεν το έχετε προσέξει, τα 50 χρόνια δεν είναι αυτό που ήταν. Αυτό είναι 50 χρόνια σε μήνες. Τόσον καιρό έχουμε το iPhone. Τόσον καιρό παίζονται οι Σίμπσονς στην τηλεόραση. Τα 50 χρόνια δεν είναι τόσο πολλά για μια από τις μεγαλύτερες προκλήσεις που θα αντιμετωπίσει το είδος μας. Και πάλι - αδυνατούμε να επιδείξουμε κατάλληλη συναισθηματική απόκριση σε κάτι που έχουμε κάθε λόγο να πιστεύουμε ότι θα έρθει.
And if you haven't noticed, 50 years is not what it used to be. This is 50 years in months. This is how long we've had the iPhone. This is how long "The Simpsons" has been on television. Fifty years is not that much time to meet one of the greatest challenges our species will ever face. Once again, we seem to be failing to have an appropriate emotional response to what we have every reason to believe is coming.
Ο επιστήμων υπολογιστών Στιούαρτ Ράσελ έχει μια ωραία αναλογία γι' αυτό. Είπε, φανταστείτε ότι λάβαμε μήνυμα από εξωγήινο πολιτισμό, που έλεγε: «Άνθρωποι της Γης, θα φτάσουμε στον πλανήτη σας σε 50 χρόνια. Ετοιμαστείτε». Και τώρα απλώς μετράμε αντίστροφα τον χρόνο μέχρι να έρθει το διαστημόπλοιο. Θα το νιώθαμε ως κάτι λίγο πιο επιτακτικό από ό,τι τώρα.
The computer scientist Stuart Russell has a nice analogy here. He said, imagine that we received a message from an alien civilization, which read: "People of Earth, we will arrive on your planet in 50 years. Get ready." And now we're just counting down the months until the mothership lands? We would feel a little more urgency than we do.
Μας λένε επίσης να μην ανησυχούμε, γιατί οι μηχανές δεν μπορούν παρά να έχουν τις δικές μας αξίες, καθώς κυριολεκτικά είναι προέκταση των εαυτών μας. Θα συνδεθούν στον εγκέφαλό μας και βασικά θα γίνουμε το μεταιχμιακό τους σύστημα. Σκεφτείτε για ένα λεπτό ότι ο ασφαλέστερος και ο μόνος συνετός δρόμος προς τα εμπρός που προτείνεται, είναι να εμφυτεύσουμε αυτή την τεχνολογία απευθείας στον εγκέφαλό μας. Βέβαια, μπορεί να είναι ο ασφαλέστερος και ο μόνος συνετός δρόμος, αλλά συνήθως οι ανησυχίες για την ασφάλεια μιας τεχνολογίας πρέπει να έχουν επιλυθεί πριν την εμφυτεύσουμε στο κεφάλι μας.
Another reason we're told not to worry is that these machines can't help but share our values because they will be literally extensions of ourselves. They'll be grafted onto our brains, and we'll essentially become their limbic systems. Now take a moment to consider that the safest and only prudent path forward, recommended, is to implant this technology directly into our brains. Now, this may in fact be the safest and only prudent path forward, but usually one's safety concerns about a technology have to be pretty much worked out before you stick it inside your head.
(Γέλια)
(Laughter)
Το βαθύτερο πρόβλημα είναι ότι φαίνεται ευκολότερο να φτάξεις ένα μεμονωμένο σύστημα τεχνητής νοημοσύνης, από το να φτιάξεις ένα σύστημα και να έχεις και επαρκή νευροεπιστήμη που να επιτρέπει την εύκολη ενσωμάτωσή του στον εγκέφαλό μας. Και δεδομένου ότι οι κυβερνήσεις και εταιρείες που θα το κάνουν είναι πιθανόν θα θεωρούν ότι ανταγωνίζονται όλους τους άλλους, εφόσον όποιος το κάνει πρώτος θα κυριαρχήσει στον κόσμο, με την προϋπόθεση ότι δεν θα τον καταστρέψει αμέσως μετά, τότε μοιάζει πιθανό ότι θα γίνει πρώτο οτιδήποτε γίνεται πιο εύκολα.
The deeper problem is that building superintelligent AI on its own seems likely to be easier than building superintelligent AI and having the completed neuroscience that allows us to seamlessly integrate our minds with it. And given that the companies and governments doing this work are likely to perceive themselves as being in a race against all others, given that to win this race is to win the world, provided you don't destroy it in the next moment, then it seems likely that whatever is easier to do will get done first.
Δυστυχώς δεν έχω κάποια λύση γι' αυτό το πρόβλημα, εκτός από το να συστήσω να το ξανασκεφτούμε οι περισσότεροι. Νομίζω ότι χρειαζόμαστε κάτι σαν το Πρόγραμμα Μανχάταν προσαρμοσμένο για την τεχνητή νοημοσύνη. Όχι για να την φτιάξουμε, γιατί μάλλον είναι αναπόφευκτο, αλλά να καταλάβουμε πώς να αποφύγουμε έναν αγώνα εξοπλισμών και να την φτιάξουμε έτσι που να συμβαδίζει με τα συμφέροντά μας. Όταν μιλάτε για υπερευφυή τεχνητή νοημοσύνη που μπορεί να τροποποιήσει τον εαυτό της, φαίνεται ότι έχουμε μόνο μία πιθανότητα να ορίσουμε τις σωστές προϋποθέσεις, και ακόμη και τότε θα χρειαστεί να απορροφήσουμε τις οικονομικές και πολιτικές συνέπειες της σωστής εφαρμογής.
Now, unfortunately, I don't have a solution to this problem, apart from recommending that more of us think about it. I think we need something like a Manhattan Project on the topic of artificial intelligence. Not to build it, because I think we'll inevitably do that, but to understand how to avoid an arms race and to build it in a way that is aligned with our interests. When you're talking about superintelligent AI that can make changes to itself, it seems that we only have one chance to get the initial conditions right, and even then we will need to absorb the economic and political consequences of getting them right.
Αλλά μόλις παραδεχθούμε ότι η επεξεργασία πληροφοριών είναι η πηγή της ευφυΐας, ότι η βάση της ευφυΐας είναι κάποιο κατάλληλο υπολογιστικό σύστημα, και αποδεχθούμε να βελτιώνουμε αυτά τα συστήματα συνεχώς, και παραδεχθούμε ότι ο γνωστικός ορίζοντας μάλλον ξεπερνά κατά πολύ όσα ήδη γνωρίζουμε, τότε πρέπει να παραδεχθούμε ότι βρισκόμαστε σε διαδικασία κατασκευής κάποιου είδους θεού. Τώρα είναι η σωστή ώρα να εξασφαλίσουμε ότι είναι ένας θεός με τον οποίον μπορούμε να ζήσουμε.
But the moment we admit that information processing is the source of intelligence, that some appropriate computational system is what the basis of intelligence is, and we admit that we will improve these systems continuously, and we admit that the horizon of cognition very likely far exceeds what we currently know, then we have to admit that we are in the process of building some sort of god. Now would be a good time to make sure it's a god we can live with.
Σας ευχαριστώ πολύ.
Thank you very much.
(Χειροκρότημα)
(Applause)