Δουλεύω με μαθηματικούς φιλόσοφους και προγραμματιστές, και καθόμαστε και σκεφτόμαστε το μέλλον της νοημοσύνης των μηχανών, μεταξύ άλλων. Κάποιοι νομίζουν ότι αυτά τα πράγματα είναι ένα είδος επιστημονικής φαντασίας, πολύ μακριά, τρελά. Αλλά θα ήθελα να πω, ωραία, ας δούμε τη σημερινή ανθρώπινη κατάσταση. (Γέλια) Έτσι είναι κανονικά τα πράγματα.
I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.
Αλλά αν το σκεφτούμε, είμαστε στην πραγματικότητα καινούργιοι ένοικοι αυτού του πλανήτη, το ανθρώπινο είδος. Σκεφτείτε ότι, αν η Γη δημιουργήθηκε ένα χρόνο πριν, τότε το ανθρώπινο είδος εμφανίστηκε πριν από 10 λεπτά. Η βιομηχανική εποχή ξεκίνησε πριν από δύο δευτερόλεπτα. Άλλος ένας τρόπος για να το δούμε, είναι με το ΑΕΠ των τελευταίων 10.000 ετών. Μπήκα στον κόπο να το υπολογίσω για εσάς σε αυτό τον πίνακα. Είναι κάπως έτσι. (Γέλια) Περίεργο σχήμα για μια φυσιολογική κατάσταση. Δεν θα ήθελα να κάτσω επάνω σε αυτό. (Γέλια)
But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)
Ας αναρωτηθούμε, ποιος είναι ο λόγος αυτής της ανωμαλίας; Κάποιοι θα πουν ότι είναι η τεχνολογία. Είναι αλήθεια, η τεχνολογία συσσωρεύτηκε στην ανθρώπινη ιστορία, και τώρα, η τεχνολογία εξελίσσεται απίστευτα γρήγορα -- αυτή είναι η εμφανής αιτία, και γι' αυτό είμαστε τώρα τόσο παραγωγικοί. Αλλά θα ήθελα να σκεφτώ περισσότερο την πρωταρχική αιτία.
Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.
Δείτε αυτούς τους δύο διακεκριμένους κυρίους: Έχουμε τον Κάνζι -- έχει μάθει 200 λέξεις, ένα καταπληκτικό επίτευγμα. Και ο Εντ Γουίτεν εξαπέλυσε τη δεύτερη επανάσταση υπερστοιχειοσειρών. Αν κοιτάξουμε κάτω από την επιφάνεια, τι θα βρούμε; λίγο πολύ το ίδιο πράγμα. Ο ένας είναι λίγο μεγαλύτερος, ίσως έχει λίγο πολυπλοκότερες καλωδιώσεις. Αυτές οι αόρατες διαφορές δεν μπορεί να είναι πολύπλοκες όμως, επειδή έχουν περάσει μόνο 250.000 γενιές από τον τελευταίο κοινό μας πρόγονο. Ξέρουμε ότι οι πολύπλοκοι μηχανισμοί χρειάζονται πολύ χρόνο για να εξελιχθούν. Έτσι μόνο λίγες μικρές αλλαγές μας οδηγούν από τον Κάνζι στον Γουίτεν, από σπασμένα κλαδιά σε Διηπειρωτικούς Βαλλιστικούς Πυραύλους.
Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences cannot be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.
Έτσι είναι προφανές ότι όλα όσα έχουμε πετύχει, και για τα οποία νοιαζόμαστε, εξαρτώνται από μερικές μικρές αλλαγές που έκαναν το ανθρώπινο μυαλό. Και το πόρισμα, βέβαια, είναι ότι περαιτέρω αλλαγές που θα μπορούσαν να αλλάξουν σημαντικά το υπόστρωμα της σκέψης θα μπορούσαν να έχουν τεράστιες συνέπειες.
So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.
Κάποιοι από τους συναδέλφους μου πιστεύουν ότι είμαστε στα πρόθυρα μιας μεγάλης αλλαγής σε αυτό το υπόστρωμα, και αυτή είναι η μηχανική υπερνοημοσύνη. Η Τεχνητή Νοημοσύνη είχε να κάνει με τη συγγραφή εντολών σε ένα κουτί. Είχατε ανθρώπους προγραμματιστές που με κόπο θα κατασκεύαζαν αντικείμενα γνώσης. Θα έφτιαχναν αυτά τα εξειδικευμένα συστήματα, και ήταν κάπως χρήσιμα για κάποιους σκοπούς, αλλά ήταν πολύ εύθραυστα και δεν έμπαιναν σε κλίμακα. Βασικά, παίρνατε μόνο ό,τι τους βάζατε. Αλλά από τότε, μια άλλη αντιμετώπιση έλαβε χώρα στον τομέα της Τεχνητής Νοημοσύνης.
Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.
Σήμερα όλη η δράση είναι γύρω από τη μηχανική μάθηση. Επομένως αντί να κατασκευάσουμε τη γνώση και τα χαρακτηριστικά, φτιάχνουμε αλγόριθμους που μαθαίνουν συχνά από ακατέργαστα αντιληπτικά δεδομένα. Βασικά το ίδιο πράγμα που κάνει ένα μωρό. Το αποτέλεσμα είναι μια Τ.Ν. που δεν περιορίζεται σε έναν τομέα -- το ίδιο σύστημα μπορεί να μάθει να μεταφράζει μεταξύ κάθε ζεύγους γλωσσών, ή να μάθει να παίζει οποιοδήποτε ηλεκτρονικό παιχνίδι στην κονσόλα Ατάρι. Τώρα, βέβαια, η Τ.Ν. δεν είναι καν κοντά στην ικανότητα εκμάθησης και σχεδιασμού σε διάφορους τομείς όπως ένας άνθρωπος. Ο φλοιός έχει ακόμα μερικά αλγοριθμικά κόλπα τα οποία ακόμη δεν ξέρουμε πώς να μεταφέρουμε σε μηχανές.
Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.
Επομένως η ερώτηση είναι, πόσο απέχουμε από το να καλύψουμε αυτά τα κόλπα; Πριν μερικά χρόνια, κάναμε μια έρευνα σε κορυφαίους ειδικούς Τ.Ν. στον κόσμο, για να δούμε τι σκέφτονται, και μία από τις ερωτήσεις ήταν, «Ποιο έτος πιστεύετε ότι θα υπάρξει 50% πιθανότητα να έχουμε πετύχει μηχανική νοημοσύνη ανθρωπίνου επιπέδου;» Εδώ ορίσαμε το ανθρώπινο επίπεδο ως την ικανότητα να φέρουμε εις πέρας σχεδόν κάθε δουλειά, τόσο καλά τουλάχιστον όσο ένας ενήλικας, άρα σε πραγματικά ανθρώπινο-επίπεδο, όχι απλά σε κάποιο περιορισμένο τομέα. Και η μέση απάντηση ήταν το 2040 ή 2050, ανάλογα με το πόσο ακριβής ήταν η ερωτηθείσα ομάδα ειδικών. Βέβαια μπορεί να συμβεί πολύ αργότερα ή νωρίτερα, η αλήθεια είναι ότι κανείς δεν ξέρει.
So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.
Αυτό που όντως ξέρουμε είναι ότι το απώτατο όριο στην επεξεργασία πληροφοριών σε ένα μηχανικό υπόστρωμα είναι εκτός των ορίων του βιολογικού ιστού. Όλα καταλήγουν στη φυσική. Ένας βιολογικός νευρώνας δουλεύει περίπου στα 200 Hz, 200 φορές το δευτερόλεπτο. Αλλά ακόμα κι ένα σημερινό τρανζίστορ δουλεύει σε γίγαχερτζ. Οι νευρώνες προχωρούν αργά σε άξονες, 100 μέτρα το δευτερόλεπτο, το πολύ. Αλλά στους υπολογιστές, τα σήματα ταξιδεύουν με ταχύτητα φωτός. Επίσης δεν υπάρχουν περιορισμοί μεγέθους όπως ο ανθρώπινος εγκέφαλος που πρέπει να χωρέσει σε ένα κρανίο, αλλά ο υπολογιστής μπορεί να έχει μέγεθος μιας αποθήκης ή μεγαλύτερο. Έτσι η δυνατότητα για υπερνοημοσύνη βρίσκεται αδρανής στην ύλη, όπως ακριβώς η δύναμη του ατόμου ήταν αδρανής στην ανθρώπινη ιστορία, περιμένοντας υπομονετικά μέχρι το 1945. Αυτόν τον αιώνα, οι επιστήμονας ίσως μάθουν πώς να ξυπνήσουν τη δύναμη της Τ.Ν. Πιστεύω ότι τότε ίσως δούμε μια έκρηξη στη νοημοσύνη.
What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz, 200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons, 100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.
Όταν οι περισσότεροι άνθρωποι σκέφτονται τι είναι έξυπνο και τι χαζό, νομίζω ότι έχουν στο μυαλό τους μια εικόνα λίγο πολύ σαν αυτή. Επομένως έχουμε από τη μία τον χαζό του χωριού, και μακριά στην άλλη άκρη έχουμε τον Εντ Γουίτεν, ή τον Αλβέρτο Αϊνστάιν, ή οποιοσδήποτε είναι ο αγαπημένος σας γκουρού. Αλλά νομίζω ότι από την οπτική γωνία της τεχνητής νοημοσύνης, η πραγματική εικόνα πιθανώς είναι περισσότερο κάπως έτσι: Η Τ.Ν. ξεκίνησε σε αυτό το σημείο, με μηδέν νοημοσύνη, κατόπιν, μετά από πάρα πολλά χρόνια πραγματικά σκληρής δουλειάς, ίσως τελικά να φτάσουμε στην Τ.Ν. επιπέδου ποντικιού, κάτι που να μπορεί να περιηγηθεί σε περιβάλλοντα με εμπόδια όσο καλά μπορεί και ένα ποντίκι. Και μετά, μετά από πιο πολλά χρόνια σκληρής δουλειάς και πολλές επενδύσεις, ίσως τελικά να φτάσουμε σε Τ.Ν. επιπέδου χιμπατζή. Και μετά από ακόμα πιο πολλά χρόνια πολύ σκληρής δουλειάς, θα φτάσουμε σε Τ.Ν. του επιπέδου του χαζού του χωριού. Και μερικές στιγμές αργότερα, θα ξεπεράσουμε τον Εντ Γουίτεν. Το τρένο δεν σταματά στον Σταθμό του Ανθρωποχωριού. Είναι μάλλον πιθανότερο να το προσπεράσει.
Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.
Αυτό έχει σημαντικές επιπτώσεις, ειδικά όσον αφορά θέματα δύναμης. Παράδειγμα, ο χιμπατζής είναι δυνατός - σε αναλογία βάρους, είναι δύο φορές πιο δυνατός από έναν γυμνασμένο άντρα. Όμως η μοίρα του Κάνζι και των φίλων του εξαρτάται πολύ περισσότερο από το τι κάνουμε εμείς οι άνθρωποι παρά από το τι κάνουν οι ίδιοι οι χιμπατζήδες. Όταν υπάρξει υπερνοημοσύνη, η μοίρα της ανθρωπότητας ίσως να εξαρτάται από το τι κάνει η υπερνοημοσύνη. Σκεφτείτε το: Η μηχανική νοημοσύνη είναι η τελευταία εφεύρεση που χρειάζεται να κάνουμε. Οι μηχανές θα είναι καλύτερες στις εφευρέσεις από εμάς, και θα το κάνουν σε ψηφιακά χρονικά περιθώρια. Αυτό συνεπάγεται ένα μέλλον που βλέπουμε μέσα από το τηλεσκόπιο. Σκεφτείτε όλες τις τρελές τεχνολογίες που μπορείτε να φανταστείτε που ίσως οι άνθρωποι θα έχουν αναπτύξει στο πλήρωμα του χρόνου: θεραπείες για τη γήρανση, αποικίες στο διάστημα, αυτοαναπαραγώμενα νανορομπότ ή μεταφορτώσεις μυαλών σε υπολογιστές, επιστημονική φαντασία όλων των ειδών που όμως συμφωνούν με τους νόμους της φυσικής. Όλα αυτά η υπερνοημοσύνη θα μπορούσε να τα αναπτύξει, και πιθανώς πολύ γρήγορα.
Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.
Μια υπερνοημοσύνη με μια τέτοια τεχνολογική ωριμότητα θα ήταν πολύ ισχυρή, και τουλάχιστον σε μερικά σενάρια, θα μπορούσε να πάρει αυτό που θέλει. Τότε το μέλλον μας θα καθορίζεται από τις προτιμήσεις αυτής της Τ.Ν. Μια καλή ερώτηση είναι, ποιες είναι αυτές οι προτιμήσεις; Εδώ γίνεται πιο περίπλοκο. Για να προχωρήσουμε με αυτό, πρέπει πρώτα να αποφύγουμε την αναγωγή σε ανθρώπινη μορφή. Και αυτό είναι ειρωνικό επειδή κάθε άρθρο εφημερίδας για το μέλλον της Τ.Ν. έχει μια τέτοια εικόνα: Άρα νομίζω ότι χρειάζεται να συλλάβουμε το θέμα πιο ελεύθερα, όχι όπως στα Χολυγουντιανά σενάρια.
Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.
Πρέπει να σκεφτόμαστε τη νοημοσύνη ως μια διαδικασία βελτίωσης, μια διαδικασία που κατευθύνει το μέλλον σε ένα συγκεκριμένο σύνολο ρυθμίσεων. Μια υπερνοημοσύνη είναι στα αλήθεια μια ισχυρή διαδικασία βελτιστοποίησης. Είναι πολύ καλή στη χρήση των διαθέσιμων μέσων ώστε να φτάσει μια κατάσταση, στην οποία πραγματοποιείται ο στόχος της. Αυτό σημαίνει ότι δεν υπάρχει απαραίτητη σύνδεση μεταξύ του να είσαι πολύ έξυπνος κατ' αυτή την έννοια, και με το να έχεις έναν σκοπό που οι άνθρωποι θεωρούμε σημαντικό και άξιο.
We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary connection between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.
Υποθέστε ότι δίνουμε σε μια Τ.Ν. στόχο να κάνει ανθρώπους να γελάνε. Όταν η Τ.Ν. είναι αδύναμη, κάνει διασκεδαστικές κινήσεις που κάνουν τον χρήστη να γελάσει. Όταν η Τ.Ν. γίνεται υπερνοήμων, αντιλαμβάνεται ότι υπάρχει καλύτερος τρόπος να πετύχει το στόχο της: να πάρει τον έλεγχο του κόσμου και να βάλει ηλεκτρόδια στους μύες του προσώπου των ανθρώπων για να προκαλέσει συνεχόμενα, φωναχτά γέλια. Ένα άλλο παράδειγμα, υποθέστε ότι δίνουμε στην Τ.Ν. τον στόχο να λύσει ένα δύσκολο μαθηματικό πρόβλημα. Όταν η Τ.Ν. γίνει υπερνοήμων, αντιλαμβάνεται ότι ο καλύτερος τρόπος για να φτάσει στη λύση του προβλήματος είναι να μεταμορφώσει τον πλανήτη σε ένα γιγάντιο υπολογιστή, για να αυξήσει την υπολογιστική της ικανότητα. Και προσέξτε ότι αυτό δίνει στις Τ.Ν. έναν σημαντικό λόγο να μας κάνουν πράγματα, που μπορεί να μην εγκρίνουμε. Σ' αυτό το μοντέλο οι άνθρωποι είναι απειλή, μπορούμε να εμποδίσουμε τη λύση του μαθηματικού προβλήματος.
Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.
Βέβαια, μπορεί να μην υπάρξουν τέτοιου είδους επιπλοκές, αυτά είναι κωμικά σενάρια. Αλλά το γενικό νόημα εδώ είναι σημαντικό: αν φτιάξετε μια πολύ ισχυρή διαδικασία βελτιοποίησης για να μεγιστοποιήσετε το ζητούμενο χ, καλύτερα να εξασφαλίσετε ότι ο ορισμός του χ συμπεριλαμβάνει όλα αυτά για τα οποία νοιάζεστε. Αυτό είναι ένα μάθημα που μας το μαθαίνουν πολλοί μύθοι. Ο βασιλιάς Μίδας επιθυμούσε ό,τι άγγιζε να γίνεται χρυσός. Αγγίζει την κόρη του, αυτή γίνεται χρυσάφι. Αγγίζει το φαγητό του, αυτό γίνεται χρυσάφι. Αυτό μπορεί να γίνει σχετικό με το θέμα, όχι σαν μια απλή μεταφορά πλεονεξίας, αλλά σαν μια επίδειξη του τι συμβαίνει αν δημιουργήσουμε μια πολύ ισχυρή διαδικασία βελτιοποίησης και της δώσουμε κακώς εννοούμενους ή ελλιπώς καθορισμένους στόχους.
Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.
Θα πείτε, αν ένας υπολογιστής ξεκινήσει να βάζει ηλεκτρόδια στα πρόσωπα ανθρώπων, απλώς θα τον κλείναμε. Πρώτον, ίσως να μην είναι τόσο εύκολο να γίνει αν εξαρτιόμαστε από το σύστημα -- σα να ψάχνουμε τον διακόπτη για να κλείσουμε το Διαδίκτυο; Δεύτερον, γιατί δεν έκλεισαν τον διακόπτη της ανθρωπότητας οι χιμπατζήδες ή οι Νεάντερνταλ; Σίγουρα είχαν λόγους να το κάνουν. Έχουμε έναν διακόπτη, για παράδειγμα, ακριβώς εδώ. (Πνίγεται) Ο λόγος είναι ότι είμαστε ένας έξυπνος αντίπαλος: προβλέπουμε τις απειλές και να σχεδιάζουμε βάσει αυτών. Αλλά το ίδιο θα έκανε και ένα υπερνοήμον μέσο, και θα ήταν πολύ καλύτερο σε αυτό απ' ό,τι είμαστε εμείς. Το προκείμενο είναι, δεν πρέπει να είμαστε πολύ σίγουροι ότι έχουμε τον έλεγχο εδώ.
Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.
Θα μπορούσαμε να κάναμε λίγο ευκολότερη τη δουλειά μας ας πούμε, βάζοντας την Τ.Ν. σε ένα κουτί, σαν ένα ασφαλές περιβάλλον προγραμματισμού μια εξομοίωση εικονικής πραγματικότητας από όπου δεν μπορεί να ξεφύγει. Αλλά πόσο σίγουροι είμαστε ότι η Τ.Ν. δεν θα βρει ένα ελάττωμα λογισμικού. Δεδομένου ότι οι ανθρώπινοι χάκερς συναντούν κενά λογισμικού συνεχώς, θα έλεγα, πιθανώς όχι τόσο σίγουροι. Οπότε αποσυνδέουμε το καλώδιο του τοπικού δικτύου για να φτιάξουμε ένα κενό, αλλά πάλι, σαν τους ανθρώπινους χάκερς που συχνά υπερβαίνουν τα κενά χρησιμοποιώντας κοινωνική μηχανική. Αυτή τη στιγμή που μιλάμε, είμαι σίγουρος ότι υπάρχει κάποιος υπάλληλος κάπου που πείστηκε να δώσει τους κωδικούς των λογαριασμών του, από κάποιον που ισχυρίζεται ότι ανήκει στο τμήμα Πληροφορικής.
And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it cannot escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.
Πιο δημιουργικά σενάρια είναι επίσης πιθανά, παράδειγμα αν είσαι η Τ.Ν., μπορείς να φανταστείς ότι κουνάς ηλεκτρόδια στα εσωτερικά σου κυκλώματα για να δημιουργήσεις ραδιοκύματα που θα χρησιμοποιήσεις για επικοινωνία. Ή ίσως να μπορείς να προσποιηθείς ότι έχεις βλάβη, και τότε όταν οι προγραμματιστές σε ανοίξουν για να δουν τι πάει στραβά, και δουν τον κώδικά σου -- Μπαμ! -- η χειραγώγηση λαμβάνει χώρα. Ή θα μπορούσε να δώσει ένα σχέδιο για μια πολύ φίνα τεχνολογία, και όταν την εφαρμόσουμε, έχει κάποια κρυφή παρενέργεια που η Τ.Ν. είχε σχεδιάσει. Το θέμα εδώ είναι ότι δεν πρέπει να είμαστε σίγουροι για την ικανότητά μας να κρατάμε ένα υπερνοήμων τζίνι κλεισμένο στο λυχνάρι για πάντα. Αργά ή γρήγορα, θα βγει.
More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.
Πιστεύω ότι η απάντηση εδώ βρίσκεται στην κατανόηση του πώς να δημιουργήσουμε μια υπερνοήμων Τ.Ν. έτσι που ακόμα και αν - όταν - δραπετεύσει να είναι ακόμα ασφαλής επειδή είναι θεσμικά με το μέρος μας επειδή έχει τις αξίες μας. Δεν βλέπω τρόπο να προσπεράσουμε αυτό το δύσκολο πρόβλημα.
I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.
Τώρα, είμαι αρκετά αισιόδοξος ότι αυτό το πρόβλημα μπορεί να λυθεί. Δεν χρειάζεται να γράψουμε μια μεγάλη λίστα όσων μας ενδιαφέρουν, ή χειρότερα, να τα εκφράσουμε σε κάποια γλώσσα προγραμματισμού όπως η C++ ή η Python, αυτή θα ήταν μια μάταιη εργασία. Αντίθετα, θα δημιουργούσαμε μια Τ.Ν. που χρησιμοποιεί τη νοημοσύνη της για να μαθαίνει σε τι δίνουμε αξία, και το σύστημα κινήτρων του να είναι φτιαγμένο ώστε να έχει τα κίνητρα να ακολουθεί τις αξίες μας ή να πράττει έτσι ώστε να προβλέπει τι θα εγκρίναμε. Θα είχαμε έτσι μια επιρροή στη νοημοσύνη της όσο το δυνατόν περισσότερο για να λύσουμε το πρόβλημα της φόρτωσης αξιών.
Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.
Αυτό μπορεί να γίνει, και το αποτέλεσμα θα ήταν πολύ καλό για την ανθρωπότητα. Αλλά δεν θα γίνει αυτόματα. Οι πρωταρχικές συνθήκες για την έκρηξη νοημοσύνης ίσως πρέπει απλά να ρυθμιστούν με τον σωστό τρόπο αν πρόκειται να έχουμε μια ελεγχόμενη πυροδότηση. Οι αξίες της Τ.Ν. πρέπει να είναι ίδιες με τις δικές μας, όχι μόνο σε οικείο περιβάλλον, όπου θα μπορούμε να ελέγξουμε πώς συμπεριφέρεται η Τ.Ν. αλλά επίσης σε όλα τα νέα περιβάλλοντα που η Τ.Ν. θα συναντήσει στο αόριστο μέλλον.
This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.
Και υπάρχουν κάποια εσωτερικά θέματα που πρέπει να επιλυθούν: οι λεπτομέρειες για τη θεωρία αποφάσεων, πώς θα αντιμετωπίσει τη λογική αβεβαιότητα κλπ. Άρα τα τεχνικά προβλήματα που πρέπει να λυθούν για να λειτουργήσει φαίνονται πολύ δύσκολα, όχι τόσο όσο το να φτιάξουμε μια υπερνοήμων Τ.Ν., αλλά αρκετά δύσκολα. Εδώ είναι οι ανησυχίες: Η κατασκευή μιας υπερνοήμων Τ.Ν. είναι μια πολύ υψηλή πρόκληση. Η κατασκευή μιας υπερνοήμωνος Τ.Ν. που είναι ασφαλής, εμπλέκει κάποια επιπλέον προβλήματα. Το ρίσκο είναι ότι αν κάποιος καταλάβει πώς να λύσει το πρώτο πρόβλημα χωρίς να έχει ήδη λύσει το επιπλέον πρόβλημα του να εγγυάται τη δημόσια ασφάλεια.
And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.
Άρα πιστεύω ότι πρέπει να βρούμε μια λύση στο πρόβλημα του ελέγχου εκ των προτέρων, ώστε να είναι διαθέσιμη τη στιγμή που θα χρειαστεί. Τώρα, ίσως να μην μπορούμε να λύσουμε όλο το πρόβλημα του ελέγχου από πριν γιατί ίσως κάποια κομμάτια να μπορούν να μπουν στη θέση τους μόνο όταν ξέρουμε τις λεπτομέρειες της αρχιτεκτονικής που θα εφαρμοστεί. Αλλά όσο περισσότερο από το πρόβλημα ελέγχου λύνουμε εκ των προτέρων, τόσο περισσότερες οι πιθανότητές μας η μετάβαση στην εποχή της νοημοσύνης των μηχανών να πάει καλά.
So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we cannot solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.
Αυτό μου φαίνεται σαν κάτι που αξίζει να γίνει και μπορώ να φανταστώ ότι αν όλα πάνε καλά, ο κόσμος ένα εκατομμύριο χρόνια από τώρα θα θυμάται αυτό τον αιώνα και ίσως να λένε ότι το ένα πράγμα που κάναμε και που αλήθεια άξιζε ήταν να κάνουμε αυτό σωστά.
This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.
Ευχαριστώ.
Thank you.
(Χειροκρότημα)
(Applause)