When I was a kid, I was the quintessential nerd. I think some of you were, too.
בילדותי הייתי החנון המוחלט. אני חושב שכמה מכם היו גם.
(Laughter)
(צחוק)
And you, sir, who laughed the loudest, you probably still are.
ואתה אדוני, שצחקת הכי חזק, כנראה עדיין גם היום.
(Laughter)
(צחוק)
I grew up in a small town in the dusty plains of north Texas, the son of a sheriff who was the son of a pastor. Getting into trouble was not an option. And so I started reading calculus books for fun.
גדלתי בעיר קטנה במרחבים המאובקים של צפון טקסס, בנו של השריף שהיה בן של כומר. להיקלע לצרות לא היתה אופציה. אז התחלתי לקרוא ספרי חשבון בשביל הכיף.
(Laughter)
(צחוק)
You did, too. That led me to building a laser and a computer and model rockets, and that led me to making rocket fuel in my bedroom. Now, in scientific terms, we call this a very bad idea.
אתם גם. זה הוביל אותי לבניית לייזר ומחשב ומודלים של טילים, מה שהוביל אותי לייצר דלק טילים בחדר השינה שלי. ובכן, במונחים מדעיים, אנחנו קוראים לזה רעיון רע מאוד.
(Laughter)
(צחוק)
Around that same time, Stanley Kubrick's "2001: A Space Odyssey" came to the theaters, and my life was forever changed. I loved everything about that movie, especially the HAL 9000. Now, HAL was a sentient computer designed to guide the Discovery spacecraft from the Earth to Jupiter. HAL was also a flawed character, for in the end he chose to value the mission over human life. Now, HAL was a fictional character, but nonetheless he speaks to our fears, our fears of being subjugated by some unfeeling, artificial intelligence who is indifferent to our humanity.
בערך באותו זמן, הסרט ״2001 אודיסאה בחלל״ של סטנלי קובריק הגיע למסכים, וחיי השתנו לנצח. אהבתי כל מה שהיה קשור לסרט, בייחוד את האל 9000 (HAL). ובכן, האל היה מחשב בעל מודעות שתוכנן להדריך את ספינת החלל דיסקברי בדרך מכדור הארץ לצדק. האל היה גם טיפוס פגום, כי בסופו של דבר הוא בחר להעדיף את המשימה על פני חיי אדם. למרות שהאל היה דמות בדיונית, הוא דיבר אל הפחדים שלנו, הפחדים שלנו להיות משועבדים על ידי בינה מלאכותית, ללא רגשות שאדישה לאנושיות שלנו.
I believe that such fears are unfounded. Indeed, we stand at a remarkable time in human history, where, driven by refusal to accept the limits of our bodies and our minds, we are building machines of exquisite, beautiful complexity and grace that will extend the human experience in ways beyond our imagining.
אני מאמין שפחדים כאלו הם חסרי ביסוס. אכן, אנו נמצאים בזמן יוצא דופן בהסטוריה האנושית, שבו, מונעים על ידי סרובינו לקבל את המגבלות של גופינו ומחשבותינו, אנו בונים מכונות בעלות עדינות, סיבוכיות יפיפיה וחינניות שיאריכו את טווח החוויה האנושית בדרכים מעבר לדמיונינו.
After a career that led me from the Air Force Academy to Space Command to now, I became a systems engineer, and recently I was drawn into an engineering problem associated with NASA's mission to Mars. Now, in space flights to the Moon, we can rely upon mission control in Houston to watch over all aspects of a flight. However, Mars is 200 times further away, and as a result it takes on average 13 minutes for a signal to travel from the Earth to Mars. If there's trouble, there's not enough time. And so a reasonable engineering solution calls for us to put mission control inside the walls of the Orion spacecraft. Another fascinating idea in the mission profile places humanoid robots on the surface of Mars before the humans themselves arrive, first to build facilities and later to serve as collaborative members of the science team.
אחרי קריירה שהובילה אותי מהאקדמיה לטיס בחיל האויר לפיקוד על משימות חלל לעכשיו, נהייתי מהנדס מערכות, ולאחרונה נשאבתי לבעייה הנדסית הקשורה למשימה של נאס״א למאדים. ובכן, במשימות חלל לירח, אנו יכולים לסמוך על פיקוד המשימה ביוסטון שיפקח על כל ההיבטים של הטיסה. אבל, מאדים רחוק פי 200 יותר, ולכן לוקח בממוצע 13 דקות לשדר לנוע מכדור הארץ למאדים. אם קורות בעיות, אין מספיק זמן. ולכן פתרון הנדסי סביר יהיה לשים את פיקוד המשימה בתוך רכב החלל אוריון. רעיון מרתק נוסף בפרופיל המשימה הוא לשים רובוטים דמויי אדם על פני מאדים לפני שבני האדם מגיעים, בתחילה לשם בניית תשתיות ולאחר מכן לשרת כחלק שיתופי מהצוות המדעי.
Now, as I looked at this from an engineering perspective, it became very clear to me that what I needed to architect was a smart, collaborative, socially intelligent artificial intelligence. In other words, I needed to build something very much like a HAL but without the homicidal tendencies.
כשהתבוננתי בזה מנקודת מבט הנדסית, התבהרה לי ההבנה שמה שעלי לתכנן היא בינה מלאכותית חכמה, שיתופית ובעלת בינה חברתית. במילים אחרות, הייתי צריך לבנות משהו מאוד דומה להאל אבל ללא הנטיות האובדניות.
(Laughter)
(צחוק)
Let's pause for a moment. Is it really possible to build an artificial intelligence like that? Actually, it is. In many ways, this is a hard engineering problem with elements of AI, not some wet hair ball of an AI problem that needs to be engineered. To paraphrase Alan Turing, I'm not interested in building a sentient machine. I'm not building a HAL. All I'm after is a simple brain, something that offers the illusion of intelligence.
בואו נעצור לרגע. האם זה אפשרי באמת לבנות בינה מלאכותית כזו? למעשה, כן. במובנים רבים, זו בעייה הנדסית קשה עם אלמנטים של בינה מלאכותית, ולא כדור שיער רטוב של בינה מלאכותית שצריך להיות מהונדס. בפרפרזה על דבריו של אלן טיורינג, אני לא מעוניין לבנות מכונה מודעת. אני לא בונה את האל. כל מה שאני רוצה הוא מוח פשוט, משהו שמציע את האשליה של בינה.
The art and the science of computing have come a long way since HAL was onscreen, and I'd imagine if his inventor Dr. Chandra were here today, he'd have a whole lot of questions for us. Is it really possible for us to take a system of millions upon millions of devices, to read in their data streams, to predict their failures and act in advance? Yes. Can we build systems that converse with humans in natural language? Yes. Can we build systems that recognize objects, identify emotions, emote themselves, play games and even read lips? Yes. Can we build a system that sets goals, that carries out plans against those goals and learns along the way? Yes. Can we build systems that have a theory of mind? This we are learning to do. Can we build systems that have an ethical and moral foundation? This we must learn how to do. So let's accept for a moment that it's possible to build such an artificial intelligence for this kind of mission and others.
המדע והאומנות של המחשוב התקדמו רבות מאז שהאל הופיע על המסך, ואני מדמיין שאם הממציא שלו ד״ר צ׳נדרה היה פה היום היו לו הרבה שאלות אלינו. האם באמת אנחנו יכולים לקחת מערכת של מליונים על מליונים של מכשירים, לקרוא את כל הנתונים מהם, לנחש את הכשלים ולהגיב מראש? כן. האם אנו יכולים לבנות מערכות המשוחחות עם בני אדם בשפה טבעית? כן. האם אנו יכולים לבנות מערכות שיכירו אובייקטים, יזהו רגשות, שיהו רגשניות, ישחקו משחקים ואפילו יקראו שפתיים? כן. האם ביכולתינו לבנות מערכות המציבות יעדים, ומוציאות לפועל תוכניות לפי יעדים אלו ולומדות בדרך? כן. האם ביכולתינו לבנות מערכות בעלות מודעות? את זה אנו לומדים לעשות. האם ביכולתינו לבנות מערכות בעלות בסיס מורלי ואתי? את זה אנו חייבים ללמוד לעשות. אז בואו נקבל לרגע שזה אפשרי לבנות כזו בינה מלאכותית עבור משימה זו ואחרות.
The next question you must ask yourself is, should we fear it? Now, every new technology brings with it some measure of trepidation. When we first saw cars, people lamented that we would see the destruction of the family. When we first saw telephones come in, people were worried it would destroy all civil conversation. At a point in time we saw the written word become pervasive, people thought we would lose our ability to memorize. These things are all true to a degree, but it's also the case that these technologies brought to us things that extended the human experience in some profound ways.
השאלה הבאה שאתם חייבים לשאול את עצמכם היא, האם עלינו לפחד ממנה? כל טכנולוגיה חדשה מביאה איתה רמה מסויימת של חשש מהלא נודע. כשראינו לראשונה מכוניות, אנשים חזו שנראה את הרס המשפחה. כשראינו לראשונה טלפונים, אנשים חששו שזה יביא לסופו של הדיון התרבותי. כשראינו בשלב מסויים את התפשטות המילה הכתובה, אנשים חשבו שנאבד את היכולת לזכור. כל אלו נכונים במידה מסויימת, אבל טכנולוגיות אלו הביאו דברים שהרחיבו את הנסיון האנושי בדרכים עמוקות.
So let's take this a little further. I do not fear the creation of an AI like this, because it will eventually embody some of our values. Consider this: building a cognitive system is fundamentally different than building a traditional software-intensive system of the past. We don't program them. We teach them. In order to teach a system how to recognize flowers, I show it thousands of flowers of the kinds I like. In order to teach a system how to play a game -- Well, I would. You would, too. I like flowers. Come on. To teach a system how to play a game like Go, I'd have it play thousands of games of Go, but in the process I also teach it how to discern a good game from a bad game. If I want to create an artificially intelligent legal assistant, I will teach it some corpus of law but at the same time I am fusing with it the sense of mercy and justice that is part of that law. In scientific terms, this is what we call ground truth, and here's the important point: in producing these machines, we are therefore teaching them a sense of our values. To that end, I trust an artificial intelligence the same, if not more, as a human who is well-trained.
אז בואו ניקח את זה מעט רחוק יותר. אני לא מפחד מיצירת בינה מלאכותית כזו, כיוון שבסופו של דבר היא תכיל גם כמה מהערכים שלנו. חישבו על כך: בניית מערכת קוגניטיבית היא שונה מהותית מבניית מערכת מסורתית מרובת תוכנה של העבר. אנו לא מתכנתים אותן, אנו מלמדים אותן. כדי ללמד מערכת לזהות פרחים, אני מראה לה אלפי פרחים מהסוג שאני אוהב. כדי ללמד מערכת לשחק משחק -- ובכן, הייתי עושה את זה. אתם גם. אני אוהב פרחים. בחייכם. כדי ללמד מערכת לשחק משחק כמו גו, אגרום לה לשחק אלפי משחקי גו. אבל בתהליך אלמד אותה איך להבדיל בין משחק טוב למשחק רע. אם אני רוצה ליצור בינה מלאכותית עבור עזרה משפטית, אלמד אותה כמה ספרי משפטים אך באותו זמן אשלב זאת עם חוש הצדק והרחמים שהם חלק מאותם חוקים. במונחים מדעיים, זה מה שאנו קוראים לו אמת בסיסית, והנה הנקודה החשובה: כחלק מיצירת מכונות אלו, אנו מלמדים אותן חלק מערכינו. בהקשר זה, אני סומך על בינה מלאכותית באותה מידה, אם לא יותר, מאשר על אדם שאומן היטב.
But, you may ask, what about rogue agents, some well-funded nongovernment organization? I do not fear an artificial intelligence in the hand of a lone wolf. Clearly, we cannot protect ourselves against all random acts of violence, but the reality is such a system requires substantial training and subtle training far beyond the resources of an individual. And furthermore, it's far more than just injecting an internet virus to the world, where you push a button, all of a sudden it's in a million places and laptops start blowing up all over the place. Now, these kinds of substances are much larger, and we'll certainly see them coming.
אבל, אתם עלולים לשאול, מה לגבי סוכנים פורעי חוק, כמו ארגון לא ממשלתי ממומן היטב? אני לא חושש מבינה מלאכותית בידיים של זאב בודד. ברור שאיננו יכולים להגן על עצמינו מכל מעשה אלימות אקראי, אבל המציאות לגבי מערכות אלו היא שהן צריכות הרבה אימון, ואימון עדין הרבה מעבר למשאבים של אדם בודד. ובנוסף, זה הרבה יותר מלהזריק וירוס אינטרנט לעולם, כשאתה לוחץ על כפתור, ופתאום זה במליון מקומות ומחשבים מתחילים להתפוצץ בכל מקום. ובכן, מדובר פה במשהו הרבה יותר גדול, ובוודאות נראה את זה מגיע.
Do I fear that such an artificial intelligence might threaten all of humanity? If you look at movies such as "The Matrix," "Metropolis," "The Terminator," shows such as "Westworld," they all speak of this kind of fear. Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom, he picks up on this theme and observes that a superintelligence might not only be dangerous, it could represent an existential threat to all of humanity. Dr. Bostrom's basic argument is that such systems will eventually have such an insatiable thirst for information that they will perhaps learn how to learn and eventually discover that they may have goals that are contrary to human needs. Dr. Bostrom has a number of followers. He is supported by people such as Elon Musk and Stephen Hawking. With all due respect to these brilliant minds, I believe that they are fundamentally wrong. Now, there are a lot of pieces of Dr. Bostrom's argument to unpack, and I don't have time to unpack them all, but very briefly, consider this: super knowing is very different than super doing. HAL was a threat to the Discovery crew only insofar as HAL commanded all aspects of the Discovery. So it would have to be with a superintelligence. It would have to have dominion over all of our world. This is the stuff of Skynet from the movie "The Terminator" in which we had a superintelligence that commanded human will, that directed every device that was in every corner of the world. Practically speaking, it ain't gonna happen. We are not building AIs that control the weather, that direct the tides, that command us capricious, chaotic humans. And furthermore, if such an artificial intelligence existed, it would have to compete with human economies, and thereby compete for resources with us. And in the end -- don't tell Siri this -- we can always unplug them.
האם אני חושש שבינה מלאכותית כזו עלולה לאיים על האנושות כולה? אם תתבוננו בסרטים כמו ״המטריקס״, ״מטרופוליס״ , ״שליחות קטלית״, תוכניות כמו ״ווסטוורלד״, כולן מדברות על חשש שכזה. ואכן, בספר ״סופר אינטליגנציה״ של הפילוסוף ניק בוסטרום, הוא בוחן נושא זה ושם לב שסופר אינטליגנציה עלולה להיות לא רק מסוכנת, אלא גם יכולה להוות איום קיומי על האנושות כולה. הטיעון הבסיסי של דוקטור בוסטרום הוא שלמערכות כאלו יהיה בסופו של דבר צמאון בלתי ניתן לרוויה למידע עד שהן אולי ילמדו ללמוד ולבסוף יגלו שאולי יש להן יעדים מנוגדים לצרכי בני האדם. לדוקטור בוסטרום יש מספר עוקבים. הוא נתמך ע״י אנשים כמו אלון מאסק וסטפן הוקינג. עם כל הכבוד למוחות מבריקים אלו, אני מאמין שהם שוגים באופן בסיסי. ובכן, יש הרבה חלקים לפרק בטיעון של דוקטור בוסטרום, ואין לי זמן לפרק את כולם, אבל בקיצור רב, חישבו על כך: ידיעת-על היא מאוד שונה מעשיית-על. האל היה איום לצוות הדיסקברי רק כיוון שהאל פיקד על כל הצדדים של הדיסקברי. אז כך גם יצטרך להיות עם סופר אינטליגנציה. היא תצטרך להיות בשליטה על כל עולמינו. זה מזכיר את סקיינט מהסרט ״שליחות קטלנית״ שבו יש סופר אינטליגנציה ששלטה על רצון בני האדם, שכיוונה כל מכשיר בכל פינה של העולם. אם להיות מעשיים, זה לא הולך לקרות. אנחנו לא בונים בינה מלאכותית ששולטת במזג האוויר, שמכוונת את הגאות, שמפקדת עלינו, האנשים הגחמניים והכאוטים. ובנוסף, אם בינה מלאכותית כזו הייתה קיימת, היה עליה להתחרות בכלכלה האנושית, ולכן להתחרות נגדינו על משאבים. ולבסוף -- אל תגלו לסירי -- אנחנו תמיד יכולים לנתק אותם.
(Laughter)
(צחוק)
We are on an incredible journey of coevolution with our machines. The humans we are today are not the humans we will be then. To worry now about the rise of a superintelligence is in many ways a dangerous distraction because the rise of computing itself brings to us a number of human and societal issues to which we must now attend. How shall I best organize society when the need for human labor diminishes? How can I bring understanding and education throughout the globe and still respect our differences? How might I extend and enhance human life through cognitive healthcare? How might I use computing to help take us to the stars?
אנחנו נמצאים במסע מופלא של אבולוציה משותפת עם המכונות שלנו. האנשים שאנו היום הם לא אותם האנשים שנהיה אז. לדאוג היום מהעלייה של סופר אינטליגנציה זה במובנים רבים הסחת דעת מסוכנת כיוון שהעלייה במיחשוב עצמו מביא אלינו מספר בעיות אנושיות וחברתיות שאנו חייבים לטפל בהן עכשיו. איך עלי לארגן את החברה האנושית כשהביקוש לעבודה אנושית הצטמצם? כיצד אני יכול להביא הבנה וחינוך לכל האנושות ועדיין לכבד את השונה ביננו? איך אאריך ואשפר את חיינו תוך שימוש במערכת בריאות קוגניטיבית? כיצד אוכל להשתמש במחשוב כדי לעזור לקחת אותנו לכוככבים?
And that's the exciting thing. The opportunities to use computing to advance the human experience are within our reach, here and now, and we are just beginning.
וזה הדבר המרתק. ההזדמנויות להשתמש במיחשוב לקידום ההתנסות האנושית הן בטווח ההשגה שלנו, כאן ועכשיו, ואנו רק מתחילים.
Thank you very much.
תודה רבה לכם.
(Applause)
(מחיאות כפיים)