A computer is an incredibly powerful means of creative expression, but for the most part, that expression is confined to the screens of our laptops and mobile phones. And I'd like to tell you a story about bringing this power of the computer to move things around and interact with us off of the screen and into the physical world in which we live.
מחשב הוא דרך ממש חזקה להבעה יצירתית, אבל ברוב המקרים, ההבעה מוגבלת למסכים של הלפטופים והסלולרים שלנו. והייתי רוצה לספר לכם סיפור על להביא את הכוח של המחשב להזיז דברים ולתקשר איתנו מחוץ למסך ולתוך העולם הפיזי בו אנו חיים.
A few years ago, I got a call from a luxury fashion store called Barneys New York, and the next thing I knew, I was designing storefront kinetic sculptures for their window displays.
לפני כמה שנים, קיבלתי שיחה מחנות אופנת יוקרה שנקראת בארניס בניו יורק, והדבר הבא שקרה, זה שעיצבתי פסלים קינטיים לקדמת החנות עבור חלונות הראווה שלהם.
This one's called "The Chase." There are two pairs of shoes, a man's pair and a woman's pair, and they play out this slow, tense chase around the window in which the man scoots up behind the woman and gets in her personal space, and then she moves away. Each of the shoes has magnets in it, and there are magnets underneath the table that move the shoes around.
זה נקרא "המרדף." יש שני זוגות נעליים, זוג של גברים וזוג של נשים, והם משחקים במרדף האיטי והמתוח הזה סביב החלון בו הגבר רודף אחרי האישה ונכנס למרחב האישי שלה, ואז היא מתרחקת. בכל אחת מהנעליים יש מגנט, ויש מגנטים מתחת לשולחן שמניעים את הנעליים.
My friend Andy Cavatorta was building a robotic harp for Bjork's Biophilia tour and I wound up building the electronics and motion control software to make the harps move and play music. The harp has four separate pendulums, and each pendulum has 11 strings, so the harp swings on its axis and also rotates in order to play different musical notes, and the harps are all networked together so that they can play the right notes at the right time in the music.
החבר שלי אנדי קווטורה בנה נבל רובוטי למסע ההופעות ביופיליה של ביורק ומצא את עצמו בונה את האלקטרוניקה ואת תוכנת מערכת התנועה כדי לגרום לנבלים לנוע ולנגן. לנבל יש ארבע מטוטלות שונות, ולכל מטוטלת יש 11 מיתרים, אז הנבל מסתובב סביב צירו וגם מסתובב כדי לנגן תוים מוזיקליים שונים, והנבלים כולם מרושתים יחד כך שהם יוכלו לנגן את התוים הנכונים בזמן הנכון במנגינה.
I built an interactive chemistry exhibit at the Museum of Science and Industry in Chicago, and this exhibit lets people use physical objects to grab chemical elements off of the periodic table and bring them together to cause chemical reactions to happen. And the museum noticed that people were spending a lot of time with this exhibit, and a researcher from a science education center in Australia decided to study this exhibit and try to figure out what was going on. And she found that the physical objects that people were using were helping people understand how to use the exhibit, and were helping people learn in a social way.
אני בניתי תצוגת כימיה אינטראקטיבית במוזאון המדע והתעשיה בשיקגו, והמוצג הזה מאפשר לאנשים להשתמש בחפצים פיזיקליים כדי לתפוש יסודות כימיים מהטבלה המחזורית ולקרב אותם כדי לגרום תגובות כימיות. והמוזאון הבחין שאנשים בילו הרבה זמן עם המוצג הזה, וחוקרים ממרכז החינוך המדעי באוסטרליה החליטו לחקור את המוצג הזה ולנסות להבין מה קורה פה. והיא מצאה שהחפצים הפיסיים שאנשים השתמשו בהם עזרו לאנשים להבין איך להשתמש במוצג, ועזרו לאנשים ללמוד בדרך חברתית.
And when you think about it, this makes a lot of sense, that using specialized physical objects would help people use an interface more easily. I mean, our hands and our minds are optimized to think about and interact with tangible objects. Think about which you find easier to use, a physical keyboard or an onscreen keyboard like on a phone?
וכשאתם חושבים על זה, זה מאוד הגיוני, ששימוש בעצמים פיסיים מותאמים יעזרו לאנשים להשתמש בממשק יותר בקלות. אני מתכוון, הידיים שלנו והמוח שלנו מותאמים לחשוב ולתקשר עם עצמים מוחשיים. חשבו על מה אתם מוצאים קל יותר לשימוש, מקלדת פיסית או מקלדת על המסך כמו בטלפון?
But the thing that struck me about all of these different projects is that they really had to be built from scratch, down to the level of the electronics and the printed circuit boards and all the mechanisms all the way up to the software. I wanted to create something where we could move objects under computer control and create interactions around that idea without having to go through this process of building something from scratch every single time.
אבל העניין שהפתיע אותי בנוגע לכל הפרוייקטים השונים האלה זה שהם באמת היו צריכים להיבנות מכלום, עד לרמה של אלקטרוניקה והמעגלים המודפסים וכל המכניקה כל הדרך עד לתוכנה. רציתי ליצור משהו שאוכל להזיז עצמים תחת שליטה ממוחשבת וליצור יחסי גומלין סביב הרעיון הזה בלי לעבור את התהליך הזה של לבנות משהו מההתחלה כל פעם.
So my first attempt at this was at the MIT Media Lab with Professor Hiroshi Ishii, and we built this array of 512 different electromagnets, and together they were able to move objects around on top of their surface. But the problem with this was that these magnets cost over 10,000 dollars. Although each one was pretty small, altogether they weighed so much that the table that they were on started to sag. So I wanted to build something where you could have this kind of interaction on any tabletop surface.
אז הנסיון הראשון שלי בזה היה במעבדות המדיה של MIT עם פרופסור הירושי אישי, ובנינו את המערך הזה של 512 אלקטרומגנטים שונים, ויחד הם היו מסוגלים להניע אובייקטים על גבי המשטח שלהם. אבל הבעיה עם זה היתה שהמגנטים האלה עלו יותר מ 10,000 דולר. למרו שכל אחד מהם הוא די קטן, יחד הם שוקלים כל כך הרבה שהשולחן שהם היו עליו התחיל להתעקם. אז רציתי לבנות משהו בו נוכל לקבל את אותו סוג של יכולות על כל משטח של שולחן.
So to explore this idea, I built an army of small robots, and each of these robots has what are called omni wheels. They're these special wheels that can move equally easily in all directions, and when you couple these robots with a video projector, you have these physical tools for interacting with digital information. So here's an example of what I mean. This is a video editing application where all of the controls for manipulating the video are physical. So if we want to tweak the color, we just enter the color mode, and then we get three different dials for tweaking the color, or if we want to adjust the audio, then we get two different dials for that, these physical objects. So here the left and right channel stay in sync, but if we want to, we can override that by grabbing both of them at the same time. So the idea is that we get the speed and efficiency benefits of using these physical dials together with the flexibility and versatility of a system that's designed in software.
אז כדי לחקור את הרעיון הזה, בניתי צבא של רובוטים קטנים, וכל אחד מהרובוטים היה מה שנקרא גלגלי אומני. הם סוג מיוחד של גלגלים שיכולים לנוע באותה קלות לכל הכיוונים, וכשמחברים את הרובוטים עם מקרן וידאו, יש לכם כלי פיסי לתקשר עם מידע דיגיטלי. אז הנה דוגמה למה אני מתכוון. זה אפליקציית עריכת וידאו בה כל הבקרים לעריכת הוידאו הם פיסיים. אז אם אנחנו רוצים לשנות את הצבע, אנחנו פשוט מכניסים אותה למצב צבע, ואז אנחנו מקבלים שלוש חוגות שונות לשינוי הצבע, או אם אנחנו רוצים לשנות את האודיו, אז אנחנו מקבלים שתי חוגות שונות לזה, האובייקטים הפיסיים האלה. אז פה הערוצים השמלי והימנים נשארים מסונכרנים, אבל אם אנחנו רוצים, אנחנו יכולים לעקוף את זה על ידי תפיסת שנייהם באותו זמן. אז הרעיון הוא שאנחנו מקבלים את המהירות והיעילות של שימוש בממשקים הפיסיים האלה יחד עם הגמישות והרבגוניות של מערכת שמתוכננת בתוכנה.
And this is a mapping application for disaster response. So you have these physical objects that represent police, fire and rescue, and a dispatcher can grab them and place them on the map to tell those units where to go, and then the position of the units on the map gets synced up with the position of those units in the real world.
וזה אפליקציית מיפוי למענה לאסונות. אז יש להם את האובייקטים הפיסיים האלה שמייצגים משטרה, חילוץ וכיבוי אש, ומשלח יכול לתפוס אותם ולהניח אותם על המפה כדי להגיד ליחידות האלה לאן ללכת. ואז המיקום של היחידות על המפה מסונכרן עם המיקום של היחידות בעולם האמיתי.
This is a video chat application. It's amazing how much emotion you can convey with just a few simple movements of a physical object.
זו אפליקציית צ'ט בוידאו. זה מדהים כמה רגשות אתם יכולים להעביר עם תנועות פשוטות של אובייקטים פיסיים.
With this interface, we open up a huge array of possibilities in between traditional board games and arcade games, where the physical possibilities of interaction make so many different styles of play possible.
עם הממשק הזה, אנחנו פותחים מערך שלם של אפשרויות בין משחקי השולחן הרגילים ומשחקי ארקייד, שם האפשרויות הפיסיות לתקשורת הופכות כל כך הרבה סגנונות משחק לאפשריים.
But one of the areas that I'm most excited about using this platform for is applying it to problems that are difficult for computers or people to solve alone. One example of those is protein folding. So here we have an interface where we have physical handles onto a protein, and we can grab those handles and try to move the protein and try to fold it in different ways. And if we move it in a way that doesn't really make sense with the underlying molecular simulation, we get this physical feedback where we can actually feel these physical handles pulling back against us. So feeling what's going on inside a molecular simulation is a whole different level of interaction.
אבל אחד התחומים שאני הכי נרגש לשימוש בפלטפורמה הזו הוא ליישם אותה לבעיות ממש קשות למחשבים או אנשים לפתור לבד. דוגמה אחת לזה היא קיפול חלבונים. אז כאן יש לנו ממשק בו יש לנו ידיות פיסיות על חלבון, ואנחנו יכולים לתפוש את הידיות האלו ולנסות להניע את החלבון ולנסות לקפל אותו בצורות שונות. ואם אנחנו מזיזים אותו בדרך שלא הגיונית עם הסימולציה המולקולרית שמתחת, אנחנו מקבלים חיווי פיסי שם אנחנו יכולים למעשה להרגיש את הידיות הפיסיות האלה מושכות נגדנו. אז להרגיש מה קורה בתוך הדמיה מולקולרית זה רמה שונה לגמרי של תקשורת.
So we're just beginning to explore what's possible when we use software to control the movement of objects in our environment. Maybe this is the computer of the future. There's no touchscreen. There's no technology visible at all. But when we want to have a video chat or play a game or lay out the slides to our next TED Talk, the objects on the table come alive.
אז רק התחלנו לחקור מה אפשרי כשאתם משתמשים בתוכנה כדי לשלוט בתנועה של עצמים בסביבה שלנו. אולי זה המחשב של העתיד. אין מסך מגע. אין טכנולוגיה גלויה בכלל. אבל כשאנחנו רוצים לנהל שיחת וידאו או לשחק במשחק או להכין שקופיות להרצאת TED הבאה שלנו, האובייקטים שעל השולחן יקומו לחיים.
Thank you.
תודה לכם.
(Applause)
(מחיאות כפיים)