Computer sind ein unglaublich mächtiges Mittel zur kreativen Entfaltung. Allerdings beschränkt sie sich zum größten Teil auf den Bildschirm unserer Laptops und Handys. Ich möchte Ihnen zeigen, wie man diese Fähigkeit der Computer, Dinge zu bewegen und mit uns zu interagieren vom Bildschirm in die physische Welt bringen kann, in der wir leben.
A computer is an incredibly powerful means of creative expression, but for the most part, that expression is confined to the screens of our laptops and mobile phones. And I'd like to tell you a story about bringing this power of the computer to move things around and interact with us off of the screen and into the physical world
Vor einigen Jahren wurde ich vom Luxusmode-Geschäft Barneys New York angerufen. Bald darauf entwarf ich kinetische Skulpturen für ihre Schaufenster.
in which we live. A few years ago, I got a call from a luxury fashion store called Barneys New York, and the next thing I knew, I was designing storefront kinetic sculptures
Diese hier heißt "The Chase". Darin bewegen sich zwei Schuhpaare, das eines Mannes und das einer Frau. Sie inszenieren eine langsame, angespannte Verfolgung durch das Schaufenster. Der Mann nähert sich der Frau von hinten und dringt in ihre Distanzzone ein. Dann bewegt sich die Frau weg. Unter jedem Schuh ist ein Magnet. Auch unter dem Tisch sind Magneten, mit denen die Schuhe bewegt werden.
for their window displays. This one's called "The Chase." There are two pairs of shoes, a man's pair and a woman's pair, and they play out this slow, tense chase around the window in which the man scoots up behind the woman and gets in her personal space, and then she moves away. Each of the shoes has magnets in it, and there are magnets underneath the table that move the shoes around.
Mein Freund Andy Cavatorta baute eine Roboter-Harfe für Björks "Biophilia"-Tour. Ich erstellte dafür die Elektrotechnik und die Software zur Bewegungssteuerung, um die Harfe zum Klingen zu bringen. Die Harfe besteht aus vier Pendeln und jedes Pendel hat elf Saiten. So schwingt die Harfe um ihre Achse und dreht sich, um verschiedene Noten zu spielen. Alle Harfen sind miteinander vernetzt, damit sie die richtigen Noten zum vorgesehenen Zeitpunkt spielen können.
My friend Andy Cavatorta was building a robotic harp for Bjork's Biophilia tour and I wound up building the electronics and motion control software to make the harps move and play music. The harp has four separate pendulums, and each pendulum has 11 strings, so the harp swings on its axis and also rotates in order to play different musical notes, and the harps are all networked together so that they can play the right notes at the right time in the music.
Ich habe auch ein interaktives Chemie-Modell für das Wissenschafts- und Industriemuseum in Chicago gebaut. Es ermöglicht Besuchern, Gegenstände zu benutzen, um chemische Elemente aus dem Periodensystem anzufassen und zusammenzubringen, um chemische Reaktionen zu simulieren. Dem Museum fiel auf, dass die Besucher viel Zeit mit diesem Modell verbrachten. Eine Forscherin eines Zentrums für Wissenschaftliche Bildung in Australien versuchte herauszufinden, warum das so war. Sie fand heraus, dass die Gegenstände den Besuchern dabei halfen, zu verstehen, wie man das Modell bedient und wie sie miteinander lernen können.
I built an interactive chemistry exhibit at the Museum of Science and Industry in Chicago, and this exhibit lets people use physical objects to grab chemical elements off of the periodic table and bring them together to cause chemical reactions to happen. And the museum noticed that people were spending a lot of time with this exhibit, and a researcher from a science education center in Australia decided to study this exhibit and try to figure out what was going on. And she found that the physical objects that people were using were helping people understand how to use the exhibit, and were helping people learn in a social way.
Wenn man darüber nachdenkt, ergibt es eine Menge Sinn, dass spezial angefertigte Gegenstände die Bedienung eines Interface erleichtern können. Denn unsere Hände und unser Verstand dazu optimiert, um über greifbare Gegenstände nachzudenken und damit umzugehen. Was ist z. B. für Sie leichter zu verwenden: eine physische Tastatur oder die virtuelle Tastatur eines Smartphones?
And when you think about it, this makes a lot of sense, that using specialized physical objects would help people use an interface more easily. I mean, our hands and our minds are optimized to think about and interact with tangible objects. Think about which you find easier to use, a physical keyboard or an onscreen keyboard
Bei all diesen Projekten beschäftigte mich jedoch besonders,
like on a phone?
dass alles von Grund auf gebaut werden musste. Von der Elektrotechnik, den Platinen und all den Mechanismen bis hin zur Software. Ich wollte etwas bauen, womit wir computergesteuerte Gegenstände bewegen und Interaktionen schaffen können, ohne jedes Mal alles von Grund auf entwerfen und bauen zu müssen.
But the thing that struck me about all of these different projects is that they really had to be built from scratch, down to the level of the electronics and the printed circuit boards and all the mechanisms all the way up to the software. I wanted to create something where we could move objects under computer control and create interactions around that idea without having to go through this process of building something from scratch
Mein erster Versuch hierfür stellte ich am MIT Media Lab mit Professor Hiroshi Ishii an. Wir bauten ein Feld aus 512 verschiedenen Elektromagneten, die dazu in der Lage waren, Objekte umher zu bewegen. Problematisch war nur, dass diese Magneten über 10.000 US-Dollar kosten. Jeder einzelne ist zwar klein, aber zusammen wiegen sie so viel, dass die Tischplatte begann sich unter ihnen zu biegen. Ich wollte also etwas bauen, bei dem eine solche Interaktion auf jeder flachen Oberfläche möglich wäre.
every single time. So my first attempt at this was at the MIT Media Lab with Professor Hiroshi Ishii, and we built this array of 512 different electromagnets, and together they were able to move objects around on top of their surface. But the problem with this was that these magnets cost over 10,000 dollars. Although each one was pretty small, altogether they weighed so much that the table that they were on started to sag. So I wanted to build something where you could have this kind of interaction on any tabletop surface.
Um diese Idee zu erforschen, schuf ich eine Armee kleiner Roboter und jeder dieser Roboter hat omnidirektionale Antriebe. Das sind besondere Räder, die sich in jede Richtung gleich gut bewegen lassen. Wenn man diese Roboter mit einem Beamer kombiniert, erhält man physische Werkzeuge, um mit digitalen Daten zu interagieren. Hier ist ein Beispiel: Dies ist ein Videobearbeitungsprogramm, bei dem alle Steuerelemente zur Videomanipulation physisch sind. Im Modus zur Farbbearbeitung erscheinen drei Regler. Oder wenn wir den Ton einstellen möchten, betätigen wir auch zwei physische Regler. Hier laufen der linke und der rechte Kanal synchron, aber wir können dies übergehen, indem wir einfach beide Regler gleichzeitig bedienen. Die Grundidee dabei ist, die Geschwindigkeit und Effizienz physischer Regler und die Flexibilität und Vielseitigkeit eines Softwaresystems zu erlangen.
So to explore this idea, I built an army of small robots, and each of these robots has what are called omni wheels. They're these special wheels that can move equally easily in all directions, and when you couple these robots with a video projector, you have these physical tools for interacting with digital information. So here's an example of what I mean. This is a video editing application where all of the controls for manipulating the video are physical. So if we want to tweak the color, we just enter the color mode, and then we get three different dials for tweaking the color, or if we want to adjust the audio, then we get two different dials for that, these physical objects. So here the left and right channel stay in sync, but if we want to, we can override that by grabbing both of them at the same time. So the idea is that we get the speed and efficiency benefits of using these physical dials together with the flexibility and versatility
Das hier ist eine Landkarten-Software für den Katastrophendienst.
of a system that's designed in software.
Diese Gegenstände stehen für Polizei, Feuerwehr und Rettungsdienst. Der Disponent kann sie anfassen und auf der Karte absetzen, um den Einheiten zu sagen, wohin sie müssen. Daraufhin wird ihre Position auf der Karte mit der in der Realität synchronisiert.
And this is a mapping application for disaster response. So you have these physical objects that represent police, fire and rescue, and a dispatcher can grab them and place them on the map to tell those units where to go, and then the position of the units on the map gets synced up with the position
Das hier ist eine Videochat-Applikation. Es ist erstaunlich, wie viel Gefühl man mit ein paar Bewegungen eines Gegenstands vermitteln kann. Dieses andere Interface eröffnet uns unglaublich viele Möglichkeiten
of those units in the real world. This is a video chat application. It's amazing how much emotion you can convey with just a few simple movements of a physical object.
auf dem Mittelweg zwischen Brettspielen und Arcade-Spielen, wobei verschiedene physische Interaktionsstile ebenso viele verschiedene Spielarten ermöglichen.
With this interface, we open up a huge array of possibilities in between traditional board games and arcade games, where the physical possibilities of interaction make so many different styles of play possible.
Aber einer der Anwendungsbereiche, der mich am meisten begeistert, ist das Lösen von den Problemen, die Computer oder Menschen nur schwer alleine lösen können. Ein Beispiel hierfür ist die Proteinfaltung. Hier haben wir ein Interface, bei dem wir physische Griffe an einem Protein haben. Wir können diese Griffe fassen und das Protein auf verschiedene Weisen falten. Beim Versuch, es wider die zugrundeliegende molekulare Simulation zu falten, erhalten wir eine physische Rückmeldung; wir fühlen tatsächlich, wie die Griffe Widerstand zeigen. Wenn wir also fühlen, was in einem Molekül vor sich geht, ist das eine ganz neue Art der Interaktion.
But one of the areas that I'm most excited about using this platform for is applying it to problems that are difficult for computers or people to solve alone. One example of those is protein folding. So here we have an interface where we have physical handles onto a protein, and we can grab those handles and try to move the protein and try to fold it in different ways. And if we move it in a way that doesn't really make sense with the underlying molecular simulation, we get this physical feedback where we can actually feel these physical handles pulling back against us. So feeling what's going on inside a molecular simulation
Wir haben gerade erst begonnen zu erforschen, was alles möglich ist, wenn wir Software verwenden, um die Bewegung von Gegenständen in unserer Umwelt zu steuern. So könnte der Computer der Zukunft aussehen. Es gibt keinen Touchscreen. Keine andere Technologie ist sichtbar. Aber wenn wir einen Videochat starten oder ein Spiel spielen möchten oder Folien für unseren nächsten TED-Vortrag vorbereiten wollen, erwachen die Gegenstände auf dem Tisch zum Leben.
is a whole different level of interaction. So we're just beginning to explore what's possible when we use software to control the movement of objects in our environment. Maybe this is the computer of the future. There's no touchscreen. There's no technology visible at all. But when we want to have a video chat or play a game or lay out the slides to our next TED Talk, the objects on the table come alive.
Vielen Dank.
Thank you.
(Applaus)
(Applause)