In der gesamten Computergeschichte, war es immer unser Ziel, den Abstand zwischen uns und digitalen Informationen zu verkleinern, die Lücke zwischen unserer physikalischen Welt und der Welt auf dem Bildschirm, wo wir unsere Vorstellungskraft ausleben können. Und dieser Abstand ist kleiner geworden, kleiner und immer kleiner, und nun ist er kleiner als ein Millimeter, die Dicke einer Touchscreenscheibe, und Computer sind für jeden erreichbar geworden.
Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone.
Aber ich habe mich gefragt, wie es wäre, wenn es überhaupt keine Grenze gäbe. Ich habe mir vorgestellt, wie das aussehen würde. Zuerst habe ich dieses Werkzeug entwickelt, welches in die digitale Welt eindringt. Wenn man also stark auf den Bildschirm drückt, verwandelt es die physikalische Figur zu Pixeln. Designer können ihre Ideen so direkt in 3D materialisieren und Chirurgen können an virtuellen Organen unter dem Bildschirm üben. Mit diesem Werkzeug wurde die Grenze also durchbrochen.
But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken.
Aber unsere Hände bleiben immer noch außerhalb des Bildschirms. Wie können wir hineingreifen, mit den digitalen Informationen interagieren und dabei die ganze Geschicktheit unserer Hände ausnutzen? Bei Microsoft Applied Sciences habe ich, zusammen mit meinem Mentor Cati Boulanger, den Computer neuentwickelt und einen kleinen Raum über der Tastatur in einen digitalen Arbeitsplatz umfunktioniert. Dadurch, dass ein transparenter Bildschirm und Tiefenkameras zum Erfassen von Fingern und Gesicht kombiniert werden, kann man nun seine Hände von der Tastatur hochheben, in den 3D-Raum greifen und Pixel mit den bloßen Händen anfassen.
But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands.
(Applaus)
(Applause)
Da Fenster und Dateien eine Position im tatsächlichen Raum haben, kann man sie so leicht auswählen, wie man ein Buch von einem Regal greift. Dann kann man durch dieses Buch blättern und dabei Zeilen und Wörter markieren. All dies auf dem virtuellen Touchpad unterhalb jedes Fensters. Architekten können ihre Modelle direkt mit ihren beiden Händen strecken und rotieren. In diesen beiden Beispielen greifen wir also in die digitale Welt.
Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world.
Aber wie wäre es, wenn wir das Ganze einmal umdrehen und die digitalen Informationen stattdessen uns erreichen? Sicher haben viele von Ihnen bereits Erfahrung damit gemacht, Artikel online zu kaufen und später zurückzugeben. Aber jetzt müssen Sie sich darüber keine Sorgen mehr machen. Hier habe ich eine "Online-Augmented-Ankleidekabine". Diese Sicht erhält man durch ein auf dem Kopf befestigtes oder durchsichtiges Display, wenn das System die Geometrie unseres Körpers versteht.
But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body.
Diese Idee weiterführend, begann ich darüber nachzudenken, die Pixel nicht nur im Raum zu sehen, sondern sie physikalisch zu machen, sodass wir sie anfassen und fühlen können. Wie würde eine solche Zukunft aussehen? Im MIT Media Lab habe ich zusammen mit meinem Berater Hirishi Ishii und meinem Mitarbeiter Rehmi Post, ein reales Pixel erstellt. Nun, in diesem Fall verhält sich dieser runde Magnet wie ein dreidimensionales Pixel in unserer Welt. Das bedeutet, dass sowohl Computer, als auch Menschen dieses Objekt überall hin bewegen können – zumindest innerhalb dieses kleinen 3D-Raumes Effektiv haben wir die Schwerkraft ausgeschaltet und kontrollieren die Bewegung, indem wir magnetische Levitation, mechanischen Antrieb und diese Erfassungstechnologien kombinieren. Indem wir das Objekt digital programmieren, befreien wir es von den Beschränkungen durch Raum und Zeit, dadurch kann menschliche Bewegungen jetzt aufgenommen, wiedergegeben und dauerhaft in der realen Welt gelassen werden. So können z.B. Choreografien über weite Entfernungen gelehrt werden oder Michael Jordans berühmter Wurf kann wieder und wieder in der wirklichen Welt nachgeahmt werden. Schüler können dies nutzen, um komplexe Konzepte wie Planetenbewegung und Physik zu lernen. Und anders als bei Computerbildschirmen oder Textbüchern ist diese eine reale und greifbare Erfahrung, die man berühren und befühlen kann, und sie ist sehr mächtig. Und noch spannender, als nur das, was wir momentan im Computer haben, zu materialisieren, ist es, sich vorzustellen, wie das Programmieren der Welt sogar unsere täglichen Aktivitäten verändern wird.
Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities.
(Lachen)
(Laughter)
Wie Sie ehen können, werden digitale Informationen uns nicht nur etwas zeigen, sondern anfangen, direkt mit uns zu interagieren, als Teil unserer physikalischen Umgebung, ohne uns selbst von unserer realen Welt zu trennen.
As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world.
Heute haben wir angefangen, indem wir über die Grenzen sprachen, aber wenn wir diese Grenze entfernen, ist die einzige Grenze unsere Vorstellungskraft.
Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination.
Vielen Dank.
Thank you.
(Applaus)
(Applause)