Wir entwickelten uns mit Werkzeugen und sie haben sich mit uns entwickelt. Unsere Vorfahren erschufen vor 1,5 Millionen Jahren diese Handäxte, die sie nicht nur so formten, damit sie zur Aufgabe passten, sondern auch in ihre Hände.
We've evolved with tools, and tools have evolved with us. Our ancestors created these hand axes 1.5 million years ago, shaping them to not only fit the task at hand but also their hand.
Im Laufe der Jahre wurden die Werkzeuge immer spezieller. Diese Modellierwerkzeuge entwickelten sich durch ihren Gebrauch und jedes hat eine andere Form, die zu ihrer Funktion passt. Sie unterstützen unsere Fingerfertigkeit, damit wir Dinge mit viel mehr Genauigkeit handhaben können. Aber als Werkzeuge immer aufwändiger geworden sind, brauchten wir aufwändigere Steuerungen, um sie zu beherrschen. So wurden Designer sehr erfahren darin, neue Schnittstellen zu entwerfen, mit denen man Kenngrößen beeinflussen kann, während man anderes erledigt, wie etwa ein Foto zu schießen und Bildschärfe oder Blende zu ändern.
However, over the years, tools have become more and more specialized. These sculpting tools have evolved through their use, and each one has a different form which matches its function. And they leverage the dexterity of our hands in order to manipulate things with much more precision. But as tools have become more and more complex, we need more complex controls to control them. And so designers have become very adept at creating interfaces that allow you to manipulate parameters while you're attending to other things, such as taking a photograph and changing the focus or the aperture.
Aber der Computer hat unsere Sichtweise auf Werkzeuge grundsätzlich verändert, weil Berechnungen dynamisch sind. Er kann viele verschiedene Dinge machen und viele unterschiedliche Anwendungen ausführen. Allerdings haben Computer dieselbe unveränderliche körperliche Gestalt, während sie diese Anwendungen ausführen. Auch die Bedienungselemente bleiben die Gleichen. Und das ist ein grundsätzliches Problem, weil es uns nicht erlaubt mit unseren Händen einzuwirken, und die reichlich vorhandenen Fertigkeiten unseres Körpers aufzugreifen. Wir benötigen folglich neue Arten von Schnittstellen, die unsere reichlich vorhandenen Fähigkeiten aufgreifen, die sich physisch an uns anpassen und uns erlauben auf neue Weise zu interagieren. Damit habe ich mich im MIT Media Lab beschäftigt und nun in Stanford.
But the computer has fundamentally changed the way we think about tools because computation is dynamic. So it can do a million different things and run a million different applications. However, computers have the same static physical form for all of these different applications and the same static interface elements as well. And I believe that this is fundamentally a problem, because it doesn't really allow us to interact with our hands and capture the rich dexterity that we have in our bodies. And my belief is that, then, we must need new types of interfaces that can capture these rich abilities that we have and that can physically adapt to us and allow us to interact in new ways. And so that's what I've been doing at the MIT Media Lab and now at Stanford.
Zusammen mit meinen Kollegen Daniel Leithinger und Hiroshi Ishii entwarf ich inFORM, wo die Schnittstelle aus dem Bildschirm heraustritt und man sie leibhaftig beeinflussen kann. Oder man kann 3D-Informationen räumlich darstellen, sie berühren und spüren, um ein anderes Verständnis zu entwickeln. Oder man kann durch Gesten und unmittelbare Verformungen einwirken, um digitalen "Ton" zu modellieren. Oder die Schnittstellenelemente erheben sich über die Oberfläche und ändern sich nach Bedarf. Dahinter steht der Gedanke, dass für jede einzelne Anwendung die Gestalt an die Anwendung angepasst werden kann. Dies stellt eine neue Art dar, mit Informationen umzugehen: die räumliche Darstellung.
So with my colleagues, Daniel Leithinger and Hiroshi Ishii, we created inFORM, where the interface can actually come off the screen and you can physically manipulate it. Or you can visualize 3D information physically and touch it and feel it to understand it in new ways. Or you can interact through gestures and direct deformations to sculpt digital clay. Or interface elements can arise out of the surface and change on demand. And the idea is that for each individual application, the physical form can be matched to the application. And I believe this represents a new way that we can interact with information, by making it physical.
Die Frage ist also: Wie können wir das nutzen? Herkömmlicherweise bauen Stadtplaner und Architekten 3D-Modelle von Städten und Gebäuden, um sie besser zu verstehen. Mit Tony Tang vom Media Lab entwarfen wir eine auf inFORM aufbauende Schnittstelle, die es Stadtplanern ermöglicht, ganze Städte zu entwerfen und anzusehen. Man kann sich darin umherbewegen, es wird aber dynamisch und räumlich dargestellt, und man kann auch direkt einwirken. Oder man kann verschiedene Sichten anschauen, zum Beispiel zur Bevölkerung oder Verkehrsinformationen, aber räumlich dargestellt.
So the question is, how can we use this? Traditionally, urban planners and architects build physical models of cities and buildings to better understand them. So with Tony Tang at the Media Lab, we created an interface built on inFORM to allow urban planners to design and view entire cities. And now you can walk around it, but it's dynamic, it's physical, and you can also interact directly. Or you can look at different views, such as population or traffic information, but it's made physical.
Diese dynamischen Anzeigenfelder für Formen verändern, wie wir aus der Ferne mit Menschen zusammenarbeiten. Wenn wir persönlich zusammenarbeiten, sehe ich Ihnen nicht nur ins Gesicht, sondern fasse Dinge mit den Händen an und bewege sie, aber das ist schwierig, wenn man Kommunikationsmittel wie Skype benutzt. Beim Benutzen von inFORM kann man die Hände ausstrecken und weiter entfernte Dinge handhaben. Um menschliche Hände abzubilden benutzen wir Stifte der Anzeige , die es ermöglichen Dinge, die weiter weg sind, zu berühren und zu handhaben. Die Handhabung und Zusammenarbeit ist bei 3D-Datensätzen die gleiche. Man kann um sie herum Handbewegungen ausführen und sie auch bewegen. Diese neue Art von 3D-Informationen ermöglicht es Menschen, auf eine ergiebigere Weise als mit herkömmlichen Arbeitsmitteln zu arbeiten. So kann man auch vorhandene Dinge hinzunehmen, die auf der einen Seite erfasst und zur anderen Seite übertragen werden. Oder Sie haben ein Objekt, das mit zwei Orten verknüpft ist: Die Ballbewegung auf einer Seite führt zur Ballbewegung auf der anderen. Bei der Erfassung des entfernten Nutzers machen wir es genauso, indem wir eine Kamera für räumliche Tiefe einsetzen.
We also believe that these dynamic shape displays can really change the ways that we remotely collaborate with people. So when we're working together in person, I'm not only looking at your face but I'm also gesturing and manipulating objects, and that's really hard to do when you're using tools like Skype. And so using inFORM, you can reach out from the screen and manipulate things at a distance. So we used the pins of the display to represent people's hands, allowing them to actually touch and manipulate objects at a distance. And you can also manipulate and collaborate on 3D data sets as well, so you can gesture around them as well as manipulate them. And that allows people to collaborate on these new types of 3D information in a richer way than might be possible with traditional tools. And so you can also bring in existing objects, and those will be captured on one side and transmitted to the other. Or you can have an object that's linked between two places, so as I move a ball on one side, the ball moves on the other as well. And so we do this by capturing the remote user using a depth-sensing camera like a Microsoft Kinect.
Sie fragen sich vielleicht, wie das alles funktioniert: Im Wesentlichen sind es 900 Hubvorrichtungen, die mit diesen Koppelgetrieben verbunden sind, um die Bewegung dort unten in die Stifte darüber zu übertragen. Das ist also nicht so kompliziert, verglichen mit dem, was am CERN passiert, aber es dauerte lange, um es zu bauen. Wir fingen mit einem einzigen Motor an, einem einzigen Stellmotor, und dann entwarfen wir eine Leiterplatte zur Steuerung des Motors. Dann mussten wir ganz viele davon bauen. Braucht man 900 Stück, ist das Problem, dass man jeden Schritt 900 Mal ausführen muss. Und das bedeutete viel Arbeit für uns. Also bauten wir eine Art "kleinen Ausbeuterbetrieb" im Media Lab auf und überzeugten Studierende "Forschung" zu betreiben --
Now, you might be wondering how does this all work, and essentially, what it is, is 900 linear actuators that are connected to these mechanical linkages that allow motion down here to be propagated in these pins above. So it's not that complex compared to what's going on at CERN, but it did take a long time for us to build it. And so we started with a single motor, a single linear actuator, and then we had to design a custom circuit board to control them. And then we had to make a lot of them. And so the problem with having 900 of something is that you have to do every step 900 times. And so that meant that we had a lot of work to do. So we sort of set up a mini-sweatshop in the Media Lab and brought undergrads in and convinced them to do "research" --
(Lachen)
(Laughter)
lange Nächte zu haben, Filme zu gucken, Pizza zu essen und tausende Schrauben reinzudrehen. Forschung, eben.
and had late nights watching movies, eating pizza and screwing in thousands of screws. You know -- research.
(Lachen)
(Laughter)
Aber wie auch immer, wir waren wirklich begeistert von den Sachen, die wir mit inFORM machen konnten. Wir benutzen zunehmend mobile Geräte und interagieren unterwegs. Aber mobile Geräte werden, genauso wie Computer, für so viele verschiedene Anwendungen eingesetzt. Man benutzt sie, um zu telefonieren, im Internet zu surfen, Spiele zu spielen, Fotos zu schießen oder für viele andere Sachen. Aber nochmal, sie haben dieselbe unveränderliche Gestalt für jede dieser Anwendungen. Also wollten wir wissen, wie wir einige der Austauschmöglichkeiten, die wir für inFORM entwickelten, auf mobile Geräte anwenden können.
But anyway, I think that we were really excited by the things that inFORM allowed us to do. Increasingly, we're using mobile devices, and we interact on the go. But mobile devices, just like computers, are used for so many different applications. So you use them to talk on the phone, to surf the web, to play games, to take pictures or even a million different things. But again, they have the same static physical form for each of these applications. And so we wanted to know how can we take some of the same interactions that we developed for inFORM and bring them to mobile devices.
An der Universität Stanford entwarfen wir diese seitliche Tast-Anzeige. Das ist ein mobiles Gerät mit Hebestiften in einer Reihe, die ihre Stellung ändern, sodass man in der Hand fühlen kann, wo man gerade ist, während man ein Buch liest. Oder man kann in der Tasche neue Arten von Tasteindrücken spüren, die ergiebiger sind als Vibration. Oder Knöpfe können für die Interaktion dort aus der Seite auftauchen, wo man sie gerne hätte. Oder man spielt Spiele und hat dafür echte Knöpfe. Wir ermöglichten das, indem wir 40 schmale, winzige Hebestifte in das Gerät einbanden, die man nicht nur berühren sondern zurückdrücken kann.
So at Stanford, we created this haptic edge display, which is a mobile device with an array of linear actuators that can change shape, so you can feel in your hand where you are as you're reading a book. Or you can feel in your pocket new types of tactile sensations that are richer than the vibration. Or buttons can emerge from the side that allow you to interact where you want them to be. Or you can play games and have actual buttons. And so we were able to do this by embedding 40 small, tiny linear actuators inside the device, and that allow you not only to touch them but also back-drive them as well.
Aber wir haben auch nach aufwändigeren Möglichkeiten für Formänderungen gesucht. Also benutzten wir einen Luftantrieb für die Formänderung des Gerätes, womit man von etwas, das wie ein Telefon aussieht, zu einem Armband für unterwegs übergehen kann. Zusammen mit Ken Nakagaki vom Media Lab entwarfen wir diese neue, sehr feingliedrige Version, die eine Anordnung von Servomotoren nutzt, um aus einem interaktiven Armband ein für Berührungen empfindliches Eingabegerät oder ein Telefon zu machen.
But we've also looked at other ways to create more complex shape change. So we've used pneumatic actuation to create a morphing device where you can go from something that looks a lot like a phone ... to a wristband on the go. And so together with Ken Nakagaki at the Media Lab, we created this new high-resolution version that uses an array of servomotors to change from interactive wristband to a touch-input device to a phone.
(Lachen)
(Laughter)
Uns interessieren auch die Möglichkeiten, wie Nutzer die Schnittstellen wirklich verformen können, um sie in solche Geräte zu verändern, die sie nutzen wollen. Man kann etwas wie einen Game-Controller machen, und dann wird das System verstehen, welche Form es hat, und in diese Betriebsart wechseln.
And we're also interested in looking at ways that users can actually deform the interfaces to shape them into the devices that they want to use. So you can make something like a game controller, and then the system will understand what shape it's in and change to that mode.
Also wohin bringt uns das? Wie kommen wir von hier weiter voran? Ich glaube wirklich, dass wir uns heutzutage in dem neuen Zeitalter des Internets der Dinge befinden, wo wir überall Computer haben -- sie sind in unseren Taschen und Wänden, sie sind in fast jedem Gerät, das man in den nächsten fünf Jahren kauft. Aber was wäre, wenn wir aufhörten über Geräte nachzudenken und stattdessen über Umgebungen nachdächten? Wie bekommen wir sie, die intelligenten Möbel, die intelligenten Räume oder Umgebungen, oder die Städte, die sich physisch an uns anpassen und uns ermöglichen, auf neue Weise mit Menschen zusammenzuarbeiten und neue Aufgaben zu erledigen?
So, where does this point? How do we move forward from here? I think, really, where we are today is in this new age of the Internet of Things, where we have computers everywhere -- they're in our pockets, they're in our walls, they're in almost every device that you'll buy in the next five years. But what if we stopped thinking about devices and think instead about environments? And so how can we have smart furniture or smart rooms or smart environments or cities that can adapt to us physically, and allow us to do new ways of collaborating with people and doing new types of tasks?
Für die Milan Design Week in Mailand entwarfen wir TRANSFORM, das eine interaktive Version des 3D-Displays in Tischgröße ist, das dingliche Objekte auf der Oberfläche bewegen kann; zum Beispiel: Sie daran erinnern, Ihre Schlüssel mitzunehmen. Aber es kann sich auch an verschiedene Arten der Interaktion anpassen. Wenn man arbeiten will, dann verändert es sich zu einer Art Arbeitsplatz. Wenn Sie ein Gerät darauflegen, stellt es alle benötigten Leistungen bereit und bietet zusätzliche Dinge an, die Ihnen helfen Ihre Ziele zu erreichen.
So for the Milan Design Week, we created TRANSFORM, which is an interactive table-scale version of these shape displays, which can move physical objects on the surface; for example, reminding you to take your keys. But it can also transform to fit different ways of interacting. So if you want to work, then it can change to sort of set up your work system. And so as you bring a device over, it creates all the affordances you need and brings other objects to help you accomplish those goals.
Abschließend lässt sich sagen: Wir müssen im Grunde über einen neuen, anderen Weg nachdenken, wie wir mit Computern interagieren. Wir brauchen Computer, die sich physisch an uns anpassen und an die Weise, wie man sie benutzen will, und die die vielfältige Geschicklichkeit unserer Hände wirklich nutzbar machen, sowie unsere Fähigkeit über räumlich dargestellte Informationen nachzudenken. In der Zukunft müssen wir die Grenzen von Geräten überschreiten und über neue Wege nachdenken, wie wir Menschen zusammenbringen und unsere Informationen in der Welt verbreiten können. Wir müssen uns intelligente Umgebungen überlegen, die sich an uns anpassen. Damit verabschiede ich mich.
So, in conclusion, I really think that we need to think about a new, fundamentally different way of interacting with computers. We need computers that can physically adapt to us and adapt to the ways that we want to use them and really harness the rich dexterity that we have of our hands, and our ability to think spatially about information by making it physical. But looking forward, I think we need to go beyond this, beyond devices, to really think about new ways that we can bring people together, and bring our information into the world, and think about smart environments that can adapt to us physically. So with that, I will leave you.
Vielen Dank!
Thank you very much.
(Applaus)
(Applause)